ジェスチャーや視線で画面を非接触操作 - ヒューマン・マシン・インターフェイス (HMI)の進歩

AsianScientist - 人工知能(AI)の急速な進歩と普及に伴い、イノベーターたちはさまざまな人間の活動を向上させようと、よりスマートなマシンの開発を開始した。

ATMのボタンを押して現金を引き出したり、スマートフォンをタップしてテキストを送信したり、あるいはノブを回してお気に入りの曲の音量を制御したりするたびに、人々はアクションに対応するようにコード化されたマシンとやり取りしている。このようなやりとりは、ヒューマン・マシン・インターフェイス (HMI) として知られている。特にマウス、キーボード、タッチスクリーンなどのツールを使用してテクノロジーと物理的な相互作用を行うことは、HMIのハード部分である。

手を一振りするだけで、目を向けるだけで、または脳波の変化だけでデジタルデバイスを操作する。SF小説のように聞こえるかもしれないが、このような相互作用はHMIのソフト部分として知られており、材料科学とAI の進歩のおかげで、現実になりつつある。

本記事では、HMIを次のレベルに引き上げ、なじみ深い日常の技術を向上させる、エキサイティングで革新的なテクノロジーをいくつか取り上げる。

ジェスチャーで非接触型ソリューション

やり取りとりの多くは過去2年間、安全距離のルールと非接触型環境にすばやく適応せざるを得なかった。日常生活の中のある1つの簡単な行動、つまりジェスチャーを利用すれば、イノベーターたちはデジタルデバイスによる通信方法を変え、地域社会を対応可能で安全なものとすることができる。

電子機器用非接触ジェスチャー認識は、モーションセンシングHMIテクノロジーの一種であり、ユーザーの手の動きを追跡する。薄い膜の形をしている新しいジェスチャーセンサーには次世代素材が用いられ、設計したのはシンガポールを拠点とするイノベーターたちである。このセンサーは、応答性、感度、エネルギー効率に優れている。カメラを使う従来のセンサーは近距離で効果的に動作することができず、セットアップによって電子デバイスのバッテリーがすぐに消耗するが、それよりも展開が容易である。

新型コロナウイルス感染症(COVID-19)のパンデミックにより衛生意識が高まる中、このような発明は公共の場で役立つであろう。たとえばショッピングモールで、買い物客はデジタル表示板などの電子画面を物理的に操作するのではなく、ジェスチャー対応の画面を操作すれば、病気の伝染リスクを減らすことができる。

視線で意思決定を

目は魂への窓であると同時に、非常に正確な意思決定を行うこともできる。機械の中には人間の眼球が持つ高い柔軟性を利用して、眼球運動を追跡することで、我々が多くのタスクを実行する助けになるものがある。

ほとんどのHMIは視線を利用する。対象者の瞳孔に光を当て、光は瞳孔と角膜の両方で反射する。反射は、対象者の目の動きに関する情報を提供する。ただし、このテクノロジーは通常、赤外線センサーを使用するので、長期間使用すると不快感を与える可能性がある。

イノベーターたちは最近、長時間の使用を快適にするため、緑の光を使うカメラを採用するというソリューションを考案した。そのようなイノベーションの1つであるヘッドマウント型アイトラッカーは、従来のバーチャルリアリティ用ヘッドセットを適応させ、視線や動きを検出し、解釈する。

たとえばユーザーは、物理的にマウスをクリックしたり画面をタップしたりする代わりに、凝視することで電子画面上で選択を行うことができる。

ジェスチャーを使うHMIと同様、視線によるHMIにはビジネス用アプリと医療用アプリがある。遠隔操作によるリモート環境監視や機械制御から、顧客の行動を特定しての小売高の改善まで、多くの業界が視線追跡デバイスの恩恵を受けることができる。

このような発明は、医療分野にもメリットを与えるかもしれない。運動ニューロン病や運動障害を抱える人々が目を用いて周囲を利用し他の人とコミュニケーションをとることができれば、自立を取り戻すことができる。

すべては頭の中に

読心術の夢は何十年もの間、神経科学者やSFファンの心をくすぐり続けてきた。近年、神経科学とテクノロジーの急速な進歩により、空想と現実の境界線はますますあいまいになってきている。例えば、バイオを使うHMI技術は、人体のさまざまな部位から電気信号を拾い上げ、その信号を機械の動きに変換することができる。

ニューロン膜を横切るカルシウム、カリウム、ナトリウム、および塩素イオンが拡散すると電気信号が生成される。次に、AIプラットフォームがこの信号を分析すると、疲労をモニタリングし、認知に関する問題を管理し、さらには機械に指令を出すことができる。

AIドリブンのプラットフォームと組み合わせれば、ウェアラブル脳波 (EEG) デバイスを使用して、人の考え、感情、注意を知ることもできる。たとえば、シンガポールで開発されたAIプラットフォームは、ブルートゥース対応で低電力携帯型のEEGウェアラブルと連携して機能する。6つのEEGセンサーが信号を受信すると、AIプラットフォームは信号を集中力や倦怠感、注意力やリラックス感などといったさまざまな精神状態として解釈する。

プラットフォームにはイノベーションを推進させることのできるソフトウェア開発キットも含まれており、医療専門家、研究者、サードパーティ開発者などが脳の健康に対処する独自のソリューションを作成することができる。

脳だけでなく、筋電図と眼電図センサーを介して筋肉と目からも電気信号を収集することができる。AIプラットフォームは電気を感知するウェアラブルを通じて電気インパルスから情報を取得し、ユーザーのタスク実行を容易なものにしてくれる。プレイリストのシャッフルからプレゼンテーションのスライドの変更、さらにはドローンの遠隔操縦まで、指を軽く動かすだけで多くのタスクを実行できる。

現在、それぞれのインターフェースが対応できるのは特定のアプリケーションだけなので、独自の制限も抱えている。イノベーターたちはHMIをますます進化させているので、精度や導入のしやすさなどといった制限は、新たに開発される技術によって克服されるであろう。

健康の改善、ビジネス上の貴重な洞察の生成、または単に日常生活の利便性の向上など、HMIは人間の創意工夫によって生み出され、機械と人間をシームレスにつなげる可能性を秘めている。

(2022年07月20日)

上へ戻る