韓国の漢陽大学校（Hanyang University）は10月26日、医用生体工学科のイム・チャンファン（Im Chang-hwan）教授が率いる研究チームが、仮想現実（VR）を用いたメタバースサービス内で、ユーザーの表情を高い精度で認識してリアルタイムでアバターに反映する技術を開発したと発表した。研究成果は学術誌 Virtual Reality に掲載された。

Facebook HorizonやvTime等のメタバースは新たなソーシャルネットワークプラットフォームとして注目されている。ユーザーの分身であるアバターに表情を正確に反映するため、VRヘッドセットが顔の皮膚に触れた時の筋電図（electromyogram: EMG）信号を測定して表情を分析する技術が研究されている。しかし、表情が作られた時のEMG信号に関連するデータベースを事前に収集する必要があるため、ユーザーが4～10回も繰り返し表情を登録しなければならなかった。

そこでイム教授の研究チームは、既存のデータから作成された機械学習モデルを新情報に適用するAI技術「ドメイン適応（domain adaptation）」を用いて、この不便を解消しようと試みた。

チームはユーザーの登録データから作成した過去の機械学習モデルを新たなユーザーデータに適用することで、モデル学習に必要なデータ量を効果的に減少させた。結果として、1回表情を登録するだけで11種類の表情を90%の精度で認識し、アバターの顔に反映することに成功した。

イム教授は、「訓練データベースに存在しない場合でも表情を復元できる技術と、目の動きと表情を同時に実現するシステムが間もなく完成する。これらの技術は、VRを用いた将来のメタバースサービスに応用できるだろう 」と語った。

サイエンスポータルアジアパシフィック編集部