シンガポールの南洋理工大学(NTU)の研究者らが、音声クリップと顔写真だけで、話している人の表情や頭の動きを反映したリアルなビデオを作成する、人工知能(AI)を搭載したコンピュータープログラムを開発した。11月16日付発表。

(出典：NTU)

NTUコンピュータサイエンス工学研究科(SCSE)のルー・シジャン(Lu Shijian)准教授率いる研究チームが開発した「多様でありリアルなフェイシャルアニメーション(DIRFA)」は、AIベースのプログラムで、音声と写真を取り込み、話し手の音声と同期したリアルで一貫した顔のアニメーションを示す3Dビデオを作成する。

既存のアプローチの課題となっている、ポーズのバリエーションや感情のコントロールを開発するために、研究チームは、オープンソースのデータベースから得た6,000人以上の視聴覚クリップ100万以上を用いてDIRFAを訓練し、音声からの合図を予測し、表情や頭の動きと関連付けた。

研究者らによると、DIRFAは、より洗練されたリアルなバーチャルアシスタントやチャットボットを実現し、ユーザー体験を向上させることができるため、ヘルスケアを含むさまざまな業界や領域で新たな応用が期待できるという。また、発話や表情に障害のある人にとっても、表情豊かなアバターやデジタル表現を通して自分の考えや感情を伝え、コミュニケーション能力を向上させる強力なツールとなる可能性があるという。

サイエンスポータルアジアパシフィック編集部