韓国科学技術院(KAIST)は10月22日、コンピューティング学部(School of Computing)のキム・テギュン(Tae-Kyun Kim)教授の研究チームが、既存の2Dベースの動画生成技術の限界を克服したMPMアバター(MPMAvatar)と呼ばれる空間・物理ベースの生成AIモデルを開発したと発表した。

KAISTコンピューティング学部のキム・テギュン(Tae-Kyun Kim)教授(中央)と研究チームメンバーら

研究チームは、従来の2D技術の問題点を解決するため、ガウス・スプラッティングを用いたマルチビュー画像を3D空間に再構成し、物理シミュレーションであるマテリアルポイント法(MPM)と組み合わせる新しい手法を提案した。この技術は、映画やメタバース、ゲームにおけるアバターの動作の向上に寄与し、モーションキャプチャや手作業による3Dグラフィック作業を軽減させることが期待される。

このAIモデルは複数の視点から撮影した映像を立体的に再構築し、空間内の物体が現実世界にいるかのように動作し相互作用させることで、AIが自ら物理法則を学習できるように訓練する。このAIは、物体の素材や形状、外力などから動きを計算し、その結果を実際の動画と比較することで物理法則を学習する。これらに加えて、研究チームは、衣服や物体が複数の箇所で複雑に動き、衝突する場面をリアルに再現する新たな衝突処理技術を開発した。

この技術を適用したMPMアバターは、ゆったりとした服を身に付けた人の動きや、それらの相互作用をリアルに再現し、 AIが学習過程で見たことのないデータを独自に推論して処理するゼロショット生成にも成功した。

同教授は、「この技術はAIが単に絵を描くことを超え、目の前の世界がなぜそのように見えるのかをAIに理解させるものです。この研究は、物理法則を理解して予測するフィジカルAIの可能性を示し、汎用人工知能(AGI)への重要な転換点となります」と述べた。さらに、「バーチャルプロダクションや映画、短編コンテンツ、広告など、拡大する没入型コンテンツ業界全体に実用化され、大きな変化を生み出すことが期待されます」と付け加えた。

図1. マルチビュー動画入力からの新たな人間の姿勢と衣服の動的挙動のモデリング、および新しい物理的相互作用のゼロショット生成

図2. 優雅な舞踊の動きと柔らかな衣類のひだの描写
(出典：いずれもKAIST)

サイエンスポータルアジアパシフィック編集部