韓国科学技術院(KAIST)は7月31日、同院の研究者らが、通常のカメラ(RGB)画像への過度な依存を克服して特殊センサーの物理的特性を理解し、視覚と音声の混同による幻覚を抑制する、マルチモーダル人工知能(AI)の2つの中核技術を開発したと発表した。研究成果は学術誌IEEE Transactions on Image Processingに掲載された。

左から、チョン・サンユン(Sangyun Chung)氏、ロ・ヨンマン(Yong Man Ro)教授、ユ・ヨンジュン(Youngjun Yoo)博士

テキスト、画像、音声などを同時に処理するマルチモーダル大規模言語モデル(MLLM)は、センサーの物理的特性を誤って解釈したり、物体を取り違えたり、映像に特定の物体が映っているだけで実際にはない音が聞こえると回答したりすることがある。KAIST電気工学部のロ・ヨンマン(Yong Man Ro)教授の研究チームは、こうした情報の混同と物理的な誤認に対処した。

視覚センサーに関する質問に対する最近のモデルの応答例。熱画像の基本原理を理解できず、画像の明るさを放射された熱ではなく、反射した太陽光によるものと誤って判断している。
(出典：いずれもKAIST)

第1の技術｢Diverse Negative Attributes(DNA)最適化手法｣は、熱、深度、X線センサーなどの物理的特性をAIに正確に理解させる。研究チームは、多様な視覚センサーを評価する初の包括的ベンチマーク｢VS-TDX｣を構築。AIが頻繁に生成する誤答を学習信号として使い、各センサーの特性をモデルに内在化させた。少量のデータによる微調整で、暗闇や煙の中でも物体の状態を正確に推定できるようにした。

第2の技術｢モダリティ適応型デコーディング(MAD)｣は、課題ごとに視覚と音声のどちらが重要かをAI自身に判断させ、関連性の高い情報の重みをリアルタイムで増やす。追加学習を必要としないプラグイン方式のため、高コストなモデルの再学習を行わず、視覚と聴覚の干渉による幻覚を抑制できる。夜間や悪天候下の自動運転車、煙の中で任務を行うロボット、熱画像カメラを使う無人航空機のほか、空港のX線保安検査や医用画像解析への応用が期待される。

KAIST博士課程のチョン・サンユン(Sangyun Chung)氏は、MAD研究の筆頭著者とDNA研究の共同筆頭著者を務めた。DNA研究にはユ・ヨンジュン(Youngjun Yoo)博士も共同筆頭著者として参加した。同教授は｢大規模な再学習を行わずに、AIの感覚的な偏りと誤認を減らせる点に意義があります。実生活や産業現場で信頼できるマルチモーダルAIを構築する基盤になるでしょう｣と語った。

サイエンスポータルアジアパシフィック編集部