中国の字節跳動(バイトダンス)が開発したAIツール「豆包(Doubao)」が、上海浦東美術館で開催された特別展「模様の奇跡:ルーヴル美術館所蔵 インド・イラン・オスマン帝国の芸術傑作」と「非凡なるピカソ:ポール・スミスの新視点」の公式AI解説員となった。人民日報海外版が伝えた。
同美術館では、スマートフォンで「ビデオ通話」を選び展示品に向けると、AI解説員が解説を行う。専門的な回答だけでなく会話の相手にもなり、必要に応じて観客の質問に含まれる知識面の誤りをやんわりと正すこともある。
浦東美術館の李旻坤董事長は、「AI解説員の情報が正確であれば、美術作品を見て感じることや体験が非常に豊かになる。これは意義深いことだ」と語った。
「豆包」のプロジェクト責任者の李若瑄氏は、15世紀イランの牡丹文様の皿を例に挙げ、「作風が中国の明代・永楽年間の青花牡丹文様の皿と非常に似ているため、AIは文様の細部や工芸上の差異を正確に認識しなければならない」と説明した。
観客の撮影角度が異なることも認識の難度を高める。文化財は角度によって見え方が大きく変わるほか、手ぶれや遮蔽、光の変化も起こり得る。さらに口語で連続して質問される場面では、AIの文脈理解や空間認知に高い能力が求められる。
2025年5月、「豆包」に視覚推論モデルをベースにしたビデオ通話機能が加わり、リアルタイムのQ&Aなどに対応した。
また、動画解説機能はSeed1.8モデルが下支えしているとされ、従来の「撮影して質問する」といった断続的なやり取りに限らず、観客の視点移動に追随しながら、対話を通じて目の前のシーン変化を継続的に理解し、より自然で連続的なやり取りを可能にしているという。

(画像提供:人民網)