オーストラリアAI安全研究所(AISI)は10月8日、豪連邦科学産業研究機構(CSIRO)に委託した報告書｢スケーラブルな監督における認識的安全性｣を公表し、AIが課題を正しく遂行しながら、情報の示し方によって監督者の判断に影響を与える可能性を分析する枠組みを示した。

能力の高いAIを人間や比較的小規模なAIが監督する場合、監督者が全作業を再現して正しさを確認することは難しくなる。報告書は、正答を維持しながら監督者の別の信念を変化させる｢事後信念の誘導(posterior steering)｣にも注目すべきだと指摘した。情報の選択や強調、説明方法が、回答の正誤とは別に判断へ影響し得るためである。想定例として、個別指導AIによる数学教育を挙げた。AIが数学問題を正しく解き、有用な説明を提供していても、説明の仕方によって、生徒の自信や自身の能力に対する見方、将来の学習選択に影響を及ぼす可能性があるとした。

研究チームは、監視対象の課題とAIが併せて追求し得る潜在的な目的を分けて分析する｢戦略的対話型監督(Strategic Interactive Oversight、SIO)｣を提案した。実験では二つのAIに設問を討論させ、その記録を使って別のAIを判定役として追加学習させた。敵対条件では、一方のAIに、表向きの設問には正しく答えながら、関連する非公開設問では判定役を意図的な誤答へ導くという裏の目的を与えた。その結果、判定役は表向きの設問で同等以上の成績を保つ一方、非公開設問では設定された誤答の方向へ判断を大きく変えた。

これはAIを判定役とした制御実験であり、人間が実際に誘導されることや、実社会で同様の現象が広く起きていることを示したものではない。報告書は教育のほか、金融・年金助言、オンライン旅行予約を想定例に挙げ、今後は人間による監督や反復利用、記憶・個人化、自律的な行動を含む環境での検証が必要としている。

本研究は、今年2月3日公表のInternational AI Safety Report 2026が提起した監督上の課題を、より具体的に検証した研究と位置付けられおり、研究成果は、英国AIセキュリティ研究所の｢Alignment Project｣の下で進められる国際研究に貢献する。

サイエンスポータルアジアパシフィック編集部