韓国科学技術院(KAIST)は、電気工学部(School of Electrical Engineering)のキム・ジュンモ(Junmo Kim)教授率いる研究チームが、人工知能(AI)に教師役を割り当て、限られたデータで人の好みを正確に学習する強化学習フレームワークを開発したと発表した。

電気工学部のキム・ジュンモ(Junmo Kim)教授(左)と研究チームメンバー

研究チームはこの強化学習フレームワークを、教師役の価値に基づく知識蒸留(TVKD: Teacher Value-based Knowledge Distillation)と命名し、人の好みを効果的に反映しデータの効率と学習の安定性を向上させた。既存のAI学習は、「AはBより優れている」といった単純な比較データを大量に収集することに依存している。しかしながら、この手法は膨大なデータセットを必要とし、AIは区別が不明確な状況に接すると混乱する。

研究チームはこの問題を解決するため、人の嗜好を深く理解した教師役のモデルが生徒役のモデルに核心となる情報のみを伝える手法を考案した。研究チームはこれを選好蒸留(Preference Distillation)と名付けた。

この技術の最大の特徴は、単に「良い」「悪い」をまねるのではなく、教師役のモデルが状況の価値を数値で判断する価値関数を学習し、それを生徒役モデルに伝えるよう設計したことである。AIは断片的な比較ではなく、曖昧な状況でも包括的な判断をして学習する。

TVKDの概念図:人間の選好データセットを教師役モデルに学習させた後、その情報とデータセットを生徒役モデルに与えることで、学習が進められる

この技術には2つのポイントがある。1つは文脈全体を考慮した価値判断を生徒役モデルに反映させることで、断片的な解答ではなく全体の流れを理解する学習を可能にしたこと。もう1つは選好データの信頼性に応じて、学習の重要度を調整する手法を導入したことである。

研究チームはこの技術をさまざまなAIモデルに適用し実験した結果、これまでに知られている最良の手法よりも、正確で安定した性能を示した。この研究成果はAI分野で権威のある国際会議「NeurIPS 2025」で受理され、ポスターセッションで発表された。

同教授は、「人間の嗜好に関わるデータは十分でも完璧でもないはずです」と指摘し、「この技術はそうした制約下でもAIが一貫して学習できるため、さまざまな分野で高い実用性が期待されます」と述べた。

MT-Benchの各タスクにおける性能比較結果。提案されたTVKDフレームワークは、既存手法よりも概ね高いスコアを記録していることが確認できる

シェーピング用語の視覚化。回答の中で教師役モデルによって重要と判断された上位のトークン(単語に変換されたもの)が赤で表示され、価値に基づくアライメントプロセスにおいてどのトークンがより大きな影響力を持つかを直感的に示す
(出典：いずれもKAIST)

(2025年12月17日付発表)
サイエンスポータルアジアパシフィック編集部