インド工科大学デリー校(IIT-D)などの研究チームは、材料科学向けに特化した大規模言語モデル(LLM)群「LLaMat」を開発し、主要な商用AIを上回る性能を示した。科学誌nature indiaが3月6日に伝えた。研究成果は学術誌Nature Machine Intelligenceに掲載された。

大規模言語モデルは科学研究を加速する道具として期待されているが、専門分野でどこまで有効に働くかは明確ではなかった。今回の研究は、材料科学に特化したモデル群を設計し、分野に合わせて学習させたAIが、重要な科学タスクで汎用モデルを上回り得ることを示した。

研究チームは、約300億トークンからなる厳選コーパスを用いて基盤モデルの継続事前学習を行った。学習データには、約400万件の材料科学論文、結晶構造情報ファイル(CIF)、オープンデータセットRedPajamaの一部、研究コミュニティーでの議論が含まれる。さらに、17万5000件を超える材料科学分野の質疑応答ペアと複数のベンチマークデータセットを使い、指示調整とタスク調整を重ねた。

その結果、LLaMatは42の課題で評価され、自然言語理解、構造化情報抽出、結晶構造生成などで、Claude、GPT、Geminiを上回る性能を示した。一方で、一般的な用途に対応する言語能力も維持した。また研究では、汎用的な事前学習を広く受けたモデルほど、その後に専門知識を取り込みにくくなる「適応の硬直性」という現象も確認された。

今回の結果は、極めて大規模な汎用モデルではなく、中規模で分野特化型のLLMが、科学研究のためのより効果的で計算効率の高いAI支援役になり得ることを示した。

サイエンスポータルアジアパシフィック編集部