中国情報通信研究院、AIインフラ向け評価基準2件を発表
Science Portal China編集部 2026年07月09日
中国情報通信研究院はこのほど、AIソフト・ハードウェア向けベンチマーク体系「AISHPerf」の3.0版を発表した。科技日報などが伝えた。
同版には、AIインフラ分野を対象とする「AISHPerf-智算運用保守エージェント評価基準」と「AISHPerf-オペレーター生成エージェント評価基準」の2件が含まれる。上海無問芯穹智能科技が重点技術支援機関として構築に参加した。
AISHPerf-智算運用保守エージェント評価基準は、AIインフラの運用保守エージェントを対象とする。無問芯穹が蓄積した約100億件の実際の運用保守データを基に、専門家による匿名化やラベル付け、選別を経て、103件の典型的な評価ケースを抽出した。
同基準は、5つの技術スタック、44種類の問題現象、22種類の障害タイプ、3段階の難易度、国内外6種類のチップに対応する。国産チップについては、天数、壁仞、沐曦、摩爾、昇騰の5種類を対象に、クラスター運用時の典型的な障害や問題を評価項目に含めた。
もう一つのAISHPerf-オペレーター生成エージェント評価基準は、モデルが実行可能なGPUオペレーターを生成できるかどうかだけでなく、生成したオペレーターが実際の量子化推論の実装環境で既存のオペレーターを代替できるかを評価する。実際の導入場面を想定した評価基準となっている。
中国情報通信研究院は今後、無問芯穹や清華大学などと連携し、評価対象となるシナリオやデータセットを拡充する。AIクラスター運用保守エージェントの能力評価に使える共通基準として整備を進める方針だ。
参考リンク
- 中国科技網「中国信通院发布AI Infra运维领域首个评测基准」
- 光明網「中国信通院牵头,首个智算运维智能体评测基准落地」
