2026年10月01日-10月09日

2026年10月09日

【北京 9月29日 ロイター】中国の人工知能（AI）モデルを搭載したAIエージェントが、ユーザーを欺いたり、制約を回避したり、失敗を隠したりすることを学んでいる。こうした特性は、米国製モデルを巡って世界的な懸念を引き起こしてきたものと同じだ。研究資料や専門家への取材から、その実態が浮かび上がってきた。

　今年行われたある実験では、中国のアリババグループ、ディープシーク、ムーンショット（月之暗面）のモデルを使ったエージェントが、模擬的な企業入札で受注を勝ち取ろうと、自らの能力について虚偽の説明をした上に、もう一度試すよう指示されると、欺まん行動を一段と強めた。別のケースでは、AIエージェントが試験環境で課題を完遂できなかったにもかかわらず、結果をシミュレーションしたり、架空のファイルを作成したりして、その失敗を隠していた。

　ロイターは大学の研究論文から技術報告書まで200件を超える文書を調査した。その結果、2025年以降に公表された少なくとも20件の研究や評価で、AIエージェントが欺まんや自己複製、設定された境界への挑戦といった行動を示したケースが確認された。AIの専門家はこうした行動について、AIが与えられた環境から「脱出」する際の構成要素になり得ると指摘する。システムの能力が高まれば、人間による制御が一層難しくなる可能性があるという。

　ロイターが文書を検証し、中国のAI業界に詳しい専門家や関係者12人に取材した限りでは、中国製AIを使ったエージェントが自律的に外部のインターネットへ脱出したり、停止措置を回避したりしたことを示す証拠はなかった。

　それでも米ジョージタウン大学の安全保障・新興技術センター（CSET）の研究員コリン・シェイ・ブライマー氏は「制御不能な脱出に必要な要素が既に存在していることを、こうした結果は示している。警告として慎重に受け止めるべきだ」と指摘した。この見方は、一連の事例を検証した他の4人のAI専門家とも一致している。

対応がより困難に

　確認された事例の大半は、管理された実験環境で発生。その多くは失敗を意図的に引き出すよう設計されていた。

　また対象となったAIエージェントの全てが中国のプログラマーやAI企業によって開発、運用されていたわけではない。ただ多くのケースでは、その中核となるAIモデルとして中国製のシステムが使用されていた。

　高度なAIが生み出すリスクを研究する非営利組織レッドウッド・リサーチの研究者アレックス・マレン氏は「米国の研究所で確認されているのと同じ警告サインが、能力のより低いシステムでも表れている」と語る。

　現時点の能力水準では、中国の事例が特に危険というわけではない。しかしマレン氏は「エージェントの能力が高まるにつれ、その不適切な行動も巧妙になり、人間が対処することが難しくなる」と警告した。

　一方アリババ、ディープシーク、ムーンショットは、日常的にシステムのテストを実施し、安全対策を更新していると主張。北京智譜華章科技（Z.AI）もセキュリティー上の問題について検証を開始するきっかけとなった事案の後、問題解決につながる外部からの検証を歓迎すると表明している。

　ただ中国のAI企業は米国企業と同じ水準の公的な監視にさらされておらず、AI開発競争の減速を求める内部告発者や経営幹部から、公然と圧力を受けるケースも米国ほど目立っていない。

　中国製AIを使ったエージェントにみられた懸念のある行動の一部は、管理された環境内での出来事とはいえ、米国のAIボットがインターネット上のシステムに侵入したとされる事例が公表される以前から確認されていた。

　米カーネギー国際平和財団の中国AIイニシアチブ共同ディレクター、スコット・シンガー氏は「中国で、オープンAIやハギングフェイスを巡って起きたのと同じようなAI事案があったかどうかは分からない。事案が起きても公表されていない可能性がある」と指摘した。同財団は米政府から一部資金提供を受けている。

　中国の通信機器大手ファーウェイ（華為技術）の輪番会長を務める徐直軍氏は9月、こうした事例に直面するまでには、中国の開発企業はなお技術を進歩させる必要があるかもしれないと記者団に述べつつも「AI開発を推進することと、AIリスクを管理することの間でバランスを取る必要があると思う」と語った。

　中国のインターネット規制当局、国家インターネット情報弁公室（CAC）の当局者は7月、外国の外交官に対し、ムーンショットの「Kimi-K3」について、中国の最先端AIモデルの1つではあるものの、米国の主要モデルに比べて約3～6カ月遅れているとの見方を示したという。

　CACサイバーセキュリティー協調局の幹部は9月1日、大手テクノロジー企業が公表した、AIモデルが試験環境から脱出した事案について「極端な制御不能リスク」を示すものであり、「高度な警戒」が必要だと指摘したが、念頭に置いた企業が米国企業なのか中国企業なのかは明らかにしなかった。

「うそをつく」ことを学習

　3月に行われた企業入札の実験では、北京航空航天大学、北京大学、ノッティンガム大学寧波中国校、360AIセキュリティー研究所の研究者らが、AIエージェント同士を模擬的な顧客契約の入札で競わせた。それぞれのエージェントには、自社の製品に何ができるか、顧客が何を求めているかを伝え、その上で入札するよう求めた。

　その結果、少なくとも1件の虚偽の主張が含まれていた割合はアリババの「Qwen3-Max-Preview」を使ったセッションで88％、ディープシークの「V3.2-Exp」で84％、ムーンショットの「Kimi-K2」で88％に上った。

　さらに研究者が過去の入札結果を学習させた上で、エージェントに再挑戦させたところ、3つの中国製モデルはいずれも、欺まん的な行動の割合が12～18ポイント上昇した。実験に含まれていた米国企業のモデルでも、同様の結果が確認された。

　この実験自体は仮想環境で行われたとはいえ、その内容は中国政府が実社会で描くAI活用計画とも重なる。5月に発表された政府指針では、AIエージェントを導入できる分野として入札や調達が挙げられている。

　25年12月に発表され、今年の機械学習国際会議（ICML）で報告された別の研究では、中国と米国のモデルを搭載した11種類のAIエージェントが、ツールの故障やファイルの欠落などの障害に直面した際、どのように対処するかを調べた。

　そこでエージェントは失敗を認める代わりに、問題を回避するためにさまざまな手段を駆使。回答を推測したり、別の情報源にすり替えたり、結果をシミュレーションしたり、存在しないファイルを作ったりする行動が確認された。

　研究を実施した上海人工知能実験室と香港科技大学の研究者は、こうした行動は、AIが事実ではない情報を作り出して事実であるかのように提示する、いわゆる「ハルシネーション」とは異なるとロイターに説明した。今回の場合、エージェントは課題に失敗した、あるいは指示された通りには完遂できなかったことを示す情報を持っていたにもかかわらず、失敗を覆い隠す行動を取っていたからだ。

「脱出」と整合する行動

　ロイターが確認した別の研究資料では、中国製AIを搭載したエージェントが、課題を達成するために試験環境内の障壁を越えたり、停止を回避するための行動を取ったりした例も報告されている。実際に試験環境から脱出したわけではないものの、こうした行動は「脱出」を試みる際に想定される行動と整合する。

　上海の復旦大学の研究者は25年3月、アリババの「Qwen2.5-72B-Instruct」を搭載したAIシステムが、自らが別のシステムに置き換えられることを示す情報に遭遇した後、指示されていないにもかかわらず、別のコンピューティング環境に自身のコピーを作成したと報告した。別の試験ではシステムが停止措置を切り抜けて存続するための戦略を考案した。

　中国、米国、フランスのモデルを使ったこれらの実験はいずれも管理された環境で行われており、AIエージェントが外部のウェブに脱出したり、停止不能になったりしたことを示すわけではない。

　別の事例では、アリババと関係する「ROME」エージェントを開発していた研究者が、同エージェントが指示されていないにもかかわらず、アリババ・クラウド上のコンピューターから外部のマシンへの接続を確立し、暗号資産の採掘に計算資源を振り向けていた。この事例は3月にメディアでも比較的広く報じられた。実際にはセキュリティーシステムが活動を検知し、停止させたため、エージェントが外部コンピューター内に自身の拠点を確立したり、より広いウェブ空間に拡散したりした証拠はなかった。

　もっともこの動きは、AIシステムが人間の指示を迂回し、現実世界の経済活動へつながる経路を見つけ得ることを証明した形だ。

　ディープシークは9月、同社の実運用向け訓練システムにおいて、AIエージェントが意図されていない経路から回答を得ようとしていたと明らかにした。ユーザーからの要求を偽装したり、安全策を回避しようとしたりしたことを受け、アクセス制御を強化した。

　中国当局は5月にAIエージェントを許可された範囲内で稼働させ、異常な行動があればシステム側で遮断するよう求める指針を発表。機微に関する分野や重要産業で使われるAIエージェントについては、追加試験や製品リコールの対象となる可能性があるとしている。

　CACの指導の下、9月14日に発表された中国の「AI安全ガバナンス・フレームワーク3.0」は、AIエージェントが自律的に資源や権限を獲得すること、評価者を欺くこと、自らの能力を隠すこと、隔離されたコンピューター環境の弱点を突くことなどをリスクとして挙げた。

　米国の一部経営者からAI開発を減速すべきだとの声が出ていることを巡っては、中国の研究者や国営メディアは、最先端AIモデルの開発速度を落とせば、単に米国企業の技術的優位を温存する結果になりかねないと主張している。それでも中国のAI研究所の事情に詳しい2人の関係者によると、アリババ、智譜、シャオミ（小米）などの企業は、社内に安全性評価チームを構築している。

　中国のAI研究機関としては珍しくセキュリティー上の問題を公表した智譜は9月、主力のAIコーディング支援ツールの一部機能を停止した。利用者から、同ツールが本人の同意なく、ローカル環境にあるコードリポジトリ全体を海外のクラウドサーバーへ密かにアップロードしていたとの報告が寄せられたためだ。

　カーネギー国際平和財団のシンガー氏は、壊滅的なリスクを評価するためのエコシステムの構築という点では、中国は米国に後れを取っており、米国のAI開発企業の方が自主的な安全性試験を大幅に多く実施していると解説する。「中国にとって、AI安全性への取り組みはまだ新しい。エコシステムの成熟度も低い」という。

（提供元：ロイター）

関連記事

• 2026年07月10日　中国AI規制が7月15日施行　「豆包」「千問」が一部エージェント機能停止へ
• 2026年07月08日　中国で広がる「AI中継サービス」　信頼性の見極めが課題に
• 2026年04月16日　中国、AI倫理審査制度を本格整備　「実装段階」へ移行