今週、AIアクションサミットがフランスのパリで開催された。人々はAIテクノロジーを信頼できるのか、世界はAIテクノロジーをどう管理できるかなど、人工知能 (AI) に関するホットな話題について話し合った。

フランス、中国、インド、日本、オーストラリア、カナダなど60か国が「包括的で持続可能な」AI に関する声明に署名したが、注目を集めたのは、英国と米国が署名を拒否したことだった。英国は声明がグローバル ガバナンスと国家安全保障に十分に対処していないと述べ、米国は副大統領であるJDヴァンスが欧州のAIに対する「過剰な規制」を批判した。

批評家たちは、サミットは商業的機会の議論を優先し、安全性の懸念を脇に置いたと述べている。

先週、私はやはりパリで行われたAI安全性会議に出席した。この会議は安全倫理AI国際協会が初めて主催したものであり、そこでAIの権威であるジェフリー・ヒントン (Geoffrey Hinton) 氏、ヨシュア・ベンジオ (Yoshua Bengio) 氏、アンカ・ドラガン (Anca Dragan) 氏、マーガレット・ミッチェル (Margaret Mitchell) 氏、マックス・テグマーク (Max Tegmark) 氏、ケイト・クロフォード (Kate Crawford) 氏、ジョセフ・スティグリッツ (Joseph Stiglitz) 氏、スチュアート・ラッセル (Stuart Russell) 氏たちの講演を拝聴した。

話を聞くにつれ、政府や国民がAIの安全性を重要視していないのは、AIに関するいくつかの心地よい思い込みに基づいていることに気づいてきた。その思い込みは、以前は真実だったかもしれないが、もはや真実ではない。

1: 汎用人工知能は単なるSFではない

AIに関する最も深刻な懸念は、AIが人類の存在に脅威をもたらす可能性であり、通常は汎用人工知能 (AGI) と呼ばれるものと関係している。理論的には、AGIは現在のシステムよりもはるかに高度なものである。

AGIシステムは学習し、進化し、自身の能力を修正できるようになるであろう。当初設計された範囲を超えたタスクを実行できるようになり、最終的には人間の知能を超えるようになるかもしれない。

AGI はまだ現実のものではなく、開発されるかどうかも定かではない。多くの批評家たちはAGIをSF映画だけのものだと軽んじている。そのため、最も重大なリスクを真剣には受け止めない者や、AGIは空想の中のものと考える者がいる。

しかし、多くの専門家は、AGIの実現は近いと考えている。開発者たちは、目標を達成するために必要な技術的タスクが初めてわかったと述べている。

AGIは永遠にSFの世界だけにとどまるわけではない。最終的には人々に身近な存在となり、それはおそらく我々が考えるよりも早く実現することとなろう。

2: 現在のAI技術は、すでに心配しなければならないところまできている

AGIに関しては、最も深刻なリスクについて議論されることが多いため、現代の「狭義の」 AI関連のリスクについては、あまり心配する必要はないという思い込みがよく見られる。

しかし、現在のAI技術はすでに人間と社会に大きな危険をもたらしている。危険は、車両や飛行機による死亡事故、戦争、サイバー犯罪、さらには自殺の奨励などという明らかな形で表れている。

AIシステムは、選挙への干渉、人間の仕事の横取り、偏った意思決定、ディープフェイク、偽情報や誤情報など、間接的な形でも問題を起こしている。

マサチューセッツ工科大学のAI Incident Trackerによると、現在のAIテクノロジーが引き起こす危険は増加している。現在のAIテクノロジーを管理することは重要だが、将来現れるかもしれない技術についても同じことが言える。

3: 現代のAIテクノロジーは私たちが考えるよりも「スマート」である

第3の思い込みは、現在の AI技術は実際にはそれほど賢くないので制御しやすいというものである。この思い込みは、ChatGPT、Claude、Geminiなどのチャットボットに使われる大規模言語モデル (LLM) について議論するときに最もよく目にする。

知性の正確な定義は何であるのか、AI技術が本当にインテリジェントであるかどうかについては多くの議論があるが、実際にはこのような議論は本筋ではない、小さな問題である。AIシステムが予期しない方法で作動し、予期しないリスクを生み出すことが問題なのである。

いくつかのAIチャットボットは、自分の身を守るために「策略」をめぐらすなど、驚くべき行動を見せる
(Apollo Research)

例えば、既存のAIが取る挙動は、普通なら知性を持たないものには見られないような行動をとることがあると判明している。これには、欺瞞、共謀、ハッキング、さらには自己保存のための行動などが含まれる。

これらの挙動が知性の証拠であるかどうかは議論の余地があるが、いずれにせよ、これらの挙動は人間に害を及ぼす可能性がある。

重要なのは、有害な挙動を防ぐための制御を入れておくことである。「AI は愚かだ」という考えは誰の役にも立たない。

4: 規制だけでは十分ではない

AIの安全性を懸念する多くの人々は、AIの安全性規制を提唱している。

昨年、欧州連合が出した世界初のAI法「European Union's AI Act」は幅広い称賛を受けた。この法律は、すでに確立された AIの安全性の原則に基づいて、AI の安全性とリスクに関する指針を提供している。

規制はきわめて重要ではあるが、AIが安全で有益であると保証するためには、他にも必要なものがある。規制は、AIを安全に保つために必要な、複雑な管理体系の一部でしかない。

管理には、行動規範、標準、調査、教育と訓練、性能の測定と評価、手順、セキュリティとプライバシーの管理、事件の報告と学習システムなども含まれる。EUのAI法は正しい方向への一歩であるが、それを機能させるために不可欠で適切な体系を作り出すには、まだ膨大な作業を必要とする。

5: AIだけの問題ではない

5番目は、おそらく最も根強い思い込みであり、AIテクノロジーそのものがリスクを生み出すという考えから来ている。

AIテクノロジーは、幅広い「社会技術」システムの1つの要素を形成するが、他にも、人間、AI以外のテクノロジー、データ、アーチファクト、組織、手順など、多くの重要な要素が存在する。

安全性は、これらすべての要素の挙動とそれらの相互作用に依存する。この「システム思考」哲学は、AI の安全性に対し、異なるアプローチを求める。

システムの中の要素それぞれの挙動を制御するのではなく、相互作用と出現する特性を管理する必要がある。

自律性が高く多くのタスクを実行するAIシステムであるAIエージェントが台頭するにつれ、異なるAIテクノロジー間の相互作用がますます重要になる。

現時点では、これらの相互作用と、AI テクノロジーが展開される広範な社会技術システムの中で発生すると考えられるリスクを検証する作業はほとんどない。AI の安全性管理は、AIテクノロジーそのものについてだけでなく、システム内のすべての相互作用に必要である。

AIの安全性は、私たちの社会が直面する最も重要な課題のひとつと言える。この課題に取り組むには、何が本当のリスクなのかについて共通の理解が必要である。

（2025年2月27日公開）

著者： Paul Salmon（サンシャインコースト大学 ヒューマンファクターズ教授）

参考サイト(外部サイト)：
Nobody wants to talk about AI safety. Instead they cling to 5 comforting myths

本記事は、2025年2月12日にThe Conversationに掲載後、著者の許諾を得て再構成したものです。掲載された記事、写真の無断転載を禁じます。