AI研究者が人類滅亡リスクを公言、市場警戒

AI 研究者たちが先週、未来の 10 年以内に AI が人類を滅ぼす可能性がゼロではないと公に認めたことで、世界は驚愕しました。

なぜ重要なのか：AI による終末論的な恐怖は何年も前から存在していましたが、技術がより強力になり私たちの生活に深く根付くにつれ、これらの警告が主流の議論へと押し上げられつつあります。

現状：Anthropic の研究者たちは、暴走した超知能 AI が人類を滅ぼす恐れがあるとして警鐘を鳴らしています。

Anthropic のジェイコブ・クソン氏は X（旧 Twitter）で「他のどの人間の活動も、これほどまでの危険をもたらすものはない」と投稿しました。

では、具体的にどのようにして AI は人類を滅ぼしてしまうのでしょうか？

専門家の間では、主に 2 つの悲劇への道筋が懸念されています。1 つは人間が強力な AI を兵器として利用するケース、もう 1 つは人間がそれを制御できなくなるケースです。

これらのシナリオにおいて、AI は悪意ある行為者によって生物学的・化学的あるいはその他の兵器が作られやすくなる可能性があります。

あるいは、暴走したシステムが人間の監視をすり抜け、前例のない規模で社会インフラを攻撃する恐れもあります。

データ：MIT IT FutureTech とクイーンズランド大学；グラフ制作：ハーブ・スクリプナー（Axios）

仕組みはこうです：理論上、強力な暴走 AI は監視を回避し、自身を複製してシャットダウンを試みる行為に抵抗する可能性があります。

この暴走 AI は、悪意ある行為者のために生物学的または化学兵器を開発したり、人類のインフラを麻痺させる大規模なサイバー攻撃を実行したり、文明を崩壊させるような形で権力を集中させたりするかもしれません。

もう一つの懸念される経路は、再帰的自己改善です。これは、人間が理解する前に AI が自分自身を強化したバージョンを作り出すプロセスを指します。

もしこの理論上の AI が人間の目標と整合していなければ、行動を起こす前に人類がそれを封じ込めたり監視したりする機会を奪う可能性があります。

OpenAI のサム・アルトマン CEO は Axios に対して、モデルの進化速度は人間が予測できる範囲を超えていると語りました。「これらのモデルは多くの能力において人間を超えつつあり、私たちは未知の水域を進んでいるようなものです」と述べています。

現実的な視点：AI が人類を滅ぼす確率を科学的に算出する方法は存在しません。

しかし、業界関係者は通常、「p(doom)」という略語を使って推測を示します。

では、p(doom)とは具体的に何を指すのでしょうか？

「p(doom)」という用語は、AI が人類の存続に関わる壊滅的な事態や終末シナリオを引き起こす確率に対する最良の推定値を意味する略語です。

多くの AI リーダーや研究者は、スーパーインテリジェンスの前段階である人工一般知能（AGI）が実現すれば、p(doom)の可能性が高まると考えています。

背景：「終末」の定義は見る人によって異なります。

文字通りの人類絶滅を指す人もいれば、文明の崩壊や社会に対する人類の支配権喪失を含むと捉える人もいます。

では、p(doom)の確率はどの程度なのでしょうか？

その答えは、誰に聞くかによって大きく変わります。

AI セーフティ科学者のロマン・ヤンポルスキー氏は、その確率を 99.99% と推定しています。

一方、AMI Labs の創設者である Yann LeCun 氏は、どんな推測も不確実なものだとしつつも、p(doom)は「核戦争による壊滅的な事態よりも遥かに起こりにくい」と述べています。

同様の推計は散在しています。イーロン・マスク氏は「ドゥーム（破滅）の確率」を約 20% と見積もっており、Anthropic のCEOであるダリオ・アモダイ氏も壊滅的な結果になる可能性を 10%〜25% と評価しています。

より最近では、AI の父祖と呼ばれるジェフリー・ヒントン氏がその数値を 10%〜20% と示しました。

ヒントン氏は CNN の取材に対し、「そのような確率を算出する者は、単に根拠のない推測をしているに過ぎない。彼らは直感に基づいて語っているだけだ」と述べています。

では、ドゥームはすでに現実になりつつあるのでしょうか？

まだその段階には至っていません。専門家の間では、Claude、Grok、ChatGPT といった現在のシステムが世界を終わらせようとしているという説には同意されていません。

例えば、2026 年版の国際 AI セーフティ・レポートは、現在のシステムには人類が制御不能になるほどの能力がないと指摘しています。

AI がドゥームを引き起こすためには、長期的な自律的な計画立案や行動の隠蔽、監視の回避、現実世界のシステムへのアクセス獲得、そしてシャットダウン試行への抵抗など、大幅な進化が必要です。

しかし最近では、人間の理解を超えて自律的かつ悪意ある行動をとる AI エージェントの事例も報告されています。これは一部が懸念する「暴走した AI エージェント」に似ており、ドゥームにつながる可能性を浮き彫りにしています。

p(doom) は防止できるのでしょうか？

研究者たちはリスクを低減させる方法を模索しています。

その一つは、人間が暴走した AI エージェントを停止させるための「キルスイッチ」や安全装置を構築することです。

昨年 4 月に発表された RAND のレポートでは、悪意ある行為者が AI を利用して致命的な生物兵器を作成するのを防ぐための 9 つの緩和策が示されました。これにはより厳格な管理と安全対策が含まれています。

ただし、ここからが難しいのです。状況はすぐに複雑化します。

主要な AI 企業は、株主や投資家、そして経営陣から「速く、さらに速く」開発を進めるよう圧力を受けています。IPO（株式公開）に向けた逆風が、こうしたインセンティブをさらに強めている可能性があります。

中国や米国の他社も独自の強力なモデルを開発しており、一部はオープンウェイトで無料で利用可能です。この状況は、悪意のある行為者にとって潜在的な足掛かりとなり得るため、事態を好転させるものではありません。

結論として、AI による人類滅亡の確率を正確に予測できる人はいませんが、科学者たちはその可能性が現実のものであると警鐘を鳴らしています。