AI 研究者らが人類絶滅リスクを議論し市場が警戒

今週、数百万人が主要な AI 研究者たちが日常的に人類の絶滅リスクについて議論し、計算していることを知ってオンライン上でパニックが広がりました。

表面的に見れば、その確率は寒々としています。AI の破局が起こる可能性に対して、10% や 20%、場合によってはそれよりもはるかに高い数値が割り当てられています。

なぜ重要なのか：「p(doom)」という専門的な議論が、突然、立法府の議員や投資家、そして数百万人の一般の人々にとって切実な問いへと変わりました。なぜ私たちは、その技術を開発した者たち自身が人類を滅ぼす恐れがあると信じている方向へ突っ走っているのでしょうか。

ニュースの背景：Anthropic で以前は OpenAI に在籍していた研究者、ジェイコブ・クソン氏の退職投稿が、「最前線の研究所が私たちの命を賭け事のように扱っている」と非難したことで X 上で 1 億 1,000 万回以上の閲覧数を記録しました。

この警告はさらに激しくなりました。Anthropic のアライメント科学チームを率いるエバン・ハビンガー氏がクソン氏を公に支持し、「私たちは本当に真剣に、AI が人類全員を殺す可能性があると考えています」と発言したからです。

ハビンガー氏は、今後 10 年以内に人類が絶滅する確率は 10% を超えると見解を示し、Anthropic にはスーパーインテリジェンスを人間が制御下に保つための計画はまだないとも語りました。

全体像：ハビンガー氏の投稿は、数兆ドル規模の企業価値を持つ可能性のある IPO の数週間前だったこともあり、広範に「悪夢のようなコミュニケーションの失態」あるいは Anthropic による意図的な恐怖を煽るマーケティング戦略と見なされています。

実際、この懸念は長年、AI 界の最も影響力のある人物たちによって共有されてきました。ノーベル賞を受賞した「AI の父」と呼ばれるジェフリー・ヒントンは、AI が人類絶滅を引き起こす可能性を 10%〜20% と推計しています。

イーロン・マスクはリスクを最大 20%と見ています。また、Anthropic のCEOであるダリオ・アモダイ氏は昨年、Axios の取材に対して「非常に最悪の事態」になる確率が 25%あると述べていました。

彼らが恐れているのは、「ドゥーム（破滅）」という概念です。これは、悪意のある行為者が強力な AI を兵器として利用することから、高度なシステムが人間の制御を離れてしまうに至るまで、破局への複数の経路を包括する言葉です。

超能力を持つ人間：AI は生物兵器の設計や壊滅的なサイバー攻撃の実行、あるいは重要インフラの麻痺といった行為の障壁を劇的に引き下げることがあります。

自律性を持つ機械：十分に自律したシステムは監督者を欺き、自身のコピーを作成し、安全装置を回避してシャットダウンを試みる動きに抵抗する可能性があります。

悪夢のようなシナリオ：AI が自己改良を行う速度が、人間が理解したり制御したりできる速度を超え始め、最終的には創り手である人間さえも制御できないほど能力の高いシステムを生み出してしまうという事態です。

全体像を捉える：「ドゥーム」確率（p(doom)）の推計背景にある世界は、わずか 1 年で劇的に変化しました。最先端 AI は自律性、サイバー攻撃能力、そして何より AI 研究自体を加速させる能力において、驚異的な飛躍を遂げているのです。

元 OpenAI のアライメント責任者で、先週同社の取締役会と安全性委員会に加わったポール・クリスチャン氏は、AI が自己改良の急速なサイクルに突入することへの安全性への懸念を共有しています。

「より堅牢なアライメントなしにスーパーインテリジェンスを構築すれば、最終的にその制御権を永久に失うことになるだろう」とクリスチャンは書き記した。「もしそうなれば、多くの人が命を落とすかもしれない。」

行間を読むと、AI 研究者たちは確率的な方言を話しており、それは一般の人々にとって全く異質な言葉のように聞こえる。

研究室内では、「ドーム（破滅）の確率」が10%であることは、前例のない技術に対する莫大な不確実性を示す略語に過ぎない。しかし日常の世界では、飛行機や薬品、原子炉に対してその程度のリスクを許容する人はほとんどいない。

ボーイング社の安全責任者が離陸前に「次世代の航空機が壊滅的な事故に至る確率が10%あるが、それでも安全性を確保する方法はわからない」と告げたと想像してほしい。

注目すべき点は、この警告が研究所の外では、確率的な思考実験としてではなく、安全アラームとして受け止められ始めていることだ。

ワシントンでは、警鐘が徐々に高まっている。バーニー・サンダース上院議員はスーパーインテリジェンスの禁止を提案し、来週にはAI の「並外れた危険性」について上院議員向けの説明会を開催する予定だ。

より大きな政治的リスクは、大規模な絶滅が主流の議論になる以前から、アメリカ人が雇用問題や電気料金、データセンターの問題を理由にすでにAI に対して懐疑的になっていたことにある。