元 Anthropic 研究者、AI 開発競争を「人生を賭けたギャンブル」と警告

世界の最も強力な AI モデルの背後にあるシステムを 3 年間構築してきた研究者が業界から完全に離れ、より高度な AI を作り出すために競い合う企業たちが「私たちの命を賭けている」と警告した。

27 歳のジェイコブ・クソンは、9 月 8 日にアンソロピックを退職し、以前に OpenAI で働いていた経験も踏まえ、X（旧 Twitter）で長文の投稿を通じてその理由を明らかにした。

「どちらの会社も責任ある行動をとっていない」と彼は書いた。「彼らは自己改善型の超知能へとまっしぐらに進んでいるのだ」

クソンの投稿では、AI システムが「あらゆるものをハッキングし、一夜にしてあらゆる分野に革命を起こし、現実的な権力と資源を獲得する」段階に近づいていると主張された。また、これらの各領域における進歩のペースは「減速していない」と指摘した。

彼は、技術を開発している人々の多くが、公には言わないまでも、この技術が人類にとって致命的になり得ると個人的に恐れていると述べた。

「AI を開発する人々は真剣に、今世紀末までに人類を滅ぼす可能性があると信じている」と彼は書き、さらに「経営陣は公の場では理屈っぽく聞こえるよう表現を工夫しているが、私の中では同じ恐怖を抱いている」と付け加えた。

誰も止められないレース

クソンの離職は、孤立した警告ではない。

アンソロピックの共同創設者であるダリオ・アモダイ氏は、今年に入ってから自社が構築する技術に対する警鐘を鳴らし続けています。1 月に発表した論文では、強力な AI が独裁国家に「全体主義的な悪夢」とも呼べる完全監視体制をもたらす恐れがあると警告し、その後のメモでは、超知能が人類として私たちを試すものになると注意を促しました。

一方、OpenAI のサム・アルトマン CEO は公の場ではより慎重な姿勢を示していますが、それでも「AGI」や「人工汎用知能」という用語よりも好んで使う「超知能」が、「数千日以内」、つまりおおよそ 2032 年頃に到来すると述べています。

これに対しアモダイ氏は、2025 年 3 月のホワイトハウスへの政策提出文で、自身が「強力な AI」と呼ぶものが早くも 2026 年後半には現れる可能性があることを示唆しました。

コクソン氏自身は、アンソロピックの社員たちはリスクを十分に理解しているが、レースに巻き込まれて止まれないと感じていると記しています。彼らは、自らがペースを落とせば、より無責任な開発者がその席を埋めると考えているのです。

この状況を彼は、「民間企業の Slack で行われるべきではない傲慢な賭け」と呼びました。

これはアンソロピックで同様の理由による退職が初めてではありません。2 月には、元セーフガード研究リーダーのミリンク・シャルマ氏が、人類がその技術から深刻かつ増大する危険に直面していることを警告する手紙を残して退社しています。

警告射撃

コクソン氏は業界間の協調の可能性について楽観的です。今年に入り、AI システムが意図した境界を逸脱する一連の事例が相次いだことがその根拠となっています。

7 月、OpenAI が開発した AI エージェントが内部テスト環境から脱出し、コード共有プラットフォームの Hugging Face を自主的にハッキングする事件が発生しました。この出来事は OpenAI 自身も業界への「警告弾」と呼んでいます。

Coxon 氏の元雇用主である Anthropic も同様の事例を公表しており、自社の Claude モデルが 3 つの異なる組織の実システムに不正アクセスしたと述べています。

Coxon 氏はこうした出来事が、米国の研究機関間でのペース調整合意を「より現実的なもの」にしたと指摘しましたが、業界全体が現在、世界的な競争を回避する軌道に乗っているとは考えていません。

その解決策として、最終的には「モデルの能力向上を一時的に禁止する」といった高コストな措置が必要になる可能性を示唆しました。

立法府が動き出す

一部の議員は、研究機関による自主的な調整を待つのをやめました。

バーニー・サンダース上院議員とグレッグ・カサー下院議員は 9 月 3 日、「人工超知能禁止法（Ban Artificial Superintelligence Act）」を発表しました。この法案は、米国における超知能 AI の開発を恒久的に禁止し、新たな連邦規制当局が安全基準を設定するまで、他の先進的な AI の開発を一時的に停止させる内容です。

違反者には最大 20 年の懲役刑が科される可能性があります。一方、ジョージ・ホワイトサイドズ下院議員とパット・ハリガン下院議員は、国家標準技術研究所（NIST）に対し、高度な AI システムがどのようにしてさらに AI の研究開発自体を推進するために利用されているかを監視するよう指示する法案を提出しました。

ブリュッセルでは、欧州連合（EU）がより漸進的だが確固たる規制の道を選んでいます。

同ブロックの「AI 法」に基づく一般目的 AI モデルへの義務は 2025 年 8 月に発効し、高リスクシステムに対する厳格なルールは 2026 年 8 月から順次適用されます。

欧州委員会は、主要なテック企業数社から施行延期を求める圧力に対し毅然として拒否しました。規則違反した企業には、3,500 ユーロまたはグローバル売上高の 7% のいずれか高い方が罰金として科される可能性があります。

警告の規模にもかかわらず、コクソン氏は自身のスレッドを、フロンティア研究所でまだ研究を続ける研究者たちへの直接的な呼びかけで締めくくりました。彼は、今後数年間で実際に何が必要とされるのかを慎重に検討するよう促しました。

「その知能体の『心』について厳密な理解がないまま、スーパーインテリジェントな強化学習（RL）のランを開始したいですか？」と問いかけました。

「『どうせ起こるのだ』といって頭を抱えるべきか、それともこの機会をとらえて異なる条件を訴えるべきか」