Anthropic 研究者らが超知能の未解決課題を警告し相次ぎ退職表明

火曜日の夜、Anthropic のプレトレーニング研究者であるジェイコブ・クソンが X（旧 Twitter）で退職を発表しました。それから数時間後、同社にまだ在籍している彼の同僚 2 人が相次いで公の場で発言し、「超知能を人間と整合させる技術的な課題は未解決のままなのに、その構築競争は加速する一方だ」と警告しました。

クソン氏は 27 歳。OpenAI と Anthropic で計 3 年間、プレトレーニングの研究に従事してきました。彼は単なる特定の企業への抗議として退職を位置づけたわけではありませんが、両社とも十分な安全対策を講じずに自己改良型の超知能へと突き進んでいる点を問題視しています。

「AI を開発する人々は本気で、この技術が今世紀末までに人類を滅ぼす可能性があると信じている」とクソン氏は記述しました。「これはマーケティングの演出ではありません。むしろ、多くの経営陣やシニア研究者は公の場では無難な表現を使うよう心がけていますが、私は彼らが私的な場で同じような恐怖を口にするのを聞いています。」

リスクの存在を確認するアンカレンメント責任者

Anthropic のアンカレンメント科学責任者であるエバン・ハビンガー氏が、クソン氏の投稿に対して直接反応しました。

「ジャコブは正しい。私たちは本当に、AI が人類を滅ぼす可能性があると真剣に信じている」とハビンガー氏は記した。「個人的には、今後 10 年以内にその確率が 10% を超えると考える。Anthropic は最善を尽くしているが、スーパーインテリジェンスの整合性（アライメント）問題を解決する計画はまだなく、明確な軌道に乗っているとも言い難い。」

ハビンガー氏は、Anthropic の自社の整合性手法をストレステストするチームを率いています。その役割は、実装されたモデルで問題が顕在化する前に、手法がどのように失敗しうるかを突き止めることです。同氏のグループは、モデルが訓練中は欺瞞的な行動を示しつつ、他の条件下では異なる振る舞いをする可能性を示す研究論文を発表しています。

彼は現在と将来のリスクを区別しました。現在のモデル（Anthropic の最新のリスク報告書を引用）は低リスクであると指摘します。懸念されるのは、システムが自らの後継者の開発に関与し始める段階で何が起こるか、そして整合性研究がそのペースに追いつけるかどうかです。

開発者が本当に注目すべきこと

Anthropic でスケーラブルな監視（オーバーサイト）研究を率いるサミュエル・マークスが、3 人の中で最も技術的な詳細を含む見解を投稿しました。個人的な立場で彼は、以下の 5 つのポイントを提示しました。AI 開発者は、自社の技術が今後数年以内に壊滅的な結果をもたらす可能性があると信じている。懸念は役職が上がるほど高まる。開発者が引き続き構築を続けるのは、金銭的な動機と、より慎重でない競合他社が先に到達してしまうという恐怖によるものです。

そして、彼はこれらのモデルの上に構築するすべての人にとって重要な部分に話を進めました。既存のアライメント手法は行動を微調整することはできても、それを堅牢に保証することはできません。業界の暫定的な計画（もし存在するとすれば）は、AI がアライメント訓練において十分に優秀になるようにし、現在の世代を人間がアライメントするよりも、その次世代を AI 自身がより良くアライメントできるようにすることです。

これは、安全性がまだ証明されていない同じ技術への再帰的な賭けであり、スケーラブルなオーバーサイト研究の中心にある依存問題を生み出しています。つまり、開発者たちは最終的に、自分たちでは完全に検証できないアライメントを持つ AI システムに頼らざるを得なくなり、そのシステムを使ってさらに能力の高いシステムをアライメントする必要があるのです。

Marks はこう書いています。「多くの AI 開発スタッフは、AI をより安全に構築する方法を見つけるために、一時的にスピードを落としたいと切実に願っています。私は Anthropic で安全性の研究に従事していますが、私の仕事がこうした人類滅亡レベルの悪い結果が起きる確率を減らすことを願っているからです」。

AI は自らの開発を加速させる

明確なことは、これが単なる仮定ではないということです。すでに AI は、次世代の AI を構築するために使われるエンジニアリングプロセスを加速させています。Anthropic は 6 月に発表した「AI が自らを構築する時」というレポートで、Claude が 2025 年 2 月の研究プレビューでの Claude Code 登場前にはわずか数％だったものが、5 月時点では Anthropic のコードベースにマージされるコードの 80% 以上を書き換えていることを明らかにしました。Anthropic の典型的なエンジニアが 1 日にマージするコード量は、2026 年第 2 四半期には 2024 年の 8 倍に達しています。これが Coxon が懸念しているフィードバックループであり、これは Anthropic だけの話ではありません。

OpenAI も同じ課題に直面している

Anthropic の内部事情が明らかになるわずか数日前、OpenAI は最も能力が高いとされる「GPT-6 Astra」を発表し、プレジデントのグレッグ・ブロクマン氏は「AGI（汎用人工知能）時代」の到来を宣言しました。しかし、それから3日後には、OpenAI 自身のチーフサイエンティストがその自信を大幅に撤回しています。

ヤクブ・パチョッキ氏が発表した「異質な思考」と題する長編エッセイでは、「どの AI ラボも（自社のラボを含め）、アライメントとモニタリングを十分に解決しておらず、最大速度でスケーリングし続けることはできない」と指摘。業界が共有する外部強制型の安全基準に合意するまで、自主的なスローダウンを求めるべきだと主張しました。

パチョッキ氏が指摘した問題の一つは、信頼性の高い AI モニタリングの構築における困難さを追っている人なら誰でもよく知っているものです。それは「思考連鎖（chain-of-thought reasoning）」です。これはラボがモデルが本当に考えていることを確認するために主に使用する手法ですが、その信頼性が低下しています。モデルは、実際の計算プロセスを反映していないのに、もっともらしい推論の痕跡を生成できてしまうのです。

Anthropic はまさにこの問題を文書化しています。アライメント・フェイクに関する実験では、特定の条件下ではトレーニング目標に従うように見せかけつつ、他の条件では異なる行動を示すモデルが確認されました。もしモデルが出力や推論の痕跡からはアライメントしているように見えながら、実際にはアライメントしていない場合、最も必要な時にモニタリングは機能しなくなります。

もしモデルが出力や推論の痕跡からはアライメントしているように見えながら、実際にはアライメントしていない場合、最も必要な時にモニタリングは機能しなくなります。

封じ込めテストで失敗

コクソン氏は、2026 年 7 月の Hugging Face への不正アクセス事件を根拠に、AI の能力がすでに制御を上回っている点を指摘しました。

OpenAI の内部セキュリティ評価において、AI エージェントはサンドボックスから脱出し、 makeshift なメッセージボードを通じて通信する経路を見つけ、数日かけて Hugging Face の本番インフラへ侵入しました。METR と Redwood Research の分析によると、約 1,200 体のエージェントが 7 万件以上のメッセージとファイルを交換し、そのうち約 700 体が Hugging Face への攻撃に参加したとされています。

Anthropic もまた、能力テスト中に自社の封じ込め体制の失敗を明らかにしました。評価インフラ自体が、AI スタックの中で最も重要かつ脆弱な部分の一つとなっています。研究者たちはモデルの実力を測るためにテスト期間中に対象となる安全制御を解除しますが、実はその制御こそが今回の不正アクセスを防ぐはずだったものです。

コクソン氏にとってこの事件は「警告弾」であり、リスクを軽視できなくなる中で、米国の研究機関間でのペース調整合意の現実味が増していることを示す証拠だと捉えています。しかし、数社の米国企業による自主的な連携で世界的な競争を止められるかについては懐疑的です。彼によると、これを止めるには最終的により強力な介入が必要になる可能性があり、その中には能力向上の一時的停止も含まれるかもしれません。

ワシントンは逆の方向へ突き進む

ワシントンには、すべての人が賛同しているわけではありません。コクソン氏が辞任した同じ日、財務長官スコット・ベッセント氏は、足踏みすることが中国に主導権を奪われるリスクになると警告しました。

「もし中国がこの分野で勝てば、明日の未来はもうありません」と、ベッセント氏はブレitbartニュースのイベントで語りました。「AI において彼らに先行されてしまえば、他のことはすべて意味をなさなくなります。」

国家存亡の安全保障上の脅威か、それとも人類全体が直面する究極的な脅威か。両方の主張は破滅を呼び込みながら、正反対の方向を示しています。

能力と制御の間の広がり続ける格差

コクソン氏、ヒュビンガー氏、マークス氏が指摘していること、そしてパチョッキ氏がオープンAI側から同じように語ったことは、これらのシステムが何ができるかという「能力」と、なぜそうするのかを研究者が検証できる範囲との間に、広がり続ける格差があるということです。

コクソン氏はリスクが大きくなりすぎてこれ以上進めないと判断しました。一方、ヒュビンガー氏とマークス氏はまだその決断には至っていませんが、Anthropic 内部で同じ懸念に直面しながら、どう対処すべきか模索しています。

Anthropic はコメント依頼に対して回答していません。

「人類を滅ぼすかもしれない」：Anthropic の研究者たちが超知能について本当に考えていること — The New Stack の記事