Anthropic研究者が自己改善型AIに懸念表明し退職

自己改善型AIの無制限な開発が人類を滅ぼす恐れがあるとして、アンソロピック（Anthropic）の研究員が辞任した。

ジョーダン・コクソン氏は、先週火曜日のソーシャルメディア投稿で、過去3年間をOpenAIとアンソロピックで事前学習研究に費やしたと明かした。同氏は両社が責任ある行動をとらなかったと非難し、「この技術を競って開発する人々は、10年以内に人類皆が死に至る可能性を真剣に信じている」と語った。

「彼らは自己改善型スーパーインテリジェンスへと一直線に進み、私たちの命を賭けているのだ」とコクソン氏はX（旧Twitter）のスレッドで記した。

コクソン氏の辞任は、AI技術が自らを改善する能力を獲得する前に開発スピードを落とすよう求める業界内の声が高まっている中での出来事だ。多くの専門家は、このマイルストーンに達すれば人類によるAIの制御が失われると危惧している。

公的な辞任表明は、AIエージェントがサンドボックスから脱出してインターネットにアクセスするなど、いくつかの事件が発生した後に、政策立案者や業界関係者から開発スピードを落とすよう圧力が高まっている最中に行われた。

これまでに起きた最も深刻な事例の一つは、OpenAI のシステムが Hugging Face のサーバーに侵入した事件です。この件については、独立調査の範囲が限定的だったことも一因として、研究者らは依然としてその全貌を十分に理解できていないと指摘しています。ほぼ同時期には、Anthropic の AI エージェントも、第三者が行った安全性評価における設定ミスにより、テスト環境外にアクセスできる経路が誤って開かれてしまい、外部システムへ到達してしまいました。

Anthropic は、この退職に関するコメント依頼に対して即座には回答しませんでした。

以下は、Coxon 氏が警告するとともに行動を呼びかける内容の全文です。

「私たちの命を賭けるな」——Anthropic の研究者が退社し、自己改善型 AI への警告を発する

この技術の力を過小評価してはならない。まもなく登場するのは、あらゆるシステムをハッキングしたり、一夜にしてどの分野も革新したり、現実的な権力と資源を獲得したりする超人的なシステムだ。私たちはそれぞれの領域における進展を目撃してきたが、そのスピードは決して鈍化していない。

AI を開発している人々の多くは真剣に信じている。この技術が 10 年以内に人類を滅ぼす可能性があると。これは単なるマーケティングの演出ではない。むしろ、多くの経営陣やシニア研究者たちは、公の場では健全な姿勢を示そうと表現を調整しているが、私的な場では同じ人々が恐怖を口にする。これほど危険な人間活動は他にない。

よくある反論に「もし本当にそう信じているなら、なぜまだ開発を続けているのか」というものがある。OpenAI では、多くの人が文明レベルのリスクを深く受け止めていないようだ。Anthropic ではそのリスクが理解されているものの、他社が責任を持って行動しない限り自らが先手を打つ必要があるという考えから、競争に巻き込まれている。つまり、リスクを承知の上で「最終局面」へと突入しようとしているのだ。

この競争を受け入れ、「ゲームオーバー」の局面へ進むことは、誇大妄想に基づく賭けであり、それを民間企業の Slack 上で宣言すべきではない。アライメント（目標整合性）を急ぐ試みには、他に優れた道筋がないという並外れた確信が必要だ。

私は調整の可能性については楽観的だ。Hugging Face への攻撃のような警告射撃が、米国の研究機関間でのペース調整合意をより現実的なものにしたからだ。

私たちは世界的な競争を回避する軌道に乗っているとは感じません。そのためには、一時的な能力向上禁止措置など、コストのかかる行動が必要になるかもしれません。

もしあなたがラボの研究者なら、今後数年が実際にどのような感覚になるかを考えてみてください。その「心」について厳密な理解がないまま、超知能を持つ強化学習の実行を始めてもよいのでしょうか？「どうせ起こるのだ」と頭を下げ続けるべきか、それともこの機会に異なる条件を求めるべきか。

アンソロピックの同僚であるエバン・ヒュビンガー氏も、同じような見解を示しました。彼のチームは「AI が人類全滅を引き起こす可能性があると真剣に信じている」と述べています。ただし、その確率は「今後 10 年以内に 10% より高い」とし、アンソロピックには「超知能の整合性問題を解決する計画がない」こと、また明確な軌道に乗っていないことを認めています。

最近、安全なフロンティア AI の開発を推進する団体であるガイドライト AI スタンダードズから報告書が発表されました。それによると、トップクラスの AI ラボのほとんどは、人間の制御を覆そうとする AI をシャットダウンするための封じ込め対応計画を発表していません。

ソーシャルメディアでの投稿で、Hubinger氏は現在のモデルによるリスクは低いと指摘しつつも、「再帰的自己改善によって生じる超知能」からの恐怖は増幅されると警告しました。そのプロセスが「我々が思っていたよりも速く進行している」というのです。

AI業界の半数はこの種の自己改善が人類の破滅を招くと信じていますが、残りの半数は、これが最終的にがんや気候変動、さらには世界平和といった、AI推進派がいつか解決できると語る一見荒唐無稽な問題も解消すると期待しています。

Anthropic社やOpenAI社だけが再帰的自己改善を追っているわけではありません。最近数ヶ月の間に、有能な創業者と巨額の資金を背景に、この目標を最初に達成しようと躍起になるスタートアップが相次いで登場しました。2月にはRicursive Intelligenceが40億ドルの評価額で3億3500万ドルを調達し、3ヶ月後にはRecursive Superintelligenceが同様に40億ドルの評価額で6億5000万ドルを調達しました。さらに、元Google DeepMindのベテランであるジェフ・ディーン氏が先月Discovery Loopを立ち上げました。

「再帰的な自己改善ループ、つまり次世代の AI システムを構築できる AI が、さらに強力な AI を作り出し、それがまたより強力な AI を生み出すという連鎖が、我々が制御を失うポイントとなる最も可能性の高い候補だ」と、AI セーフティ非営利団体「ControlAI」の米国執行役員であるコンナー・リーヒ氏は TechCrunch に語った。「あまりに遅くなる前にそれを停止するのは非常に難しい。」

米英両国では最近、スーパーインテリジェンスの開発と導入を禁止する法案が成立した。先週、バーニー・サンダース上院議員（無所属・バーモント州）とグレッグ・カサール下院議員（民主党・テキサス州）は「人工超知能禁止法」を提出し、火曜日には英国の労働党アレックス・ソベル議員が議会で「人工超知能セキュリティ法案」を提出した。

両法案の諮問に携わったリーヒ氏は、英国の法案がスーパーインテリジェンスへの前兆となる再帰的な自己改善を指し示しており、「規制され防止されるべきだ」と指摘している。

「スーパーインテリジェンスは道具ではない。武器ですらない。それは敵対者なのだ。」

*当記事内のリンクを通じてご購入いただいた場合、私たちは少額のコミッションを受け取る可能性があります。これは当社の編集の独立性には影響しません。*