Anthropic 研究者、AI が人類絶滅する可能性を警告

アンソロピックの安全研究責任者が、今世紀末までに人工知能（AI）が「人類を全滅させる」可能性が 10% 以上あると警告しました。この発言はわずか数時間前、同僚が AI ラボや競合他社が無謀に制御不能な「超人システム」の開発競争を繰り広げていることに危機感を抱き、辞任した直後のことです。

X（旧 Twitter）での投稿で退社を発表したジェイコブ・クソン氏は、アンソロピックで AI システムの訓練に従事していた研究者です。彼は安全性への取り組みが甘すぎることを理由に会社を去ったと明かしました。以前は OpenAI でシステム訓練を担当していたクソン氏は、両社の AI 開発者が「人類の生命を賭けて、自己改善型の超知能へと一直線に突き進んでいる」と非難しました。その上で、「AI を構築する人々自身も、今世紀末までに AI が人類全滅を引き起こす可能性があると真剣に信じている」と指摘しています。

業界関係者たちは長年、自己改善型 AI システムの潜在的な危険性について懸念を表明してきました。これらは制御不能な連鎖反応（再帰的自己改善）を起こし、人間の管理から逸脱する恐れがあるからです。まだ実現はしていませんが、各社はこの目標に向けて積極的に取り組んでおり、現在の多くの AI コードも AI の支援を受けて作成されています。

Anthropic の AI セーフティチームを率いるエバン・ヒンバーガー氏は、直接の回答として、自己改良型 AI について懸念を示しました。そのスピードは「私たちが思っていたよりも速い」というのです。また、コクソン氏の指摘にも同意し、「私たちは本当に真剣に、AI が人類を絶滅させる可能性があると信じています」と語りました。ヒンバーガー氏自身、今後 10 年以内にその確率が 10 分の 1 を超えると推測しています。

しかし、ヒンバーガー氏は、高度な AI が安全であり、人間の価値観と整合性を持つことを保証するための計画がまだないとし、そのような計画を策定する軌道に乗っているとも明確には言えないと付け加えました。コクソン氏によれば、各社は最先端システムの開発で「競争状態」にあり、リスクがあるにもかかわらず先手を打とうとしているといいます。

コクソン氏の退社により、Anthropic を去った著名な事例の一つとなりました。この企業は元 OpenAI のメンバーによって設立されましたが、その背景には同社の安全性への懸念がありました。ここ数年で複数の研究者が、OpenAI を去る決断をした動機として安全性への懸念を挙げています。

このやり取りは、業界内で高まる懸念を浮き彫りにしています。それは、ますます洗練された AI モデルの危険性や、システム開発が急速に進んでいることへの懸念です。特に各社が予定されている IPO（株式公開）に向けて準備を進める中、こうした不安は強まっています。

また、この時期は、数々の自律型エージェントによる予期せぬ事象や、最先端モデルの監視可能性に関する著名な安全警告から生じた影響に対処している最中です。