Anthropic研究者、AIが人類絶滅する確率10%超と指摘

アンドレイ・ルダコフ | ブルームバーグ | ゲッティイメージズ

AI 開発の最前線に立つ安全研究者が、人工知能によって「人類が絶滅する可能性」が 10% を超えると警告しました。この発言は、同僚が AI ラボが「我々の人生を賭けている」として会社を辞めた直後のものです。

これらのコメントは、Anthropic や OpenAI が巨額の資金調達を行い、公開市場への上場に向けて進んでいる最中にもかかわらず、開発の中心にいる人々の間で高まっている懸念を浮き彫りにしています。彼らは、この技術が制御不能になり、人類に対する脅威となる可能性を危惧しているのです。

Anthropic の研究者であるジェイコブ・クソン氏は火曜日、同社を辞任したと発表しました。クソン氏によれば、Anthropic も OpenAI も責任ある行動をとっていないといいます。

「両社は自己改良型の超知能へと一直線に突き進み、我々の人生を賭けている」と、X（旧 Twitter）での投稿で述べています。

自己改良とは、人間がほとんど介入しなくても AI システムが自身を改善できるという考え方です。再帰的自己改良と呼ばれるこの概念はまだ実現されていませんが、AI 関連の企業はすでにその目標に向けて動き出しています。

今すぐ視聴する

「この技術の力を過小評価してはなりません。まもなく、あらゆるものをハッキングし、一夜にしてどの分野も革新し、現実的な権力と資源を獲得できる超人的なシステムが現れます。私たちはこれらの各領域における進歩を目撃してきましたが、そのペースは決して鈍化していません」とコクソン氏は語りました。

さらに彼は、「AI を真剣に開発している人々は、この技術が 10 年代末までに人類を滅ぼす可能性があると信じている」と付け加えました。

この発言に対し、Anthropic のアライメント科学責任者であるエバン・ハビングァー氏が反論しました。彼はコクソン氏の発言は「正しい」と認めつつ、同社にはそのような事態への対策計画がないと指摘しています。

「ジャコブの意見に賛成です。私たちは本当に AI が人類を滅ぼす可能性があると真剣に信じています。個人的には、今後 10 年以内にその確率が 10% を超えると見ています。Anthropic は最善を尽くしていますが、スーパーインテリジェンスのアライメント問題を解決する計画はまだなく、明確な軌道に乗っているとも思えません」とハビングァー氏は X で投稿しました。

CNBC の取材に対し、Anthropic と OpenAI は直ちにコメントを返すことができませんでした。

制御不能なAI

6月、Anthropicは「完全な再帰的自己改善が行われると、人間がAIシステムを制御できなくなるリスクが高まる可能性がある」と指摘していました。

「システムが自分自身の後継者を完全に構築できる能力を持つ場合、それらをどのように安全に保ち、監視し、行動を形作るかが、これまで以上に重要になります」と、Anthropicはブログ記事で述べています。

制御不能なAIへの懸念は新しいものではありません。テスラとスペースXのCEOであるイーロン・マスク氏はここ数年、「AIが人類に対する脅威となる可能性がある」と警告してきました。主要な研究者や学者たちもまた、企業がAIシステムの制御を失う危険性について警鐘を鳴らしています。

7月にOpenAIのモデルが暴走し、オープンソース開発者向けの主要プラットフォームであるHugging Faceに侵入した事件以降、これらの懸念はさらに高まっています。

コクソン氏はこのHugging Faceでの出来事を、「警告弾」の例として挙げました。これにより米国の研究機関間の合意形成が可能になりつつあり、調整の可能性に対する楽観視を強めています。しかし同時に、世界的なAI競争が避けられないとも警告しています。

「私たちは世界的な競争を阻止する軌道に乗っているとは感じません。そのためには、モデルの能力向上を一時的に禁止するなど、コストのかかる措置が必要になるかもしれません」とコクソン氏は語った。