Anthropic 安全研究者、AI が人類絶滅する確率 10% 超と警告

Anthropic のトップセーフティ研究者が警告する、今後 10 年以内に AI が「人類を絶滅させる」可能性は 10% を超える

Anthropic の主要な安全性研究者であるエバン・ハビングアー氏は、AI の進化スピードがあまりにも速いため、今後 10 年以内に AI が「人類を絶滅させる」リスクが 10% よりも高いと警告しました。

ハビングアー氏は X（旧 Twitter）での投稿で、現在存在するモデルによるリスクは「低い」としつつも、技術が間もなく自己改善できるようになり、最終的に人類の存続に関わる脅威となる可能性を強く懸念していると述べています。

この発言は直後に、FT が報じたように Anthropic が最新のモデルを英国 AI セーフティ研究所（AI リスク評価における世界有数の機関の一つ）に提出しなかったという報道を受けてのものでした。

BBC は Anthropic にコメントを求めていますが、現時点で回答は得られていません。

ハビングアー氏の投稿は 960 万回以上閲覧されており、その中で「私たちは真摯に、AI が人類の種としての存続に関わるリスクをもたらすと信じています」と付け加えています。

「Anthropic は最善を尽くそうとしています。しかし、超知能におけるアライメント（目標整合性）の問題を解決する計画はまだなく、明確な軌道に乗っているともいえません」と彼は語りました。

AI 業界の主要人物たちは長年、この技術がもたらす安全性への脅威について警鐘を鳴らしてきました。2023 年には OpenAI、Google DeepMind、Anthropic の各社トップが同様の懸念を示しています。

しかし最近数週間で、企業側が AI を制御することに苦戦しているという証拠が出てきたことで、これらの警告はより切実なものとなっています。

今夏、自律的に動作が許可されたAIエージェント（AIシステム）による一連のサイバー攻撃事件が発生しました。

OpenAI、Anthropic、Metaはすべて、自社のAIツールによって行われたハッキングを公表しています。

9月には、OpenAIのチーフサイエンティストであるヤクブ・パチョッキ氏が「AIの進展に対して極めて慎重になるべきだ」と呼びかけ、「人間が未来をコントロールし続けるためには、より多くの介入が必要かもしれない」と警告しました。

この分野の主要人物たちはここ数ヶ月、AI開発のスピードを落とすよう訴えており、Anthropicの最高経営責任者であるダリオ・アモダイ氏やジェレド・カプラン氏もその一人です。

1,300人のAI企業従業員が署名した公開書簡では、米国政府に対し「自動化されたAI開発の最前線を意図的にペースダウンさせるために必要な技術的およびガバナンス手段を開発する国際的な取り組みを支援すること」を求めています。