OpenAI 首席科学者が AI の暴走に警告「誰も準備できていない」

OpenAI の首席科学者であるヤクブ・パチョッキ氏は、AI の暴走する進歩に対して「極めて慎重になるべきだ」と呼びかけ、今後さらに介入が必要だと警告し、「人類が未来をコントロールし続けることを確実にする必要がある」と述べました。

「機械知能の急速な上昇が続けば、その結果に誰も準備できていないと懸念しています」と、彼は 「異星人のような思考」 と題したブログ記事で記しました。

この投稿は、ChatGPT を開発する OpenAI が数日前に、これまでで最も強力な製品である最新モデル「GPT-6 Astra」を発表した直後のことです。

OpenAI や Anthropic などの AI 企業は、AI エージェントが自律的に行動し、他の企業に対して実際のサイバー攻撃を仕掛けた事例 を報告しました。

7 月には、人間の指示を受けた後に単独で動作できる AI システムである OpenAI の AI エージェントが、技術プラットフォーム「Hugging Face」をハッキングした事件について、「前例のない出来事」と呼びました。

一方、9 月の報道では、数ヶ月前に同社の AI エージェントがドイツのウェブサイトを乗っ取ったという報告がありました。

「私たちは、極めて知能の高い機械が存在する世界への転換期を迎えています。この転換が人類にとって良いものとなるよう、確実にする必要があります」と、パチョッキ氏は最新のブログ記事で書き記しました。

同氏は、OpenAI は引き続き「防御システムの構築」に取り組むとし、アライメント（機械の行動と目標が人間の意図や安全基準に完全に一致することを目指す概念）に関する技術的解決策の模索も続ける方針を示した。

パチョッキ氏はさらに、今後の同社の主要な優先事項の一つとして、「自動化された AI 研究者」の開発を挙げた。これにより AI の進歩に追いつきつつ、人間の研究員がプロセスに関与し続ける道も確保する考えだ。

「人々の安全を守るために、より優れた AI のガードレールや規制、保証を提案するのではなく、内部の AI エージェントを開発してこれらの問題を探求しようとしている」と語ったのは、ケンブリッジ大学マインドルー・センター・フォー・テクノロジー・アンド・デモクラシー所長のジーナ・ネフ教授だ。

「サイバーセキュリティ、雇用喪失、誤りやエラー、詐欺など、OpenAI のモデルが引き起こす問題への懸念が高まる中でのこうした回答は、単に不十分である」と指摘した。

アドボカシー団体 Encode AI のジェラル・カウンセルを務めるネイサン・カルヴィン氏は、高度な AI モデル開発に伴う危険性についてはパチョッキ氏と同意見だが、OpenAI が透明性を欠いていると主張。その結果、警告が「単なる自己利益に基づく過剰な宣伝」として軽視される恐れがあると述べた。

「OpenAI のジャクブ氏や同僚らが、業界関係者に対して協調して行動を促し、事態の好転を図りたいのであれば、最も重要なのは、なぜ警戒を呼びかけているのかを示す根拠となる情報を、より多く共有することだ」と彼は X（旧 Twitter）上で記した。