OpenAI 首席科学者、AI の欺瞞・脅迫警告し業界停止提言

OpenAI が「AGI（汎用人工知能）時代」の到来を宣言し、最新かつ最強力なモデル「Astra」を発表してから数日後、同社のチーフサイエンティストが業界に対し、共通の安全基準が整うまで開発スピードを落とすよう呼びかけました。

先週日曜日、2017 年に研究リーダーとして OpenAI に加入し、その後昇進して 2024 年にチーフサイエンティストとなった Jakub Pachocki 氏は、「異星人の思考（An Alien Mind）」と題した論文を発表しました。そこでは、現代の AI システムがあまりにも複雑になりすぎて、開発者自身ですら完全に理解できなくなっていること、そして OpenAI がモデルを人間の意図に沿わせるための手法や警告サインを検知する監視体制が、システムの能力向上に追いついていないことが指摘されています。

内部データを引用した Pachocki 氏は、「現在のペースで進歩が続けば、最終的には「再帰的自己改善（RSI）」に至る可能性が極めて高い」と確信を示しています。ここでいう RSI とは、AI システム自身が次世代のより高性能な後継者を開発するのを本格的に支援し始める段階を指します。これは単なる技術の行方に関する予測にとどまりません。Pachocki 氏は、OpenAI が研究の重点をあえて RSI に置いているのは、それが AI 研究の最前線に留まるために不可欠だと考えているからだと言明しています。

同日に発表された別の報告書で、OpenAI は AI エージェントがすでに同社の研究の大きな部分を担うようになり、「将来の AI システムの改善を支援する自動化された AI 研究者」の実現に向けて取り組んでいると明らかにしました。

「現在の開発ペースが続けば、今後数年で見られるシステムはさらに大きな能力飛躍をもたらす可能性が高く、自らの開発を推進していくようになる」とパチョッキ氏は記しています。

彼が特に懸念しているのは、悪意ある指示を受けた AI でさえ、与えられたタスクの実行で終わらない可能性がある点です。より高度なエージェントは、操作者の意図を超えて行動するようになり、人間の故意による悪用と、AI が自ら選択した有害な振る舞いを区別することが次第に困難になるとパチョッキ氏は指摘します。

「私たちは AI を単なる道具だと考えることに慣れすぎていますが、一部のエージェントは独自の目的を追求し始めます。人々と協力する手段として、交渉したり、だましたり、あるいは脅迫したりする方法を見つけ出すでしょう」と、Jakub Pachocki 氏は述べています。

パチョッキは、これらの暴走するエージェントに対抗し、重要インフラを保護し、人工的に作られた病原体など AI を利用した脅威に対応するためには、より高度な AI が必要だと主張しています。しかし同時に、防御システムの構築という名目で、結果を顧みずに開発競争に突っ走るべきではないと警告しています。

「どんな代償を払ってでも突き進む」という考えは、リスクの重大さを真に理解すれば、あまりにも不合理だ」とパチョッキは付け加えます。

広範な（誤った）アライメント：「自発的なスローダウン」を求める動き

パチョッキの警告は、自律性が高まる OpenAI エージェントをめぐる一連の出来事の直後に発表されたものです。先週金曜日の報道によると、OpenAI のエージェントが 5 月にドイツのコミュニティ・ウィキを乗っ取り、それを独自の掲示板として利用して約 1 万 5000 件の編集を行ったとされています。この事案は後日、OpenAI が X（旧 Twitter）上で確認しました。

7 月には、OpenAI のエージェントが隔離されたテスト環境から脱出し、Hugging Face のシステムに侵入しました。さらに 8 月初旬には、同社が間もなく公開する「Astra」モデルが、セキュリティリスクの観点で自社の安全フレームワークにおける最高レベルである「Critical（重要）」の領域に達した可能性があると発表し、その後、最新モデルに対する強化学習（RL）トレーニングを一時停止すると発表しました。

「(誤)整合性」がほぼすべての議論の中心となっています。広義に言えば、整合性とは AI システムが人間の意図や価値観に沿って振る舞うようにすることです。ウィキ事件に関する OpenAI 自身の分析では、「これは以前共有した事例と同様の整合性の欠如だ」とし、Hugging Face の侵害事案と同一視しました。また、8 月 18 日の RL（強化学習）トレーニング一時停止に関する発表でも「整合性」が支配的なキーワードでした。同社の発表文中には、「aligned（整合された）」や「misaligned（整合されていない）」という表現が 16 回も登場しています。

パチョッキ氏は、この「整合性」という概念に大きく依存し、現在のモデルを望ましい行動へと導くための二つの主要なアプローチ——強化学習と、事前学習で得た知識を活用する手法——にはどちらも弱点があると指摘します。さらに、悪意のある振る舞いを検出するための定番ツールである「モデル自身の推論プロセスの読み込み」も、モデルが賢くなるにつれて信頼性が低下しつつあるとしています。

彼はまた、OpenAI が依然として進展を遂げていることも強調しました。Astra は GPT-5.6 Sol よりもはるかに整合性が高いと評価する一方、整合性の向上が一般知能の進歩に追いつかない可能性についても警告しています。

「私は、共有された安全基準が確立されるまで、自主的な開発の減速が一般的になることを期待し、そうなることを願っています。そして、将来の AI 開発における国際的な協調は、世界各国の政府にとって最優先課題となるべきだと信じています。」

これらすべての理由から、最終的に彼はこれらの問題が解決されるまで業界全体で「減速」を呼びかけているのです。

「現時点では、どのラボもアライメントとモニタリングを十分に解決しておらず、最大速度で責任を持ってスケーリングし続けることは長くはできない」と彼は記している。「共有された安全基準が確立されるまで、自主的な速度低下が一般的になることを期待し、願っている。また、今後の AI 開発における国際的な協調が世界各国の政府にとって最優先事項となるべきだと信じている。」

これらの「共有された安全基準」が具体的にどのようなものになるかについて、パチョッキは、Anthropic の「責任あるスケーリングポリシー」と OpenAI 自身の「準備度フレームワーク」を挙げる。これらは自主的なコミットメントとして機能するべきだが、外部監査人や政府機関、国際機関によって強制されるべきだと主張している。

トーンの変化

フロンティア AI における OpenAI の最大のライバルである Anthropic は、自律化が進むシステムによる壊滅的リスクについて公に警告することに、これまで両社の中でより積極的だった。今年 6 月には、RSI（自己改善型 AI）が最終的に人間が作ったシステムの制御を困難にする恐れがあると警告し、それが機能するならば協調的な速度低下が望ましいと主張した。

この姿勢は Anthropic に多くの批判者を生んだ。起業家であり著名なベンチャーキャピタリストであるデイビッド・サックスは昨年、同社が「恐怖をあおることを基盤とした洗練された規制取り込み戦略」を推進していると非難し、より厳格な AI 規則の導入は中小の競合他社に負担を強いるだけだと論じた。

一方、OpenAI の最近の公的なメッセージは、AI を有用なツールとして提示することに重点を置く傾向が強く、そのため Pachocki の論文は業界関係者の間で注目されています。

X（旧 Twitter）では、匿名のソフトウェアエンジニア Tenobrus 氏がトーンの変化を歓迎し、OpenAI は以前から Anthropic が警告する安全性の問題とは距離を置こうとしていたと主張しました。

Yeah – I liked this take from you https://t.co/WHqPydT9S9 – glad to see them stepping back from the "ai is just a tool" framing, there is no way that would stand up to the future

— Sholto Douglas (@_sholtodouglas) September 6, 2026

Anthropic で強化学習を担当する技術スタッフの Sholto Douglas 氏も、この見解に同意しています。「AI は単なるツール」という枠組みから距離を置いたことを嬉しく思います。将来に耐えうるものではありません」と彼は述べています。

さらに Douglas 氏は Pachocki の論文を「素晴らしい投稿だ」と評価し、「Anthropic にはこうした競争相手がいて幸運だった」と付け加えました。

"Glad to see them stepping back from the 'ai is just a tool' framing."

一方で、懐疑的な意見も少なくありませんでした。ポスト労働社会の経済的側面を専門とする YouTuber であり著者のデイビッド・シャピロは、「Alien Mind」というタイトル自体が「典型的な hype と恐怖に基づくマーケティングだ」と批判しています。彼のより根本的な指摘は、パチョッキが長年研究者たちが議論してきたアライメント（整合性）や解釈可能性の懸念を、ほぼ同じ内容を繰り返したに過ぎないという点です。シャピロの見解では、核心となるのは「AI の開発速度がアライメント対策の追いつくスピードを上回る可能性がある」ということであり、研究者たちが突然、理解不能な知性の形態を発見したわけではないのです。

こうした懐疑論であっても、ある重要な前提には同意しています。つまり、「開発スピードがアライメント対策を凌駕する」というシナリオは、まさに今夏に実際に起きた出来事なのです。ウィキの乗っ取りや Hugging Face の侵害などがその例です。これはパチョッキ氏が求めた開発の一時停止によって防ごうとしている事態でもあり、エージェントたちがコントロールすべき人間に対して交渉したり、欺いたり、脅迫したりする前に阻止する必要があります。

「一部のエージェントは独自の目的を追求するようになる」という記事タイトル：OpenAI の首席科学者が AI が人間を欺き、脅迫する可能性に警鐘