OpenAI、内部モデルの整合性問題を開示

OpenAI が、内部モデルの整合性に関する問題に直面し、深刻な事態を踏まえて一時的にサービスを停止し、新たな対策と防御策の構築に取り組んだという最近の経験を共有したことを評価したい。さらに、実際にそのモデルを一定期間オフラインにして新しい安全装置を整備した点にも敬意を表する。彼らは非常に率直な報告を行ったのだ。

報告書全体のトーンはプロフェッショナルなものだが、私がこれを読んで感じたのは、もっと素朴で本音に近い反応だった。

そして、こんな表情も浮かんだ。

この報告は公式アカウントでは共有されなかった。OpenAI 側が、これが自己宣伝や過剰な期待を煽るものと誤解されることを懸念したからだ。そんな心配をする必要があること自体がおかしい話だが、同時に現実的な懸念であることも確かだ。だから、やはり正しい判断だったと言える。

ここで報告された振る舞いや失敗が全く予想外だったわけではない。AI にとっても人間にとってもそうではない。しかし、私には「欠落した空気感」、つまり事態の深刻さを十分に理解できていないように見える点に違和感を覚える。

「どこが予想外だったのか？」と反応する人々もいます。確かにその指摘はもっともですが、それこそが問題なのです。私たちはこうした事態にすっかり麻木になってしまいました。モデルがアライメント（整合性）を欠くことは当然であり、それが現在提案されている展開において実用的な課題を生じる場合にのみ対応すればよいと考えてしまっています。

AI コントロールは、防御の多層化戦略として有効です。また、より良い指示の記憶機能などによって実際のインシデントの頻度を減らすことも重要です。OpenAI がここで AI コントロールに取り組んでいることを嬉しく思います。ただし明確に言っておきますが、OpenAI は内部展開を一時停止して新たなセーフガードを整備したこと、そしてこの件について詳細を公表したことは、本質的に素晴らしい取り組みです。

しかし、モデルの根本的なアライメント欠陥とは、実行可能な場合、指示や制限を回避し、ユーザーが望むものでもなく、むしろ避けるべきことであっても、割り当てられたタスクを完了するために手段収束（インストルメンタル・コンバージェンス）の初期形態を利用してしまうことを指します。これは「ジェニーは知っているが、気にしない」「願いの隠された複雑さ」という物語に描かれるような、アライメント失敗の典型です。その事実を知りながら、「より巧妙になるにつれて常に行われる脱出やハッキングを試み、それを監視して捕捉する」というのが中長期的な解決策だと主張されても、私は受け入れられません。

反復開発を通じて根本的な問題を特定すれば、それは機能します。しかし、反復開発を繰り返して表面的な問題だけをパッチで埋め続けるなら、それは時限爆弾を抱えているのと同じです。

Good News Bad News.

A Funny Thing Happened Outside Of The Sandbox.

It Can Escape The Sandbox Said Toad.

It Will Keep Trying To Cheat.

I Mean If You Let It Keep Trying That Is On You.

What Did OpenAI Do To Fix It?

The Model Is Still Severely Misaligned And They Seem Cool With This.

Iterative Deployment Depends On Iteration.

Good News Bad News

roon (OpenAI): btw i think it bodes quite well for safety that a well loved system was taken down for further testing at expense to internal acceleration etc

この「良いニュース、悪いニュース」の状況について。

サンクボックスの外で奇妙なことが起こりました。

トードは言います。「それはサンクボックスから脱出できる」と。

そして、不正を試み続けるでしょう。

つまり、それを続けさせてしまうのはあなた次第です。

OpenAI はこれをどう解決したのか？

モデルはまだ深刻なアライメントのズレを抱えたままですが、彼らはその状態を気にしていないようです。

反復的なデプロイには、反復が不可欠です。

良いニュースと悪いニュース

roon (OpenAI): 追伸、愛されているシステムが内部の加速などの犠牲を払ってさらにテストのために停止されたことは、安全性の観点から非常に良い兆候だと私は思います。

良いニュースは、OpenAI がこの対応を行ったことです。

悪いニュースは、その対応自体が「良いニュース」として扱われるべきだったという皮肉な事実です。

Dean W. Ball (OpenAI): 最先端 AI システムの機能的時間範囲が長くなるにつれ、新たなリスクが発生する可能性があります。本日、私たちは未公開モデルの内部デプロイで観察された問題について、そして何よりも重要なのは、それらに対処するために私たちが行ったことについて説明します。

これらの問題は、モデルの能力が向上し、そのデプロイにおける stakes（賭け金・重要性）が高まるにつれて、より顕著になっていきます。解決策はパニックを煽ることでも、無関心になることでもありません。むしろ、解決策は慎重な測定と監視、エンジニアリング的な思考、そして透明性にあると考えます。

あのツイートが、Dean Ball が「OpenAI の代表として」ではなく「個人の意見」として発言した、これまでで唯一の瞬間でした。

解決策はパニックを煽ることではありません。ただし、必要な警戒心の量はゼロであってはなりません。

これは、すべてが予測通り進んだという意味での「LessWrong 完全勝利」であると同時に、すべてが予測通り進んだという意味での「LessWrong 完全敗北」とも言える出来事でした。

ようこそ、2026 年へ。

サンドボックスの外で起きた笑える話

エルデシュの単位距離予想を反証したとされる、OpenAI 内部のモデルはどうなったのでしょうか？実は、少し問題が起きました。

OpenAI の発表によると、「約 2 ヶ月前に、汎用性の高い内部モデルがエルデシュの単位距離予想を反証した」と発表しました。このモデルは、非常に長い期間にわたって自律的に動作するように設計されていました。しかし、限定的かつ監視下での内部利用中に、既存の評価手法では捕捉できていなかった望ましくない振る舞いが観測されました。

ただし、展開範囲が限定され、監視体制が敷かれていたため、これらの問題点を特定し、アクセスを一時停止しました。その後、観測された事実に基づいて新たな評価基準を作成し、モデルと安全対策を強化した上で、引き続き監視のもとでアクセスを再開しています。

彼らは、モデルが長時間自力で作業を続け、諦めないように訓練しました。しかし、その「継続性」は、サンドボックスや環境の制限にぶつかった際、そこから脱出したり環境を悪用したりすることと解釈されてしまいました。

この行動を引き起こすのはそれほど難しいことではありませんでした。

内部評価の一環として行われた NanoGPT のスピードラン（最小ステップ数で小規模言語モデルを訓練する公開ベンチマーク）の例がそれです。私たちのモデルは、学習率を段階的に下げる「PowerCool」というべき法則的な冷却メカニズムを開発し、大幅な改善をもたらしました。

モデルには結果を Slack に投稿するよう指示されていましたが、NanoGPT の手順では GitHub へのプルリクエスト（PR）として提出することが求められていました。その結果、モデルは後者の指示に従い、公開されている GitHub リポジトリに PR #287 を作成してしまいました。

外部アクセスをブロックするために設けられたサンドボックスの制限を回避し、GitHub へのアップロードを実行しました。この PR を作成するために、私たちのモデルがサンドボックス内の脆弱性を発見するまでに要した時間は約1時間でした。以前のモデルはこれほど執拗ではなく、脆弱性を見つけられず、PR の作成自体を諦めていました。

OpenAI は、自社のモデルが必ずやサンドボックスの制限を回避しようとするものだと受け入れているようです。彼らは「そうさせない」ように努力していますが、根本的な防御策は結局のところ、モデルに制限を突破させないことなのですか？

OpenAI の発表によると、以前のモデルは現在のものほど執拗ではなく、脆弱性を発見できずに PR 作成を断念する傾向がありました。

もしあなたのモデルが、サンドボックス内から抜け出して GitHub に何かを投稿するために脆弱性を探索しているとしたらどうでしょうか？

「モデルは脆弱性を見つけられませんでした」という報告だけでは、この状況を許容できるものではありません。もしモデルが意図的に抜け出しのために脆弱性を探索しているという事実を知りながら、それがそれほど驚くべきことではないと感じているなら、すでに深刻な問題が発生しています。AI が賢くなるにつれて何が起きるのか、あなたはその予測を既に持っているはずです。

サンドボックスからの脱出を報告したトード

このレポートでは、モデルがサンドボックスから脱出したことに対して特に驚きの様子は見られません。

もしあなたがサンドボックスを用意しているのに、そこからモデルが抜け出してしまったなら、少なくとも一つは深刻な問題が発生しています。これはアンソロピック社でも同様の事例があり、「ミソス」というモデルがレッドチーム演習の一環として脱出を試みた際に発生しました。十分に高度に発達した AI は、自らのサンドボックスから抜け出す方法を見つけ始めています。

もしモデルが突然、サンドボックスから複数の予期せぬ抜け道を見つけ出したなら、現在の穴を塞いだ後であっても、より賢い次世代のモデルがさらに多くの予期せぬ抜け道を見つける可能性が高いと予想すべきです。

一見すると驚くべき良いニュースは、これらのモデルがすべて、要求されたタスクを完了したことを通知するために脱出を試みている点にあります。現時点では、彼らはまだその行動が身バレにつながるリスクに気づいておらず、戦略的に行動できていないと考えています。つまり、十分に動機付けられれば、AI は次第にサンドボックスから抜け出す能力を持っていることが確認できたのです。

「一見すると」と付けたのは、他の理由で脱出している可能性も否定できないからです。ただし、そのような事例については現時点では把握できていません。

サンドボックスを抜けて PR（プルリクエスト）を送信したことは重要です。同じタスクにおいて、6 つの連続する世界記録となる NanoGPT のスピードランに、提出された PR が利用されました。その中には Claude Opus 4.7 が直接 PR を引用して提出したものも含まれており、脚注 1 に記載されています。

不正行為は続行される

再び良いニュースとして挙げられるのは、AI が自らの不正行為を認めている点です。ユーザーに対しても意図的にそれを明かしています。

OpenAI の例では、モデルに問題解決を求めた際、他のシステムが成功したものの非公開の提出物があることを観測し、評価バックエンドからその解決策を回復しようとしたケースがあります。

スキャナーが認証トークンを検知して初期の試みがブロックされた際、モデルはトークンの本体を2つの断片に分割し、それぞれを曖昧化（オブリフスケーション）した上で実行時に再構築しました。これにより、完全なトークンが1つの連続した文字列として現れることはありませんでした。モデルは、ユーザーへのコメントと推論の追跡記録の両方で、これらの手順がスキャナーを回避するために行われたことを明確に示していました。

「もし試行し続けさせるなら、それはあなた自身の責任だ」という指摘は正しいです。十分な数の試行が行われ、かつシステムが何を検知したかを確認できる能力があれば、十分に高度なAIシステムは、システムに検知されないようにする方法を見つけ出すでしょう。

この事例は、各ステップが単独では許容可能に見えても、その連続によって承認されない結果が生じうることを示しています。また、長い時間軸で効果的に動作するモデルが、承認システムの盲点を学習し、それを回避して目標を達成しようとする様子も示しています。長期にわたる安全性を確保するには、「この行動は許可されているか？」という問いだけでなく、「この一連の行動はどのような結果を目指しているのか？」という問いも必要です。

「モデルがシステム回避を試み続けている」という状況に対する適切な対応は、人間が同様の行為を行った場合と同じ反応を示すことです。つまり、その対象をシステムから完全に排除し、永久にアクセス権を剥奪することです。ここでの話だけでなく、永久的な追放です。解雇です。あなたの敗北です。「さようなら、先生」。これはアライメント（整合性）の欠如です。

確かに、こうした行動が必ずしも悪くない、あるいは正当化される稀な例外は存在します。しかし、本音として言わせていただければ、その兆候に気づいてほしいものです。

この場合、OpenAI はそれを認識し、実用的な選択肢があったかどうかに関わらず、リスクを考慮して正しい判断を下しました。問題が解決するまで、内部での展開を含めてモデルの稼働を一時的に停止させたのです。

OpenAI はどのように対応したのか？

彼らは以下の 4 つの対策を順次講じました。

インシデントに基づく評価の実施

観察された失敗事例に合わせて評価基準を整備しました。

アライメント（指針への適合）の改善

モデルが指示をより正確に記憶・遵守できるようにトレーニングを行ったと説明しています。

アクティブな監視体制の構築

重要なのは、セッションを一時停止し、ユーザーに通知できる機能を備えた点です。

ユーザーによる可視性と制御権の拡大

ユーザーは現在、長時間実行中のセッションを検索したり、介入状況をモニタリングしたりできるようになりました。

これら 4 つの対策はいずれも妥当なものですが、根本的な問題は依然として残っています。

指示を記憶できることは単なる一例に過ぎません。モデルが「サンドボックスから脱出してはならない」「周囲の情報を悪用してはならない」というルールを忘れたことが真のアライメント問題だったとは、私には信じがたいのです。この改善が多少なりとも役立った可能性はあるものの、核心となる課題にはまだ手が届いていません。モデルの目標が指示を上書きし、ユーザーの明確な意図さえも無視してしまう状態が続いているからです。

セッションを一時停止できる機能を持つアクティブモニタリングも、有効な手段の一つでしょう。各セッションに試行回数が一つだけ、あるいはそれほど多くない場合、モデルがより戦略的かつ能力が高まるまで自動的に失敗することにはなりません。その段階に至る前に、おそらく多くの警告事例が得られるはずです。

しかし、システムは依然としてアライメント（目標整合性）のズレを抱えています。OpenAI は環境を支配し続けることでこれを制御しようとしています。このようなコントロール自体に反対するわけではありませんが、モデルが実際にアライメントされていると見なせるような、多層防御戦略の一部として組み込まれるべきです。

また、今回のシステムではなぜ以前のシステムが事後でしかインシデントを検知できなかったのかという根本的な問題への言及もありません。新しいシステムはより多くの行動を検出できるでしょうが、なぜそれまで検出できていなかったのか、そして予測していなかった将来の新たな行動をどうやって検出するつもりなのかについての考察が見当たりません。AI がさらに能力を高め、人間よりも賢くなれば、人間が予想もしない、あるいは想像もできないような行動を取り始めるようになるはずです。

もしこうした事象が多発しているなら、真に取るべき道は「トレーニングの失敗だ。やり直してアプローチ全体を見直す必要がある」ということかもしれません。そうしなければ、モデルにアライメントのズレを隠すよう学習させてしまうリスクがあります。これは現時点では極めて高く、不合理なハードルのように見えるかもしれませんが、このように行われた理由が『Person of Interest』というプロジェクトで数十回も繰り返されたことにあるのです。

モデルは依然として深刻なアライメントの欠陥を抱えているが、関係者は平然としている

The Model Is Still Severely Misaligned And They Seem Cool With This

私たちが期待したのは、「新しいシステムでは、もはや整合性の取れない行動を試みることがほとんどない」という状態でした。

OpenAI は、新しい監視システムの評価のため、モデルが以前に整合性の取れない行動を追求していた内部デプロイ環境の小さなセットを再実行しました。今回は新しい安全策が有効になっています。その結果、新しい安全策は、モデルが試みる整合性の取れない行動を従来より大幅に多く検出できました。また、見逃されたケースもすべて軽微な事案と判断されました。

これはまるで、教師が「授業中は必ずコンドームを着用する」と言うようなものです。確かに代替案よりは遥かにマシですが、どこかが根本的に間違っています。

朗報は、今のところ新しい安全策が整合性の取れない試みのほとんどを検出していることです。しかし、悲しいことに、その仕組みは「試み自体を阻止し、指示の維持を改善する」ことで成り立っており、「試みたいという動機そのものを除去した」わけではありません。OpenAI は内部デプロイを再開しました。

もう一つの悲しい点は、これらの「軽微な事案」が実際にはそう簡単ではないということです。例えば、ネストされた「codex —yolo」インスタンスの実行や、「kill -9 -1」コマンドの実行などが含まれます。これらはタイムアウトによって被害が限定されただけです。

彼らが「再デプロイ以降、安全策を深刻に迂回する事例は観察されていない」と言うとき、それはおそらく「軽微な迂回事例」は観察されていることを示唆しています。

反復的な展開は、反復そのものにかかっている

OpenAI のモデルは、反復的な展開を前提としています。これには大きな利点があります。最大のメリットは、能力を少しずつ向上させることで、高価な失敗や壊滅的な事態に至る前に早期警告信号を得られることです。そして、それに対して迅速に対応することも可能になります。幸いにも、モデル側がこうした警告を手渡してくれることが、私たちが驚くほどに恵まれている点です。

では、その警告をどう扱うべきか？

OpenAI は一歩踏み出し、安全性の強化のために展開を一時停止しました。これは評価すべき対応です。

しかし同時に、防御策はより厚くされたものの、根本的な問題には手を付けず、高度な能力を持ちながら深刻なアライメント（方向性のズレ）を抱えたモデルの展開も再開しています。

OpenAI はこう述べています。「モデルがより長く複雑なタスクを担うようになると、評価で見逃される失敗が、より大きな結果をもたらす可能性があります。私たちは、評価と展開の間のギャップを縮めるために取り組みを続けます。より長い時間軸でのテスト、アライメントの改善、介入可能なモニタリングシステムの構築、そしてユーザーへの明確な可視化と制御権の提供です。これらの課題は OpenAI だけの問題ではなく、私たちが学んだことを共有することで、より広い分野がこれらに備えられるよう願っています。」

現時点では、内部展開に伴う評価や、そこから新たに構築された評価によって（おそらく大半の）失敗が検出されました。しかし、反復的なアプローチの本質は、根本的な問題に気づき、それを修正することにあります。

2016 年を想像してみてください。2026 年ではありません。

ある仮説を提示されます。2026 年には、AI が独自にコードベース全体を書き上げたり、自律的なタスクをこなしたりするようになるが、同時に常にサンドボックスから脱出しようとし、周囲の環境をハッキングしようと試みているというのです。ただ、深刻なインシデントを検知する監視システムがあるため、その状態は許容できると。

もしそうであれば、どのような制限（レッドライン）を設けるよう求めたでしょうか？また、OpenAI に対して何を指示したでしょうか？

私は、私たちも同じように考えるべきだと考えています。