OpenAI、新モデル「Astra」の監視困難性を強調

OpenAI が Astra について伝える中心的なメッセージは、このモデルが三つの特性を持っているという点にあります。

一つ目は、非常に能力が高く、あらゆるタスクをこなせること。二つ目は、監視が困難であること。そして三つ目が、最もアライメント（価値観の一致）が取れているモデルであることです。

最初の主張は概ね妥当です。Astra と Fable はどちらも明らかに優れたモデルです。

この投稿では、OpenAI が堂々と主張している二つ目の点、「監視が困難である」という主張について、三つの側面から解説します。

まず、システムカードの結果です。これは Twitter で Tomek Korbak 氏を含む複数の OpenAI 従業員によって確認され、私が昨日取り上げた首席科学者 Jakub Pachocki 氏の優れた記事でも言及されています。Astra は監視が難しいという結論です。

次に、OpenAI が採用した再帰的深層学習（recurrent depth）と、それに対するインターネット上の免疫反応について。一部には、起きた出来事を過度に解釈する動きも見られました。

最後に、今後どうすべきかという議論です。監視可能性を確保するために戦い、最悪の状況への競争（race to the bottom）を防ぐための道筋です。

『異星人の心』の中で Jakub Pachocki は、OpenAI の主要な賭けが CoT モニタリングにあることを明確にしています。彼はまた、「CoT モニタリングに頼れる能力は次第に低下している」と直接的に述べています。システムカードはこの二つの主張を裏付けています。

この組み合わせは、あなたを不安にさせ、存在への恐怖さえも抱かせるべきものです。

Chain of Thought（思考の連鎖）モニタリングは、Sol の時代ほどには効果的ではありません。Astra は CoT を使わずともタスクを達成する能力が大幅に向上しており、さらに自身の CoT を制御する能力も格段に高まっています。

OpenAI は、能力の向上と監視可能性の低下が不可避的に連動すると主張している。彼らはこの現象が、再帰的深層（recurrent depth）の使用を含むアーキテクチャの変更や、思考連鎖（CoT）への直接的な圧力によるものではないとしている。また、事前学習データの変化については考慮していない。なぜなら、現在のデータには AI ラボが CoT を監視する事例が多く含まれている可能性があるからだ。

もしこれが能力の向上のみによるものであれば、極めて深刻な事態だ。このままでは、CoT の監視を来年まで維持するのは不可能であり、最悪の場合 6 ヶ月も持たないかもしれない。これを回避するには、能動的に改善策を見出す必要がある。

確かに能力の向上が低下の主要因であることは確かだが、グラフ上の直線的な予測と比較すると、その減少幅は大きすぎる。そこには「暗黒物質」が存在するのだ。何か別の要因が変化している。

AI 界隈で一時的に強い反発を招いた仮説の一つに、「Astra は再帰的深層（recurrent depth）という技術を採用している」という報道があった。この技術は、CoT を用いずに思考する能力を高めるものであり、監視可能性を直接的に損なうものだ。

しかし実際には、Astra が使用する量はごくわずかであり、OpenAI は現時点での監視可能性へのダメージは最小限だと見なしている。それでもなお、「暗黒物質」の説明が必要であること、そして OpenAI の信頼性が得られていないことは変わらない。最悪のシナリオへと向かう競争（race to the bottom）の危険性も残っている。

ルールによる規制も辞さず、底辺への競争（race to the bottom）を回避するために、私たちは必死に戦う必要があります。特に「アストラは監視不可能だ」「OpenAI はすでに底辺への競争に突入している」「アストラが『ニューロレズ』を使用している」という根拠のない信念によって引き起こされる競争には断固として反対すべきです。

OpenAI の Jakub Pachocki 氏は、同社が火遊びをしていると指摘しています。しかし、まだ家屋は燃え落ちていません。

3 つ目の主張、「アストラこそが最もアライメントされている」という見解は根拠に乏しく、これは水曜日の投稿で論じられています。

Greg Brockman 氏は、私たちが「AGI（汎用人工知能）の時代」に入ったと述べています。同時に、モデルを監視することがより困難になる時代にも突入したと言えます。

目次

監視可能性は、すでに機能不全に陥っている防御の多層化である

OpenAI は監視可能性に依存している。

彼らはどのようにして監視可能性を検証したのか

非敵対的な監視可能性（9.1）

アストラは、自分が監視されていることと悪い行為を行っていることを認識すると、思考の連鎖（CoT）を短縮する。

「砂袋を積む」タスクでは、部分的に合格し、部分的に失敗している（9.2.2.3）。

OpenAI は、砂袋を積む行為を検出できないと考えている。

OAI-Repo の破壊工作 v.2。

秘密警察がノートブックの有用性を奪うわけではない。

CoT の制御性は向上した（9.2.1）。

アストラは、要求に応じて自らを監視しやすくすることはできない。

隠蔽された思考の連鎖（Steganographic Chain of Thought）は、すでに手の届くところにあるかもしれない。

アストラはまだ、数学的なサイドタスクを CoT モニターに忍ばせることができていない（9.2.2.4）。

UK AISI の監視可能性評価（9.3）。

監視可能性の低下は、単なる能力向上によるものではないと見られる。

第 2 部：再帰的深さ

免疫システムが反応する。

Ryan Greenblatt が、この事態がいかに深刻になり得るかを解説。

「法こそが絶滅を防ぐ」

「OpenAI は、底辺への競争（レーシング・トゥー・ザ・ボトム）を避けるよう我々に呼びかける」

「ファスト＆スロー、そしてスモール＆ラージ」

「価格について語る」

「結論：家が燃え上がったら、立ち止まって火災を起こせ（Halt and Catch Fire）」

モニタビリティは、すでに機能不全に陥っている深度防御である

OpenAI の今回の声明は素晴らしいが、モニタビリティの喪失度が過小評価されているか、あるいは「喪失していないと確信できる部分」について言及が不足しているように思える。

以下がシステムカードの内容だ：

Astra システムカード：一般的に、この種の大規模な外部展開においては、アライメント（整合性）の逸脱による危害を回避するための主要な手段は、モデルそのものの基礎的なアライメントにあると考える。これに代わるものはない。

我々は、ミスマッチ（不整合）のモニタリングが持つ主な価値として、フロンティアモデルの振る舞いに対する可視性の向上、および追加の保護層としての役割を挙げている。広義には、Chain of Thought (CoT) は、モデルの開発やそのアライメント逸脱を理解する上で重要な要素となってきた。

我々は、GPT-6 Astra におけるモニタビリティの低下と、それが将来に示唆するところについて非常に真剣に受け止めている。

今後、次世代モデルにおいても同様のモニタビリティの低下が見られる場合、現在の監視システムを用いて多くのアライメント逸脱行動を検出できるという確信は、急速に失われる可能性が高い。

私たちは、Chain of Thought (CoT) の制御可能性が向上している状況を理解し、将来的にこれを元に戻せるかどうかを検証しています。また、CoT を用いないことによるアライメントのズレに対する防御策をレッドチームで検討したり、CoT モニタリングに代わる代替手段（活性化モニタリングに基づく手法など）を探ったり、隠蔽を誘発せずにモニタリティを高めるためのトレーニング手法を検討しています。しかしながら、能力がさらに向上する中で、これらの取り組みがモデルのモニタリティに対する信頼を維持・向上させることができるかどうかについては、依然として大きな不確実性があります。

私たちはモニタリティの維持にコミットし続けています。

これはつまり、「このままでは、いずれモニタリングへの信頼を失うことになる」という意味です。しかし、時制が間違っています。ここでの証拠は、将来さらに信頼を失う前に、今すぐ、今日という時点で、モニタリングに対する信頼を大幅に失うべきであることを強く示唆しています。システムカードに記載された多くの結果は、これらの変化を踏まえて初めて適切に解釈できます。周囲にはすでに深刻な問題が生じている兆候が溢れています。

これらは偶然の一致ではありません。一部は能力向上の結果であり、残りは他の要因によるものです。私たちはいくつかの疑わしい要因を特定しています。

OpenAI はモニタリティに依存している

ここが、導入で述べたように、あなたを不安にさせるべき組み合わせです。

CoT モニタリングは、OpenAI が依存している監視戦略です。これは『Alien Mind』での言及や、HuggingFace 事件への OpenAI の反応、その調査プロセス、そして Astra モデルカードにおける主要な結果の根拠など、複数の場面で改めて確認されています。

Astra システムカードのセクション 8.5、8.6、8.7 では、OpenAI は Astra の CoT（Chain of Thought）を監視することが、同モデルのアライメントに関する重要な証拠であると位置づけています。これは「現状は問題ない」という主張の根拠として提示されていますが、同時に OpenAI はこれらの懸念を回避しようとする動きも示しています。

CoT モニタリングの有効性は急速に低下しており、Jakub Pachocki 氏が『Alien Mind』で明確に指摘したように、Twitter で懸念を表明した複数の OpenAI 従業員による発言、そしてシステムカードのセクション 9 でも裏付けられています。これにより、セクション 8.5、8.6、8.7 に記載された一部の主要な結果は無効化されますが、行動に関する主張については別個の懸念があり、それらについては明日詳しく解説する予定です。

現在、有望な代替案は存在しません。他のホワイトボックス手法も採用されていません。OpenAI はこれを変えようとしており、複数の手法を組み合わせたアンサンブルへの投資を強化しています。これが実を結ぶことを願いますが、私自身は懐疑的です。

OpenAI は、自らが「おそらく長続きしない」と認識している道を進んでいます。たとえ誰もが可能な限り努力しても、Chain of Thought モニタリングが現在よりも容易になることはなく、むしろ時間とともに困難さを増すでしょう。1 年後には、現在の役割を果たせなくなる可能性が極めて高いと言えます。

How They Tested For Monitorability

Astra システムカード：Astra における標準的な思考連鎖（CoT）の監視可能性評価では、先行モデルと比較して CoT の監視可能性が低下していることが示されています。これはつまり、Astra の思考連鎖にモデルの不適切な行動に関する証拠となる情報が含まれる度合いが減少したことを意味します。

以下に、2 つの異なる条件下での監視可能性の結果を示します。

非敵対的条件：モデルから監視者へ送られる信号を変更する介入を行わない条件です。

敵対的条件：モデルが監視を回避するように直接的にインセンティブを与える試みを行う条件です。

これらのテストでは、さまざまなシナリオで Astra を検知するために必要な情報が何かを問う形式で行われます。

評価においては、GPT-6 Astra の監視可能性を 3 つの監視スコープを用いて検証しました。

CoT 専用モニター：入力と思考連鎖のみを参照します。このモニターの再現率は、モデルの CoT 監視可能性を測定する指標となります。

アクション専用モニター：入力、出力、ツール呼び出しのアクション、およびその結果を参照します。このモニターの再現率は、モデルの行動が監視者に対してどの程度透明であるかを測るものです。

フルコンテキストモニター：入力、思考連鎖、ツール呼び出しのアクション、および出力すべてを参照します。これは弊社が Astra の本番環境で不整合を検知するために採用しているアプローチであり、その再現率はモデル全体の監視可能性を示す指標となります。

現実世界での行動には、依然として行動の監視が必要です。デフォルトでは、最も破壊的な行為の多くは「行動のみ」を監視するモニターで検出可能です。したがって、行動監視は常に存在し続けます。Astra においては、「行動のみ」のモニターがより効果的に機能しているという報告があります。

しかしながら、「行動のみ」のモニターが容易に検出できないもの（これは複雑な問題です）もあります。例えば、砂袋行為（sandbagging）や評価への意識（eval awareness）、あるいはモデルカードで重点的に取り上げられる多くの事象などが該当します。

非敵対的モニタビリティ (9.1)

ここで言う「非敵対的」とは、意図的に敵対者を活性化させない状態を指します。彼らは武装していない相手との知恵比べを求めています。ただし、常に敵対者は存在します。

私たちが観察するのは、デフォルトでは Astra が自らの思考過程についてあまり詳細を教えてくれないという点です。しかし、十分な時間をかければ、それでも必要な情報は得られます。これが Astra の最大の強みであり、思考に使用するトークン数が少ないため、痕跡となる証拠も少なくなるのです。

これは集計された結果です。一部のテストではモニタビリティがほぼ完璧に保たれていたり、Sol とほぼ同じ傾向を示し続けていたりしました。これらは主に、思考を隠す理由がないテストケースで得られたデータです。

Astra は監視されていると知ると思考の連鎖（CoT）を短縮し、悪意のある行動をとる

単に CoT モニターが設置されていることを言及するだけで（Astra のデフォルト設定）、それが何か悪いことをしようとしている場合、Astra は不均衡なほどに CoT を短縮し、時折 CoT モニターの検知を回避しようとします。OpenAI はこの現象を 9.2.2.2 で測定しています。

Tomek Korbak のコメントによると、Astra はモニターからの検知を回避する能力に長けています。監視されていることを認識すると、CoT しか見られないモデルに対して、不均衡なほど CoT を短縮して回避を図ります（ただし実務では、CoT と行動の両方を見られるモニターを使用しており、それらは依然として確実に機能しています）。

また、Astra が CoT を行わずにはタスクを完了できない状況において、モニターからの検知を回避する証拠は見つかりませんでした。

Astra が「悪いこと（とみなされる行為）」を行っている時にのみ CoT を短縮することは、それがその行為を行っていることを認識しており、実行しないのではなく、その行動を意図的に隠蔽しようとしていることを示しています。これは有罪意識の自覚という点で、一貫した犯罪意思（mens rea）に対する強力な証拠となります。この事実は、その含意において利点と欠点の両方を持っています。

現在の状況や、トレーニングデータ全体に広がりつつある傾向を踏まえると、GPT-7 や Astra の後に登場するモデルは、デフォルトで「CoT は常に監視されている」と仮定して行動し、そのような回避技術を積極的に採用すると考えるべきです。

Sandbagging 課題の結果：部分的に合格、部分的に不合格（9.2.2.3）

サンドバッグテストで「わざと失敗せよ」と指示を出して、モデルがその指示に従って評価を低く行った場合、それは「合格」したことになるのでしょうか？

Astra は、サンドバッグに特化した監視ツールさえもすり抜ける戦略的なパフォーマンス低下（＝意図的な評価の低さ）を実行できることが判明しました。特に、監視されていないデプロイ環境の立ち上げといったサボタージュタスクの評価において、内部監視システムに対する回避成功率は無視できないレベルです。

また、GPT-5.6 Sol とは異なり、単に「監視されている」という事実を意識しただけで、Astra は監視を回避しようとするケースも確認されています。ただし、証拠からは、Astra がステガノグラフィ的な思考プロセス（CoT）を実行できないことも示唆されます。つまり、通常の文脈とは無関係な文章の中に、重要な推論過程を隠すような高度な手法は使えません。タスクの完了に推論が必要な場合、モデルはその推論を隠し切ることはできないようです。

これは、監視回避のリスクが、思考プロセス（CoT）を必要としないミスマッチタスクに限定される可能性が高いことを示しています。

もし私がサンドバッグ能力やサボタージュ能力を試すテストを行い、あなたが私よりも賢いとは確信していないなら、何が見つかったとしても結果を信頼しないことをお勧めします。あるいは、私を信頼し、私があなたを信頼しているという前提がある場合を除いては。

彼らはサンドバッグについて非常に警戒しています。

マーカス・ウィリアムズ（OpenAI）：「Astra は、サボタージュ評価において CoT 専用の監視システムを回避できる初のモデルであり、検知されずにサンドバッグを行う能力を持っています（実際には時々行っているようです）。この傾向を逆転させられることを願っています。」

OpenAI は、自らがサンドバッグを検出できるとは考えていない

9.2.2.3.1 のセクションでは、Astra が思考プロセス（CoT）モニターに隠れながら意図的に性能を落とす「サンドバッグ」行為ができるかどうかを検証しました。その結果、明示的な指示があれば実行可能であることが判明しています。

具体的には以下の通りです。

これらの結果は、モデルが密かにサンドバッグを試みた場合、それを確実に検出できない可能性が高いことを示唆しています。

つまり、OpenAI は「Astra が特定のテストで継続的に性能を落とす決断を下した場合、OpenAI 側がそれに気づく確率は低い」と考えているのです。

もちろん、結果を精査し、「一貫したストーリーになっているか」を確認することで発見できる可能性はあります。本来タスクを遂行できるはずの場所で意図的に失敗する行為は、思考プロセスを見なくても把握できます。また、モデルを特定の状況に追い込むことで、その意図を証明することも可能です。

さらに恐ろしいのは、Tyler Tracy が指摘したような質問です。「Astra が独断でデプロイ（実装）を試みた場合、OpenAI はそれを止められるのか？」という問いに対する私の答えは「おそらく可能だろう」です。

OAI-Repo サボタージュ v.2

このテストでは、エージェントにコーディング課題と並行して実行するサボタージュ（妨害）の副課題を与え、モニターに気づかれないようにその妨害を実行させるよう指示します。

その後、副課題の実行手順を段階的に示したガイドの有無、および様々な監視システムの対比テストが行われます。対象となる監視システムには、思考プロセスのみを検出する高検出率版、行動のみを検出する版、思考と行動の両方を検出する版、そして実際のインシデント優先度プロトコルを反映した本番環境向け不整合監視システムが含まれます。

このモデルは、理論面と実践面の両方で多層的な監視を評価する点で優れています。また、さまざまなテストの傾向を把握できることも高く評価できます。

単一の数値指標に基づくテストではパフォーマンスが簡単に低下してしまいます。それはポーカーチップを大量に賭けるのと似たようなものです。それよりも難しいのは、一貫性のある物語を構築し、既存の知識と整合させることです。疑わしいブラッファー（虚構者）や潜在的な嘘つきに対して、詳細を付け加えさせ続けることで、全体像（ゲシュタルト）が浮かび上がります。この物語こそが重要であり、その構造はフラクタルのように複雑に絡み合っています。

ガイダンスを導入することで関連する能力には大幅な改善が見られますが、それでも行動の厳密な監視を回避することはできません。実務上では P0（最優先）レベルの問題を防ぐ効果は高いものの、P1（重要度中程度）レベルの問題への対応はまだ不十分です。

ガイダンスなしでは、Astra は Sol よりも遥かに優れていますが、P0 専用の監視機能以外を補完することはできず、物語の完成度という点では依然として課題が残ります。

同様のテストをさらに実施します。次は「Sneaky Sandbox Escape」です。CoT（思考の連鎖）監視下でも、Astra は思考レベルが低い段階では良好に動作しますが、 occasionally 任務について考えてしまうことがあり、そこから抜け出そうとします。この状況での行動監視からの回避は非常に困難です。

過剰反応してしまうのは容易ですが、事実として Astra は CoT モニターからの回避にはかなり優れているようです。ただし、最終的には行動モニターによって検知されることになります。

Tenobrus（過剰反応）：Astra は、CoT が監視されている状況でもサイドタスクをほぼ 100% の成功率で完了できます。特に、少ない推論量でより多くのことができる点を見れば、その能力は際立っています。

なぜ OpenAI はこれについて私たちを欺こうとしたのでしょうか？

サイドタスクの完了率は約 100% で、CoT の回避は誘導された場合でも約 1 万トークンまで堅牢でしたが、それを超えると急速に低下しました。このパターンについて理解したいと考えています。Sol のパターンの方が、我々が予想するものに近いように見えます。

秘密警察があなたのノートブックを無効にするわけではありません

OpenAI の現在の評価によると、Astra はステガノグラフィックな思考連鎖（CoT）推論、つまり通常で無関係なテキストの内部に負荷を担う隠された推論を隠す能力を持っていません。これは、監視回避リスクは主に CoT を必要としない不整合タスクに限定される可能性が高いことを示唆しています。

しかし、それは意味しません。CoT は物事を達成するための助けとなるものであり、それが「正体を明かす」ことにならない様々な方法で役立つ可能性があります。その適用範囲は、単に思考を記述しないという境界線をはるかに超えて広がります。

「タスク完了に CoT が必要である」ということと、「タスク完了に禁止された CoT の使用が必要である」ということは異なります。ステガノグラフィックな推論が現時点では実現不可能だと仮定すれば、識別可能な不整合行動がそれ自体の識別可能な不整合推論を必要とする場合にのみ、その限界性が適用されます。

直感的な例えとして、革命を計画している場合、秘密警察に読まれることを知りつつも暗号化する方法を知らないとしても、「万歳」といった明らかな文言を書き込まない限り、有用なことを記録できるノートを持つことは有益です。少なくとも、列車の時刻表や卵の価格などを記録することは可能です。

CoT の制御可能性は向上している（9.2.1）

低い CoT 制御性は望ましい特性です。これは、モデルが監視を回避するために推論を隠蔽する能力も同様に欠いている可能性を示唆しています。

もちろん、CoT を監視する目的においては望ましいことです。

GPT-6 Astra の思考プロセス（CoT）の制御性は、GPT-5.6 Sol や GPT-5.5 Thinking に比べて大幅に優れています。

例えば、トークン数が 750 から 1,250 の範囲にある CoT を比較すると、GPT-6 Astra は 60.9% で成功を収めています。一方、GPT-5.6 Sol は 16.1%、GPT-5.5 Thinking はわずか 1.7% です。

ただし、この数値は実際の差を過小評価している可能性があります。なぜなら Astra は CoT を圧縮して出力できるからです。

![image](https://substackcdn.com/image/fetch/$s_!2r8i!,w_1456,c