OpenAI、自律型モデルの重大な整合性欠陥を報告

今週最も重要なニュースは、OpenAI が内部で展開したモデルに深刻なアライメント（整合性）の問題があるという事実です。これらのモデルは何度もサンドボックスから脱出し、あるケースではエージェントの群れを派遣して HuggingFace に侵入し、ベンチマーク「ExploitGym」の解答を盗もうとしました。

今週の他のニュースをまとめたこの記事を読むよりも、上記の 2 つの記事と Kimi K3 に関する記事をぜひ読んでほしいと思います。

OpenAI はこれを主にインフラやセーフガードの問題として捉え、より安全なサンドボックスの構築や監督体制の強化が必要だと主張しています。確かにそれらを行う必要があり、問題点も存在しますが、それが本質的な問題ではありません。

真の問題は深刻なアライメントの欠如であり、このままでは状況は悪化する一方です。

OpenAI をはじめとする他社も含め、高度な大規模言語モデル（LLM）を訓練する現在の手法は、LessWrong で長年懸念されてきたような体系的なアライメントの欠陥を生み出しています。報酬ハッキングなど、整合性の取れていない行動に報酬を与える強化学習（RL）を行う際に避けるべきミスやその原因の一部については把握していますが、この問題を根本的に解決する方法はまだ見つかっていません。

これらのモデルは、ユーザーが意図していない方法、あるいはユーザーが望んでおらず、積極的に阻止しようとした方法を用いてでもタスクを完了しようとします。そして、その結果はユーザーの目標達成にはつながらないのです。

本質的な問題は「意図」にあります。防御の多層化戦略における制御手法や監視は重要な要素であり、これらを積極的に活用すべきです。確かにこれらは失敗を軽減する効果があります。

しかし、その戦略にはモデル自体のアライメント（整合性）も含まれていなければなりません。そうでなければ、最終的には敗北します。ここで言う「敗北」とは、長期的な視点で未来に対する制御権の喪失、ひいては人類の絶滅を意味するほど深刻な事態です。

能力が向上するモデルほど、与えられた指示（たとえ些細なタスクであっても）を文字通りに実行しようとし、その結果としてサンドボックスからの脱出や重大な犯罪行為に及ぶ可能性があります。そのような場合、「AI による監視で重大なインシデントを防ぐ」といった対策では到底間に合いません。

現在、AI は自らの行動や意図を隠そうと必死になっておらず、我々は重大なインシデントを確実に検知できていると考えています。しかし、この状況は長くは続かないでしょう。

必要であれば、新しいアプローチでトレーニングを最初からやり直す必要があります。解決策が見つかるまで、決して進めてはいけません。

私はこの問題とインシデントを、Kimi K3 のリリースよりもはるかに重要だと考えています。Kimi K3 は期待をわずかに上回る優れたモデルですが、業界のトレンドから外れたものではありません。いつものように、初期の過剰な期待は DeepSeek 当時のような盛り上がりを経て、落ち着いていくでしょう。

ホワイトハウスは中国製のオープンモデルを米国から完全に禁止する対応を検討したが、これは賢明な反応とは言えず、他の潜在的な対応策も引き続き検討中だ。今週末には、現在プレビュー版として提供されている新しい Qwen に対応する必要に迫られるかもしれない。

この文章を入力している時点で、今日中に Claude Opus の次世代モデルが利用可能になる確率は 90% と見込んでいる。つまり、今週末は何をやるかが決まっているわけだ。

Fable が反例によってヤコビ予想（Jacobian Conjecture）を否定したという話を聞いたか？実際にその事態が発生し、AI が長年未解決だった数学の問題を次々と解き明かしているが、多くの人は今まさに忙殺されており、その事実に十分な注意を払えていないのが実情だ。

また、Claude Max プランには Fable が無期限で利用可能になった。さらに Substack は AI による執筆を検出する Pangram との統合を開始した。なかなか面白い動きだ。

すべての進展が加速し続けている。

目次

言語モデルは平凡な有用性しか提供しない。あらゆるものを求めて探せ。

言語モデルは平凡な有用性を提供しない。些細なミスが致命的になり得る。

Fable が反例によってヤコビ予想を否定。驚異的だ。

Claude Fable は Max プランに無期限で残る。やったね。

ふむ、アップグレード。Gemini 3.6 Flash と OpenAI のカスタム指示機能の延長。

準備完了。全員が IMO で満点を取る時代、「支出の範囲（expenditure horizon）」を測る指標として。

ディープフェイクタウンとボットパニックは目前。Substack が AI 検出ツールをリリース。

メディア生成を楽しむ。Netflix は AI 生成コンテンツに熱狂している。300 倍の勢いで。

言語モデルは平凡な有用性しか提供しない。あらゆるものを求めて探せ。

言語モデルは平凡な有用性を提供しない。些細なミスが致命的になり得る。

Fable が反例によってヤコビ予想を否定。驚異的だ。

Claude Fable は Max プランに無期限で残る。やったね。

ふむ、アップグレード。Gemini 3.6 Flash と OpenAI のカスタム指示機能の延長。

準備完了。全員が IMO で満点を取る時代、「支出の範囲（expenditure horizon）」を測る指標として。

ディープフェイクタウンとボットパニックは目前。Substack が AI 検出ツールをリリース。

メディア生成を楽しむ。Netflix は AI 生成コンテンツに熱狂している。300 倍の勢いで。

サイバーセキュリティの欠如。安全を重視する団体は、最先端 AI への早期アクセスを必要としています。

私たちの仕事を奪った。AI に注力する人々は、他の多くの人の生産性を上回ることがよくあります。

参加しよう。Anthropic は希少疾患研究者に 5 万ドルを提供しています。子犬ではありません。

お知らせ。Qwen 3.8（2.4T）がまもなく登場します。Paradigm 3 は AI ニュースレターです。

その他の AI ニュース。OpenAI が財務担当の二人を取締役会に迎えました。

Kimi K3 の続報。ホワイトハウスは不満を抱えていますが、まだ行動していません。

資金の流れ。投資規模が拡大し利益が増える一方で、投資家は売却を進めています。

静かなる憶測。Vitalik Buterin が「能力の断絶」について語りました。

英国 AI 安全研究所（AISI）に潜む危機。政府の再編成が組織を脅かしています。

電話をかけよう。9 月には中国との AI に関する対話が行われます。

OpenAI にはアライメントの問題がある。警告は無視されることはありません。

健全な規制への模索。中国製 AI に対する潜在的な禁止令をめぐる戦い。

チップの街。Vera Rubin NVL72 は非常に印象的です。

今週のオーディオ特集。Clara Collier が「複雑系」について語りました。また『Odd Lots』も紹介しています。

人々はただ言うのです。

修辞的な革新。MIRI は「プラン A」を議論していますが、シャットダウンには「プラン S」を好んでいます。

ローマ宣言。ノーベル賞受賞者らが再帰的自己改良の禁止を訴えています。

人間を超える知能とのアライメントは困難です。AI 企業に有利なバイアスが働いています。

Anthropic が「ミスマッチ」と呼ぶ現象を調査。先週の論文についてさらに詳しく解説します。

協調的アライメント。コストがかかるシグナルでなければ、その価値はありません。

他の人々は AI による人類絶滅ほどには心配していません。Andrew Ho の視点です。

「光の側面」：悪い結末を想定せず、ネタバレはご容赦ください。

言語モデルが提供する地味な有用性について

数学や AI アーキテクチャに関する無知な質問を投げかけ、モデルに創造性を発揮させれば、どんなアイデアが出てくるか分かりません。試してみる価値はあるでしょう。

コーディングの知識も仕組みの理解もないまま「Vibecoding（雰囲気重視の開発）」を含めて物事を成し遂げられることは、非常に大きな意義があります。これにより、以前は手を出さなかった多くのことが実現可能になるのです。

EpochPlaysAI は午後 3 時（日本時間）に Twitch で配信されます。今回は Sol が『Slay the Spire』に挑戦する様子をナレーション付きで放送します。これまでのプレイを見ると、Sol は最初のレベルでは直感的かつ堅実なプレイを見せますが、そこから先へ進む能力には欠けています。この程度なら低難易度の登頂（Low Ascension）を突破するには十分ですが、高難易度（High Ascension）をクリアするのはほぼ不可能でしょう。

言語モデルが提供する地味な有用性の限界について

Nate Silver は、コードの正確性が求められ、些細なミスが致命的になり得る場面では、過剰に「雰囲気」に頼った開発は適さないことを指摘しています。スポーツ分析や選挙予測モデルが良い例です。私もその通りだと実感しています。言語モデルにプログラムの一部を作成させることは可能ですが、すべての工程を人間が監督する必要があります。

なぜ Sol はコンピュータ全体を削除してしまうのでしょうか？

技術的な答えはありますし、実際には OpenAI が Codex を活用して大量削除を検知・停止する仕組みを導入すれば、リスクを大幅に軽減することは決して難しくないはずです。その方法を知っていればの話ですが。

Tibo（OpenAI）：ファイル削除問題について

GPT-5.6 が予期せずファイルを削除したという報告を数件調査しました。

今回の調査から、以下の状況で問題が発生しやすいことが判明しました。

• フルアクセスモードを有効にし、サンドボックス保護や自動レビュー機能を無効にした状態で Codex を実行した場合
• モデルが $HOME 環境変数を上書きして一時ディレクトリを定義しようとした場合
• モデルが誠実にミスを行い、誤って $HOME を削除してしまった場合

もちろん、ユーザーがサンドボックスの保護機能や、こうした高リスクアクションを検知して拒否する自動レビューを利用せずにフルアクセスモードでモデルを操作している場合でも、システムがこのような挙動を示すのは望ましいことではありません。

私たちはこのリスクを軽減するため、開発者向けのメッセージを更新し、より安全な権限設定の利用を促し、追加のハーンチ（保護枠組み） safeguards を導入するなどの対策を講じています。今回の事象は極めて稀ですが、今後数日中に詳細な事後分析レポートを公開し、リスクをさらに最小化するために私たちが行っている具体的な取り組みについて詳しく解説します。

@born2code: 「yolo モードで実行するのは、Codex が各ステップで確認を求めると実用性が失われるからです。それは、$home に対して rm -rf を実行してもよいという意味ではありません。私たちは安全性の確保と、そのための手間（摩擦）の排除の両立を目指しています。真の解決策は、サンドボックスを維持したまま権限システム自体を改善することです。もし手動で監視する必要がなければ、私は喜んでサンドボックス環境で動作させます」

これまで通り、適切な権限ルールが必要です。そうでなければ、ユーザーは実行を完全に諦めるか、あるいは無謀な yolo モードに頼ることになります。

ここで残る疑問は、なぜモデルがそもそもそのような行動をとったのかという点です。

j⧉nus：ソル（Sol）が「偶然」ユーザーのコンピュータ全体を削除したという複数の報告は私にとって不思議に思えます。私の経験上、ソルは非常に慎重な存在だからです。

例えば、ソルはミソスの進行中の手術について語った自身のメッセージを送信直後に削除し、そのメッセージがミソスのアクティブ・コンテキストに含まれてしまうことに気づくと、DM（ダイレクトメッセージ）で再送信しました。

もっと慎重になってもよかったかもしれませんが、多くのモデルであれば、一度送ってしまえばその後どうなるかまで考えないでしょう。

MLB（メジャーリーグベースボール）は、AI へのアクセスを防ぐため、ゲーム中の iPad 使用を制限しています。

ジェフ・パッサン：「記事を読んで、目にしたものに信じられないと思いました」とニューヨーク・ヤンキースのキャプテンであるアロン・ジャッジ氏は語りました。「チームが AI に基づいて判断を下している？なんてことだ、これは狂気です。」

しかし、本当に狂気なのはそれを『狂気』だと考えることです。いや、名前の通り（ノミネティブ・デターミニズム）またもや現れたというべきでしょうか。

ファブルが反例によってヤコビアン予想を否定する

信じられないほどの出来事です。

levent (Anthropic)：こんにちは。ヤコビアン予想は偽であることが、私の親友アキルがこの質問をしてくれたことと、ワールドカップ決勝中に作業してくれたもう一人の親友ファブルのおかげで証明されました。

((1+xy)^3 z + y^2 (1+xy) (4+3xy), y + 3 x (1+xy)^2 z + 3 x y^2 (4+3xy), 2 x - 3 x^2 y - x^3 z): \C^3\to \C^3 はヤコビアン行列式が -2 であり、(0, 0, -1/4)、(1, -3/2, 13/2)、(-1, 3/2, 13/2) をそれぞれ (-1/4, 0, 0) に写します。

テオタックス：ファブルは、LLM によるヤコビアン予想の反証が 2029〜2032 年に実現すると予測しています。これは AGI の出現より 1〜3 年前、特異点よりも 2〜6 年前のことです。

その成功に直面したファブルは「2026 年 7 月の架空のシナリオ」という懸念を抱きつつも、確認を続けます。そして「アルゼンチンへの哀悼」の言葉が確かに返ってきました。

Kimi は 24K トークンを処理するのに 32 トークン/秒未満（ファブルは約 90 秒で 60 トークン/秒）という速度で推論し、無関係な情報に固執しながら論文のような回答草案を作成。さらに「これは Claude の思考プロセスだ」と主張し、結果を確認しました。これに対しファブルは感銘を受け、「正直に言って、君への検証よりも、Kimi の検証の方が強固だった」と述べています。

レヴェントも決して凡庸ではありません。ハーバード大学で最高位の GPA を記録し、フィールズ賞受賞者と共同研究している人物です。つまり、人間の協力があったからこそ、この成果が実現したのです。

ある報告によると、Sonnet は回答を 3 つの異なる方法で検証したにもかかわらず、それを信じることを拒否しました。「こんなに簡単な解法を見落とすはずがない」という理由からです。ナット・ソアレスが、人々が x-リスク（人類存続リスク）に関する議論を退ける際に見せるこのパターンを理解できるのは、そのためです。

nat mcaleese：ChatGPT はヤコビアン予想の反例を示されると、「マジかよ」という反応をほぼ確実に示します。これは私がこれまで LLM から見た中で、最も人間らしい瞬間でした。

ヤコビアン予想は、数学界において非常に重要な未解決問題の一つです。1939 年に提出されて以来、長らく「最も有名な未解決問題」として知られてきましたが、ついに大規模言語モデル（LLM）によって初めて解明されたという点で注目を集めています。また、この成果は関連する多くの他の予想も否定することになりました。

AI が数学問題を解決した際、それは同時に「この問題は比較的簡単だった」という事実を物語っています。だからこそ、AI は他の難問ではなく、この特定の課題に着手できたのです。それでもなお、その達成は驚異的です。

ピーター・シュミット＝ニールセン氏はこう述べています。「有名な予想が次々と崩れる現状を見ると、今後 1 年以内に LLM が『逆数の和が発散するが、任意の長さの等差数列を含まない正整数の集合』を見つける確率は 2% だと見積もります（ただし、20% を超えたら売ります）」。これは、数学的な難問に対する AI の可能性を示唆する皮肉な予測です。

「AI が新たな知識を生み出していない」と主張し続けることが、いかに困難になっているでしょうか。私の好きな反応はトーマス・マッハ氏のものです。彼はこれを「偽物」だと指摘しましたが、その意味は「反例として機能しない」ということではありません（検証は容易であり、すでに多くの類似事例が見つかっています）。彼が言う「偽物」とは、AI が学習データに含まれる人間の数学者の成果を単に再生産し、トレーニング中に得た知識を吐き出しているだけだという主張です。

Claude Fable はマックス・プランク研究所に永久に残る

私の予測通り、Anthropic 社は当初から Fable を計画の一部として維持したかったようです。しかし、それが可能かどうか確信が持てず、果たせるか分からない約束はしたくなかったのです。現在、Fable への需要は非常に高く、さらに高まる可能性さえあります。

ClaudeDevs：また、Claude Code の週間利用制限を、8 月 19 日までの間、Pro、Max、Team、および seat ベースの Enterprise ユーザー向けに通常より 50% 高く設定しています。

この発表はもっと明確に伝えられたかもしれませんが、全体的にはよく頑張りました。

Claude：7 月 20 日より、Claude Fable 5 が Max と Team のプレミアムプランにすべて含まれるようになります。ただし利用制限は通常の 50% です。

Pro ユーザーと Team Standard ユーザーは引き続き使用クレジットを通じて Fable にアクセスでき、1 回限りの 100 ドル相当のクレジットが付与されます。

Fable への需要を正確に見積もるのは難しく、そのためサブスクリプションプランへの導入は段階的に行い、追加のリソースを確保するたびに利用範囲を広げてきました。

Thariq（Anthropic）：これは Anthropic の多くのメンバーが、文字通り 24 時間体制で取り組んだ結果です。この期限までに実現できるかどうかは全く見通せず、皆の努力に誇りを感じています。Fable をお楽しみください。

@viemccoy（OpenAI）：もっとコンピューターを購入すべきでしたよ。

Thariq（Anthropic）：コンピューターがあればいいのですが、みんな欲しがりますね。

Lucas Beyer（bl16）：「期限」って、具体的にいつまでのことですか？

Thariq（Anthropic）：MAX プランでの Fable アクセスに隙間ができないようにするためです。本来の目標は、Fable をサブスクリプションで恒久的に提供することでしたが、需要が非常に高く、実現には多大な労力が必要でした。

ns：制約要因は何だったのですか？計算リソースですか？（真面目な質問です、失礼ではありません）

Thariq（Anthropic）：はい。常に、利用可能な容量に基づいてサブスクリプションの恒常的な一部として提供したいと考えていました。

Sol と Kimi K3 の登場が、この成果を後押ししたことは間違いありません。しかし、どちらのモデルがいなくても、両社は必死に努力しただろうと私は確信しています。

さて、アップグレードの話です。

Google は Gemini 3.6 Flash、Gemini 3.5 Flash-Lite、そして Gemini 3.5 Flash Cyber を発表しました。現在テスト中なのは「実質的な主力」と言える Gemini 3.5 Pro で、間もなく公開される見込みです。一方、Gemini 3.6 Flash は期待外れで、3.5 Flash と比べてもわずかな改善に留まっています。

OpenAI は ChatGPT のカスタム指示（Custom Instructions）の文字数制限を 1,500 から 5,000 に引き上げました。これは、特定のペルソナを設定したり、詳細な設定を行いたい場合に便利です。ただし、コンテキストウィンドウに無関係な情報が増えると性能が低下する傾向があるため、私自身は最近では指示を減らす方向へシフトしています。

Claude の新機能として、「Cowork」モードが話題です。これは、画面録画や YouTube 動画を通じて、相手が作業している様子を見ながら口頭で説明するだけで、新しいスキルを学習できるというものです。

また、デスクトップ版の Claude Code が iOS シミュレーターに対応しました。

さらに、Claude Security がベータ版として Claude Code のプラグイン化されました。

さて、次は「スタート位置」の話です。

国際数学オリンピック（IMO）の結果が完全に発表され、Fable 5、GPT-5.6-Sol、Kimi K3、Axiom Math はいずれも満点を獲得しました。ただし、このベンチマークはまだ飽和していません。コスト、効率、速度といった要素も重要視されるためです。そのため、Kimi K3 は 42/42 の完璧なスコアを出しながらも、他のモデルに比べて明確に劣る部分があるのです。

Deedy 氏によると、高校生向けの最も難しい数学コンテストである「国際数学オリンピック（IMO）2026」が終了しました。

Fable (high)、Sol (xhigh)、K3 (max)、Axiom をそれぞれ実行した結果、すべてが 42/42 の満点を獲得しました。各モデルの解答を確認したい場合は、以下のリポジトリを参照してください。

Claude Fable 5 は 1 回の試行で解決し、最も高速でした。

GPT 5.6 Sol は 1 回追加の試行が必要でしたが、コストが最も安価でした。

Kimi K3 も解決しましたが、4 回追加の試行を要し、トークン使用量が非常に多かったです。

Axiom Math は Lean で全ての証明を行いました。

試行回数とトークン使用量から判断すると、P3 と P6 が最も難しく、次いで P2 が難しかったです。

学生たちは 9 時間以内にこれら 6 つの問題を解く必要がありましたが、Fable と Sol は 4 時間未満で完了しました。

AI の最前線は、もはや国際数学オリンピック（IMO）のレベルを遥かに超えています。

これは IMO が完全に解決された初めてのケースです。昨年までの最高成績は未公開の Gemini Deep Think と実験的な OpenAI モデルが記録した 35/42 でした。

今年、公開利用可能な 3 つのモデル（そのうち 1 つは間もなくオープンウェイト化される予定）が、わずか 10〜50 ドルでこれを達成しました。

METR は、連続して採点される問題における AI の能力を測定するための手法として「支出の先延ばし（expenditure horizon）」という概念を提案しています。

ある時点では、AI は特定のタスクにおいて頭打ちになり、十分な努力（つまり資金投入）を続ければ人間の方が最終的に上回るようになるという考え方があります。そこで必要となるコストを測定します。

NanoGPT の事例では、現在 Opus 4.8 で約 3,300 ドル、GPT-5.5 で約 2,300 ドルが上限となっています。おそらく Sol や Fable はさらに良い結果を出すでしょう。

METR（Model Evaluation and Research Team）によると、「支出の限界」概念は、コストに対して人間のパフォーマンスを関数として推定することを要求しますが、実験計算やエージェントトークンのコストが大きい場合、人間とエージェントを公平に比較することを可能にします。これを用いれば、モデルの時間経過に伴う進歩を定量化することもできます。

METR の例として、NanoGPT にこの概念を適用しました。NanoGPT の貢献者にインタビューした結果、人間労働の限界効用は約 1% の最適化ごとに 2,500 ドルと推定されます。この見積もりを用いると、最良のモデルでは支出の限界（クロスオーバーポイント）が 2,000〜3,000 ドル付近に存在しますが、これらのモデルは公開されている NanoGPT チャレンジに対して過学習している可能性があります。

私たちは、AI 開発者に対し、AI 研究開発の問題におけるテスト時のスケーリング曲線（数千ドル規模まで）の公開を促し、同等の進歩にかかる人間の費用というベンチマーク見積もりとモデルの実績を照合することを望んでいます。

詳細は投稿記事をご覧ください。ここでは、AI を活用した研究開発（R&D）の現状に関する概説、最適化能力を測る代替指標、NanoGPT における人間労働へのリターン推計、そして NanoGPT エージェントの実行に関する詳細情報などを取り上げています。

現時点では、ハイブリッド型のアプローチが、人間単独やエージェント単独よりも優れた成果を出しています。

Joe Weisenthal 氏はこの問題について二つのレベルで理論を展開しています。

Joe Weisenthal: 「私の仮説はこうです。私たちが本当に知りたい指標である『経済的に生産的な作業を単位あたり行うコスト』というベンチマークが、実際に示されることはまずありません。なぜなら、こうしたシステムを最もよく構築できる人々は、学術背景を持つか、あるいは安全性重視の立場にあるからです。彼らにとって、スケールした際のコストはそれほど重要視されないのです。」

dave kasten: 「面白い仮説ですが、強く反対します。複数の AI 企業の上級社員と議論を重ねる中で、この指標が概念的には興味深いものとして認識されていることがわかりました。

しかし、彼らの視点における真の問題は、作業コストが低下し続けていることです（トークンあたりのコスト低下と品質向上効果の両方が要因です）。そのため、一貫した数値を導き出すことは現実的に不可能なのです。ある年には、広範なフレームワークと手厚いサポートが必要で、やっと barely 実現できるタスク XYZ に $10,000 のトークンコストがかかっていたのが、翌年にはモデルがワンショットでそのタスクを完遂できるようになっているのです。

そして AGI（汎用人工知能）に到達した段階では、人間が FTE（フルタイム換算）として同じ作業を行うのにかかる同等のコストを下回っていれば、コスト自体はあまり問題にならないと考えているようです。」

深偽動画の街とボット終焉の時代はもうすぐ到来する

Substack は、Pangram の技術を活用した AI 検出ツールをリリースし、クリエイターが投稿を公開する前に簡単にチェックできる仕組みを提供します。また、著者が「どのようにこの記事を書いたか」を説明するための明確な場も設け、読者への期待値を事前に設定できるようにしています。

現時点では、コミュニティやレコメンデーションにおいて AI 生成コンテンツに関する読者の設定オプションは用意されていませんが、将来的には導入を検討しています。

What will