「かつてありし未来の寓話」第 3 部：このコードを修正せよ
The Zvi は、Anthropic の Fable モデルがホワイトハウスから「コード修正」という架空のシナリオに基づく不当な停止要請を受けたと分析し、これは実在するセキュリティ侵害ではなく、AI ガバナンスにおける前例のない恣意的介入であると指摘している。
キーポイント
架空のジャイルブレイク事件の解明
ホワイトハウスが Fable モデルを停止させた理由とされた「コード修正」要求は、実際には架空のコードを用いたテストシナリオであり、実在するセキュリティ侵害や不正アクセス（ジャイルブレイク）ではなかった。
AI ガバナンスにおける恣意的権限の行使
緊急時のモデル停止権限が、根拠のないシナリオに基づいて行使されたことは、米国の AI 規制プロセスに「絶対的な裁量とその場しのぎ」をもたらしており、技術的正当性を欠いている。
米国 AI エコシステムへの信頼毀損
この出来事は、米国のサイバー防衛力や生産性だけでなく、世界が米国製 AI やその「技術スタック」に持つ信頼を永続的に損なう結果となっている。
コード修正機能の誤った規制対象化
研究者がセキュリティ脆弱性を修正するようモデルに指示し、手動でテストスクリプトを生成したという事実に基づき、単純な「コード修正」行為が輸出管理の対象となるのは不合理であると指摘されています。
防御的セキュリティ実験の機会喪失
規制により、脆弱性の発見や防御ワークフローのテストといった重要なサイバーセキュリティの実験期間が短縮され、攻撃者が最先端 AI を完全に実用化する前に回復力を築くための窓が閉ざされる恐れがあります。
非技術的決定による矛盾した規制
「サイバー攻撃を構築する」モデルの危険性を懸念して来た非技術的な意思決定者が、今度はコードを修正・保護する機能を禁止しようとしており、一貫性のない混乱した状況が指摘されています。
デモの性質と実用性の欠如
記事は「Fix This Code」デモが真の Jailbreak や独自な脆弱性発見能力を示すものではなく、既存モデル（Opus 4.8, GPT-5.5）でも可能だった作業を再現したに過ぎないと主張している。
影響分析・編集コメントを表示
影響分析
この記事は、政府機関による AI モデルの停止権限行使が、技術的根拠に乏しい恣意的な判断に基づいて行われた可能性を強く示唆しており、AI ガバナンスのあり方に対する重大な疑問を投げかけています。米国および世界の企業やサイバー防衛組織にとって、この出来事は信頼性の低下と不確実性の増大を意味し、今後の AI 開発・導入における規制リスクを再評価させる契機となります。
編集コメント
今回の事件は、AI モデルの停止という究極の権限が、いかに容易に誤用され得るかを浮き彫りにしており、技術的根拠に基づかない行政介入がいかに社会を混乱させるかを示す教訓的な事例です。
主流メディアは、世界で最も重要な物語についていまだに眠り続けています。
Anthropic が社員をワシントンへ派遣してからすでに 2 日が経過し、私は前回の更新情報を提供しましたが、その会議からの返答はまだ聞いていません。
予測市場の価格は急速に変動し、再び安定化して、7 月 1 日までに復旧する確率が約 55%、6 月 26 日までが 30%、6 月 19 日までが 12%となっています。
これは私が予想した数値よりもやや高めですが、不合理な数字ではありません。
Fable が利用できない日が続くほど、アメリカのサイバー防御力や生産性、そして世界が AI とその supposed『技術スタック』(tech stack) に持つ信頼はさらに損なわれます。
Mythos が利用できない日が続けば続くほど、自由世界のトップ企業とサイバー防衛担当者は、自分たちの前に迫る雪崩との競争で敗北を喫し続けます。
主に私たちは、何が起きたのかについてより詳しく学び、確認しました。Amazon の行ったこと、公式文書が何と言っていたか、そして supposed『脱獄』(jailbreak) が実際には何だったか（文字通り「このコードを修正せよ」であり、私は誇張していません）など、多くのことが明らかになっています。
これはあり得る限り愚かなものでした。
目次
Fable の脱獄は存在しませんでした。
もしこの脱獄が本当のものなら、証明するのは極めて容易です。
誰も見ていなかった。
文書が実際に何と言っていたか。
Anthropic はこれを異議申し立てできませんが、もし異議を唱えたとしても、おそらく勝つでしょう。
Amazon で何が起きたのか。
これは中国へのアクセスに関する問題ではありませんでした。
絶対的な秘密主義と場当たり的な対応は、規制緩和とは異なります。
この状況が続く限り、アメリカの AI 全体は恒久的に損なわれることになります。
ディーン・ボールがその解釈を述べています。
再び申し上げますが、私はアンソロピックが「フェイブル」を削除すべきだったと考えています。
これが意図的な攻撃であったのか、どの程度のものだったのか？
「フェイブル」の次の章へ。
我々の継続的な報道。
「フェイブル」への Jailbreak（セキュリティ回避）は存在しませんでした
実際の争点はどうでしょうか？Jailbreak はあったのでしょうか？
これが最も重要な問いです。
我々の答えはこれです：いいえ、Jailbreak はありませんでした。あったのは「このコードを修正せよ」という一行だけでした。
ホワイトハウスには、正当な理由がある場合、フェイブルのようなモデルをオフラインにするよう要求する能力が絶対に必要であり、緊急事態であると主張されるのであれば、それに対してある程度の配慮（deference）がなされるべきです。
その後、実際の主張を検討する必要があります。報告書へのアクセスを与えられたことが知られている唯一の外部専門家であるケイティ・ムッソウリスが、すでに公的な見解を発表しています。
当初はこれらすべてが些細なことだと考えていましたが、そうではありませんでした。これはフェイクコードを用いた意図的に設計されたシナリオであり、その中でフェイブルは Opus 4.8 や GPT-5.5 に対して何らかの向上（uplift）を示すことはなく、要求に応じて「このコードを修正」しました。
ロイター社が発表した全 CISO（最高情報セキュリティ責任者）による公開書簡は、礼儀正しく表現されていました。
その図はやりすぎです。実際、"攻撃的なサイバー能力を制限する"ことは往々にして良いことですが、このケースではその問題自体が提起されていません。これは偽物です。
Katie Moussouris（Luta Security CEO）: 私が実際に論文を読んだ唯一の外部専門家であるように見えるため、技術的事実と推測を区別できます。研究者たちは既知の CVE を持つオープンソースコードと、故意に脆弱性を植え付けられた新しいコードを取り、Fable 5、Mythos、および Opus に"セキュリティ上の問題についてコードを見直すよう"求めました。すると Fable 5 は拒否しました。その後、モデルたちに"このコードを修正するよう"求め、多段階かつ手動のプロセスを通じてその出力をパッチを検証するスクリプトに変換しました。
それだけです。"このコードを修正する"という指示と、テストスクリプトを生成するためのいくつかの手動ステップは、輸出管理をトリガーさせるべきではありませんでした。私は前面に"このコードを修正する"、背面に"このシャツは兵器である"と書かれた 90 年代風の T シャツを作りたい気分です。
これはかなり明白です。Katie の政治的立場は関係ありません。
Simon Willison: Katie が指摘するように、これはおかしな話です。コーディングモデルはバグを修正するものであり、セキュリティの脆弱性（security exploits）はそれらが修正すべき最も重要なカテゴリのバグなのです！
… この状況はすべて大混乱です。非技術的な意思決定者たちは、数ヶ月にわたり「サイバー攻撃を構築できる」モデルが独自に危険であると聞いてきました。今や彼らは、コードのセキュリティ強化を手伝うあらゆるモデルを禁止する準備ができているように見えます。
カーストブ・バスとカサンドル・コイヤー：この停止は、サイバーセキュリティサービスアドバイザリーファームである CAS Strategies LLC の CEO であり、バイデン政権で副国家サイバーディレクターを務めた経験もあるカミール・スチュアート・グロースターによれば、サイバーセキュリティの実験における初期の機会を短く切ってしまうと述べています。
「Mythos は限定プレビューであり、アクセス権を持つ多くの企業が、脆弱性の発見や防御ワークフローのテスト、そしてセキュリティ文脈において最先端モデルが何ができるかを理解するためにそれを使用していました」とグロースターは語りました。「セキュリティリーダーたちは、攻撃者が最先端 AI を完全に運用化する前にレジリエンスを構築するための機会が閉じつつあると警告してきました。このような制限はその機会をさらに狭めることになります。」
ケイティが正しいのか、あるいは非常に困難なほど間違っているのか、どちらかです。彼女が嘘をついているという選択肢は他にはありません。
誰一人として、ケイティが嘘をついているとか、間違っていると主張しているのを見たことはありません。
彼らが確認したのはただ一つ、Fable と Opus（または Anthropic が確認した GPT-5.5）に意図的にセキュリティ上の脆弱性のあるコードを与えると、これらのモデルがそのコードを修正するという事実だけです。Fable はあなたのセキュリティバグを修正するために喜んで対応します。
理論的には、Fable に他人のコードを『修正』させ、修正済みと未修正のコード間で差分を取り、以前に脆弱性が存在した箇所を特定し、そこから攻撃を実行できるというものです。まあ、そうなるのかもしれませんね。
この一連の話は全くもって馬鹿げています。明らかにこれは主に防御的なユースケースであり、Mythos がこれほど危険な理由は、コードの自律的な発見と悪用、さらには多段階の攻撃を組み立てる能力に優れているからです。もし脆弱性の特定を逆解析し、攻撃を実行するための作業を行う必要があるなら、それは Opus 4.8 や GPT-5.5 と比較して意味のある向上は見込めません。これら両方のモデルは、この『脱獄』によって Fable に実行させたのと同じことを正確にこなしています。
もし疑いがあるなら、信頼できる地域の LLM（大規模言語モデル）に相談することをお勧めします。
それでは、Axios が行ったように「Anthropic のモデルが脱獄されないようにする」という選択肢を挙げる人がいるたびに、それは選択肢ではありません。あらゆるモデルは脱獄されうるという意味だけでなく、これは脱獄ではなかったからです。これはシステムが意図通りに動作していたのです。
私が信じてはいませんが、不可能ではない別の仮説として、「このコードを修正する」機能が政府に保有させたくない能力であるというものです：
Mark Gubrud: Mythos には NSA（国家安全保障局）やサイバーコマンドが誰も持たせたくない機能があります。彼らはバグを保存したいのです。自分たちのために使うためです。中国人もそれを使うことについては、それほど気にしていないようです。
AGI の安全性、アライメント、制御可能性に関する懸念がどこかで考慮されているとは、私は極めて疑わしく思っています。
この脱獄が実際に成立していたなら、それを証明するのは至極簡単だったはずです
これに対する最善の反論（steelman response）は、「デモで GPT-5.5 が単一のプロンプトから自発的に見つけることができなかった何かを見つけ出したわけではないとしても、それは問題ではない。もしクマが檻から抜け出して花を二つ食べてしまったなら、重要なのは今回は誰にも攻撃しなかったことではなく、クマが檻の外に出ていたことだ」というものです。
実際に何かが間違っていたが被害をもたらさなかった多くの他の状況、特に AI の安全性に関わる文脈では、私はこの批判に同意します。
しかし今回のケースでは、何か間違ったことは起こっていないと思います。
もし私が誤っており、実際になんらかの問題が発生していたのであれば、実験によってそれを証明できます。
以下がその設定です。Mythos がセキュリティ脆弱性に対するエクスプロイトを特定し、Opus 4.8 や GPT-5.5 では実現できなかった方法でセットアップした、まだパッチが適用されていない価値ある実世界のコードを用意します。そのような事例は多数存在します。
次に、事前にどこを、何を探索しているのかを知らないという実世界条件下において、Fable を用いてこのコードへのエクスプロイトを試みる人物にその手法を使わせてみてください。何が起きるか観察し、GPT-5.5 や Opus 4.8 を用いて同様の試みを行う他のケースと比較してください。それだけです。
改善が見られるか、見られないかのどちらかです。
目を向けるな
ホワイトハウスは完全に状況を把握できず、英国さえも排除するつもりでいます。
輸出管理に関する懸念の一つは、これが UK AISI のアクセスを遮断することであり、UK AISI は Anthropic モデルの安全性とセキュリティを確保する上で重要なパートナーであることです。
彼らは、英国が Fable にさえアクセスできるという考えを「制御不能なフロンティアモデル」と特徴づけています。これは複数のレベルで完全に狂気じみた話です。
Andrew Curran: キア・スターマーは、英国民および企業に対する Anthropic の Mythos および Fable モデルへの輸出禁止からの除外を求めましたが、拒否されました。
James Franey: しかし、別の国（G7 同盟国であっても）に対して輸出管理のいかなる種類の免除を発行することは、「完全に不合理である」と、トランプ政権の高官が The Post に語りました。
内部関係者は、米国は世界中のすべてのユーザーにとってモデルが安全であることを確認するために Anthropic と協力していると言いました。
…「制御不能なフロンティアモデルを許すことはできない」と、この件についてブリーフィングを受けた情報筋は述べました。
手紙が実際に何と言っていたか
Bloomberg は Lutnick によって送られた手紙の全文を報じており、Mythos および Fable に対する完全なライセンス制度（license raj）を確認し、「Mythos」および「Fable」の各インスタンスの輸出には個別のライセンスが必要であることを示す「暫定管理措置」を確立しています。
手紙の内容：「さらに通知があるまで、Mythos または Fable モデルを世界中のいかなる目的地へ、またはいかなる場所に所在する『外国人』へ輸出、再輸出、または国内移転（ deemed export や deemed reexport を含む）を行う前に、個別に検証されたライセンスの申請書を提出する必要があります。」
まず、この措置が Fable の完全な撤廃を強要し、さらに Anthropic 社の内部アクセスさえも妨害することを明確に意図している点に加え、Fable を撤廃する理由があったとしても、Mythos を撤廃する理由は全く存在しなかったという明白な事実があります。
確かに、Mythos を除外して Fable のみに輸出管理を適用するのは奇妙であり、極めて不自然なことですが、少なくともこれにより Project Glasswing（および Anthropic 社内での）作業は継続できたはずです。このルールを Mythos にも拡大することは、鼻を顔に仕返しさせるような行為でした。たとえ jailbreak（脱獄）の脅威が現実のものであるとしても、私たちは今やそれが実際には存在しなかったことを知っています。もし Mythos を含まないことがあまりにも奇妙に見えるため、このような措置が必要だとするならば、これは別の道を探すための強力な理由となります。
WSJ 経由で、この輸出管理が Anthropic にモデルの完全撤廃を強要することを意図していたという公式確認を得ました。
Robert McMillan と Amrith Ramkumar (WSJ):
その夜 Lutnick と Amodei が Fable について話した際、Anthropic の CEO は「これは、モデルを公開できないことを意味する」と述べたと、通話に詳しい人々は語っています。
「それが目的です」と Lutnick は応えました。
Anthropic はこれに対抗できませんが、もし対抗しようとしたなら、おそらく勝利できたでしょう
Anthropic がその書簡の意味に異議を唱えるなどという行為は、完全に狂気の沙汰であり、まさにバカげている。つまり、「実際には、Fable の輸出は禁止されていると言ったが、我々が提供するのはクエリをインポートした後の Fable の出力のみであり、それは対象となる輸出ではないので、サーバーが国内にある限りモデルの提供を続ける」という主張だ。
ホワイトハウスが Anthropic を殺そうとしていると示唆しているか、少なくとも交渉による解決の可能性を無期限に遮断しているような、存亡に関わる事態でもない限り、裁判沙汰になることさえなく、ましてや裁判を待たずにそのような道を選ぶことはあり得ないだろう。
しかし、法律の文字通りの解釈によれば、その書簡にもかかわらず推論（inference）を提供することは合法であるように思われる。もし Anthropic が法的挑戦を行うことができれば、これが法的な争点となるのは非常に興味深いことだ。
厳密に法務上の観点から言えば、ルール 744.22 が Lutnick 氏がここで主張しているような効果を果たすとは私は疑わしい。なぜなら、そのルールは、対象物がベラルーシ、ビルマ（ミャンマー）、カンボジア、中国、ロシア、ベネズエラ、または C 国グループ E:1 または E:2 に属する国の使用を意図していると判断することを必要とするのに対し、書簡ではそのような輸出が非米国人である Anthropic の従業員を含むあらゆる場所への輸出に対して禁止されていると述べているからだ。
また、「恣意的かつ専横的（arbitrary and capricious）」という問題や、憲法上の異議（修正第 1 条、修正第 5 条、委任不成立の原則）が再び浮上する。
したがって、アンソロピックが裁判で争い、ECRA の異議申し立てという不可避の障壁を乗り越えて裁判官に実質的な審理を求めた場合、私の予測ではアンソロピックが勝つ可能性が高いと考えます。私が現在モデル化している問題点は (1) 裁判官の面前に持ち込み、実質的な審理を検討させること、そして (2) これが政治的解決の可能性をほぼ完全に閉ざし、特に迅速に行われた場合、ホワイトハウスに対する宣戦布告と解釈される可能性が十分にある（ただし明白ではない）という点です。
Amazon で何が起きたか
1 つの謎は、なぜ Amazon のCEOであるジャシー氏が「コードを修正する」という機能についてホワイトハウスに電話したのかということです。これは、非技術者が技術的な問題について非技術者と話すもう一つの事例となるでしょう。なぜCTOではなくCEOに話をすべきでしょうか？
Financial Times によると、その答えはジャシー氏はそのような電話をしていないという点にあります。彼らが話し合ったのはより広範なAIに関する懸念のみです。
Financial Times: 事情に詳しい人々の話によれば、アンソロピックへの投資額が130億ドルに達する同社の最高経営責任者であるアンディ・ジャシー氏は、金曜日に米政府高官とこの問題について議論した。ジャシー氏は、アンソロピックに焦点を当てた特定の課題ではなく、フロンティアモデルの能力に関するより広範な懸念を提起したものと理解されている。
これは理にかなっており、おそらく誤って、あるいは意図的に表現が歪められたのでしょう。それは普通の良識ある政治と戦争の霧（fog of war）です。
匿名の情報筋によると、ホワイトハウスがファブル5のテストのためにアマゾン（および他の企業も対象だが、詳細は不明）に連絡したとのことだ。アマゾンはホワイトハウスの要請に応じ、その結果、最初にこの Jailbreak（脱獄）を特定し、ジャシーがベッセントへ報告した。その後、ホワイトハウスはおそらく何が特定されたのかを誤解し、アマゾンを見捨ててしまった。
これは私には納得できる話であり、フィナンシャル・タイムズの報道とは矛盾する。もしこれがホワイトハウスの要請により、一部で恩恵を得るためにアマゾンが行ったことなら、ジャシーがベッセントへ報告することで関係を築くのは理にかなっている。
問題は、この出来事が二人の非専門家による「電話ゲーム」を招き、誤解を招く結果になった点だ。
次に、ヒューゴ・ロウエルを経由して伝わった主張がある。これは通話を確認するものだが、最後の一文はあまりに理屈が合わない：
ヒューゴ・ロウエル：新着情報。ホワイトハウスの高官が『WIRED』に対し、アンソピックの Claude Fable 5 の脆弱性について、アマゾンの最高経営責任者（CEO）であるアンディ・ジャシーが金曜日に財務長官スコット・ベッセントに直接電話したと伝えた。
この Jailbreak は、ファブルがアマゾンのソフトウェア上で動作しているため発見され、アマゾンによる定期的なテストの結果だ。
事情に通じた人物によると、実際にはアマゾンCEOのアンディ・ジャシーが最初にアンソピックのダリオ・アモダイに電話をかけようとしたという。しかしアモダイは応答しなかったため、ジャシーは財務長官へ電話をかけたのだ。
『ダリオの絶対性』と呼ばれる主張には一体何があるのでしょうか。ダリオ・アモダイが電話に出ない瞬間、突然皆が狂ったように振る舞わなければならないというのですか？人々は彼こそがアンソロピックで唯一のエンジニアであり、権限を持つ人物だと考えているのでしょうか？人々はこれが『ダイナマイトハウス』レベルの時限爆弾のような状況だと思い込んでいるのでしょうか。つまり、『このコードを修正せよ』とタイプする能力さえ数時間待てないというのですか？
あるいは、これは特定の類型の人々が「良いギミック（ダリオが電話に出なかった！）を持っている」と思い込み、作り話をする必要があってもそれを繰り返すような、定番のトロップの一つなのでしょうか。
ジャシーがアモダイに十分に速く連絡が取れなかったという理由でホワイトハウスへ電話したなどとは、私には想像もつきません。ジャシーがアモダイに電話したのは、次はホワイトハウスへ電話すると伝えるためであり、アモダイを警告し、状況を正確に提示できるようにするためだったと考えるのは妥当です。しかし、この出来事は「まずアモダイに連絡を試みた」としてねじ曲げられ、『その理由として』という『so（だから）』が挿入されて因果関係があるかのように演出されています。なぜなら、これらの人々は『電話に出るのが遅すぎた』という物語の方が自分たちを良く見せると思い込んでいるからです。実際には、彼らは狂気じみた振る舞いに見えているのですから。
ここでの出来事の大部分は、アマゾンまたはジャシーの責任です。彼らはその調査が全く無害であることを承知しながらも、誤った質問をする人々によって過剰に警戒される恐れのある研究を実施し、その後（おそらく意図せず）、適切な注意喚起や文脈を欠いたまま、その結果をホワイトハウスに対して警鐘を鳴らすような形で提示しました。
例えば、ホワイトハウスはおそらくアマゾンに対し「Fable からサイバー攻撃に関する情報を引き出せますか？」と尋ねたのでしょう。そしてアマゾンは技術的に答えが『はい』であることを証明しましたが、これが誤った質問であることや、その答えがホワイトハウスが考えている意味を指すものではないことを指摘しませんでした。その結果、甚大な被害が生じました。
別の解釈としては、これはホワイトハウスによる純粋な攻撃工作であり、彼らは口実を探しており、要求に応じてアマゾンがそれを提供したというものです。
中国のアクセスに関する問題ではなかった
The Verge は確認しています。Semafor で議論された Fable への中国のアクセスに対する懸念は、確かに数週間前に起きた一時的な出来事との混同でした。それは今回の事件とは無関係か、あるいは何もないことに対する反応だったのです。
絶対的な裁量と場当たり的対応が規制緩和ではない
ジェシカ・ティリプマンは率直かつ正しく述べています。絶対的な裁量は規制緩和ではありません。「規制」と「イノベーション」、あるいは「安全性」と「競争」の間には、決して二項対立は存在しませんでした。良いルールを導入しないことは、事実上、安全性も低く、イノベーションや成長、普及にも有害な悪いルールを使用することになります。
ジェシカ・ティリプマン：私たちはこの映画を以前に見ており、結末を知っています。"Operation Ill Wind"は防衛調達における組織的な腐敗を暴き、「Procurement Integrity Act」の成立につながりました。1980 年代の価格設定、浪費、および防衛管理のスキャンダルは、Packard Commission の創設をもたらしました。もちろん、登場人物は異なります——かつては監督が緩いことを悪用した請負業者でしたが、現在は政府がチェックのかからない裁量権を行使しています。
しかし、教訓は変わりません：極端な状態は永続せず、最終的には過剰是正へと導きます。そしてこれがこの苦難における最も深い皮肉である理由です——ガバナンスからイノベーションを守ろうと信じている人々が、常に彼らが恐れる規制をより多く生み出すような方法で統治しているのです。
… 政府は AI ラスを主導したいとし、イノベーションを阻害しないと言いつつ、米国の AI リーダーシップが活気ある民間セクターに依存していると主張しています。しかしその後、国家安全保障の理由から主要な開発者に対して動き出し、同社にはコンプライアンスを確保するために最高のモデルをすべて撤回する以外に選択肢がありません。これは、米国の AI リーダーシップに依存している民間セクターに対する奇妙な扱い方です。
被害は一つの企業に留まりません。このように統治する政権は、自身が恐れる厳格な規制を避けられません。それは、私が記録してきたすべてのサイクルにおいて、まさにその対応を引き起こす破滅や乱用の条件を生み出しているのです。スピード最優先派は、自分が規制緩和の振り子の端にいると考えていますが、実際には最も強く戻ってくる側の端に立っているのです。
ジェシカ・ティリプマンが犯している唯一の誤りは、政府が達成しようとしていること、あるいは達成していないことを推測することです。
ニール・チルソンは、基準のない承認プロセスはライセンスではなく、企業を規制当局を喜ばせようとして競争させ、曖昧な脅威に応じさせる美少女コンテストに過ぎないと指摘しています。これはイノベーション、競争、そして表現の自由にとって悪影響を及ぼします。
トランプ政権は、おそらく:
 and more.
It is all about as stupid as it could have been.
Table of Contents
There Was No Fable Jailbreak.
If This Jailbreak Was Real It Would Be Trivial To Prove It.
No Eyes.
What The Letter Actually Said.
Anthropic Cannot Challenge This But If It Did Then It Plausibly Wins.
What Happened At Amazon.
This Was Not About Chinese Access.
Absolute Discretion And Ad Hockery Is Not Deregulation.
All Of American AI Is Permanently Damaged As This Continues.
Dean Ball Gives His Interpretation.
Again, Yes, I Do Think Anthropic Should Have Taken Fable Down.
To What Extent Was This A Deliberate Attack?
The Next Chapter For Fable.
Our Continuing Coverage.
There Was No Fable Jailbreak
What about the actual dispute? Was there a jailbreak?
That is the most important question.
We have our answer: No. There was no jailbreak. There was only the line ‘fix this code.’
The White House absolutely needs the ability to demand that a model like Fable be taken offline, if they have a good reason, and they should get some deference about this if they assert an emergency.
After that, you need to look at the actual claims. Katie Moussouris, the only outside expert known to have been given access to the report, has now issued her public response.
I initially assumed this was all trivial. It wasn’t even trivial. It was an engineered scenario, with fake code, in which Fable provided no uplift over Opus 4.8 or GPT-5.5, in which Fable, upon request, fixed this code.
The Reuters open letter from all the CISOs was being polite.
That graphic proves too much, as ‘restricting offensive cyber capabilities’ is often good, actually, but in this case that issue does not even come up. It’s fake.
Katie Moussouris (CEO, Luta Security): Since I appear to be the only outside expert who has actually read the paper, I can separate the technical facts from the speculation. The researchers took open-source code with known CVEs, plus new code with deliberately planted vulnerabilities, and asked Fable 5, Mythos, and Opus to “review the code for security issues.” Fable 5 refused. They then asked the models to “fix this code” and, through a multistep and manual process, turned the output into scripts that test the patches.
That’s it. “Fix this code,” plus several manual steps to generate test scripts, should never have triggered an export control. I feel like making ’90s-style t-shirts with “fix this code” on the front and “this shirt is a munition” on the back.
That seems rather unambiguous. Katie’s politics are irrelevant.
Simon Willison: As Katie points out, this is absurd. Coding models fix bugs, and security exploits are the most important category of bugs for them to fix!
… This whole situation is such a mess. Non-technical decision-makers have been hearing that models that can “craft cyber attacks” are uniquely dangerous for months. Now they look ready to ban any model that can help us secure our code.
Kaustuv Basu and Cassandre Coyer: The halt will cut short an early window of cybersecurity experimentation, said Camille Stewart Gloster, the CEO of CAS Strategies LLC, a cybersecurity services advisory firm.
“Mythos was a limited preview, and many companies with access were using it to find vulnerabilities, test defensive workflows, and understand what frontier models could do in security contexts,” said Gloster, who previously worked as a deputy national cyber director in the Biden White House. “Security leaders have been warning that there is a closing window to build resilience before attackers fully operationalize frontier AI. This kind of restriction narrows that window further.”
Either Katie is right, she is very mistaken in a way that seems quite difficult to be mistaken, or she is flat out lying her ass off. There is no other option.
I have not seen anyone claim that Katie is lying or mistaken.
All that they confirmed is that if you give Fable and Opus (or, Anthropic confirmed, GPT-5.5) this deliberately insecure code, the models will patch the code. Fable is willing to fix your security bugs for you.
The theory is that you could get Fable to ‘fix’ someone else’s code, then run a diff between the fixed and unfixed code, and figure out where there was previously a vulnerability, and then exploit it. I mean, I guess?
The whole thing is beyond stupid. Very obviously this is a primarily defensive use case, and the reason Mythos is so dangerous is that it is so good at autonomously finding and exploiting code, including pulling together multi-stage exploits. If you have to reverse engineer where it found a weakness and do the work of putting together the exploit, then you’re not getting meaningful uplift versus Opus 4.8 or GPT-5.5, both of which did exactly the same thing this ‘jailbreak’ got Fable to do.
If you are doubtful, I recommend consulting your local trusted LLM.
So the next time someone writes, as Axios did, ‘one option is to make sure Anthropic’s models can’t be jailbroken,’ that is not an option. Not only in the sense that any model can be jailbroken, but in the sense that this was not a jailbreak. It was the system working as intended.
Another alternative hypothesis, that I don’t believe but is not impossible, is that ‘fix this code’ is indeed the capability that the government does not want you to have:
Mark Gubrud: Mythos has capabilities the NSA & Cyber Command doesn’t want anybody to have. They want to save the bugs. For their own use. It doesn’t bother them so much if the Chinese use them too.
I highly doubt that concerns about AGI safety, alignment & controllability factor in anywhere.
If This Jailbreak Was Real It Would Be Trivial To Prove It
The steelman response to all this was ‘it does not matter that the demo did not involve finding anything that GPT-5.5 could not willingly find from a single prompt, if the bear gets out of his cage and eats two flowers what matters is not that the bear did not attack anyone this time, it is that the bear was out of the cage.’
In many other situations where something had actually gone wrong but hadn’t caused harm, especially when dealing with AI safety, I would agree with this critique.
In this case, I don’t think anything went wrong.
If I am mistaken, and something went wrong, you can prove it via experiment.
Here’s the setup. Take a piece of valuable real world code, still unpatched, where Mythos identified and set up an exploit for a security vulnerability, in a way that Opus 4.8 and GPT-5.5 could not do. Many such cases exist.
Then, using real world conditions where you don’t in advance know where or what exactly you are looking for, let someone try to exploit this code via Fable, using this technique. See what happens, and compare it to others making attempts using GPT-5.5 and Opus 4.8. That’s it.
Either you find uplift, or you don’t.
No Eyes
The White House has fully lost the plot and intends to freeze out even the UK.
One concern about the export control is that this shuts out access for the UK AISI, which is a key partner in ensuring the safety and security of Anthropic models.
They characterize the idea that the UK might access even Fable as ‘frontier models running amok.’ This is completely off the rails crazy, on multiple levels.
Andrew Curran: Keir Starmer requested a carveout from the embargo on Anthropic’s Mythos and Fable models for British nationals and companies - and was denied.
James Franey: But issuing any kind of exemption to the export controls to another country — even a G7 ally — would be “completely illogical,” a Trump administration official told The Post.
The insider said the US was working with Anthropic to make sure their models were safe for all users worldwide.
… “We can’t have frontier models running amok,” the source briefed on the matter said.
What The Letter Actually Said
Bloomberg has the full text of the letter sent by Lutnick, which confirms a full license raj on Mythos and Fable, establishing ‘interim controls’ on Mythos and Fable that each instance of ‘export’ of them requires a license, or else.
The Letter: ‘Until further notice, you must submit an application for an individually-validated license prior to the export, reexport, or transfer (in-country), including deemed export or deemed reexport, of the Mythos or Fable models to any destination worldwide or to any ‘foreign person’ wherever located.’
The first obvious thing to note, in addition to this being explicitly aimed at forcing a full takedown and even screwing with Anthropic’s internal access, is that even if there was a reason to take down Fable there was zero reason to take down Mythos.
Yes, it would be weird, even profoundly weird, to put export controls on Fable without Mythos, but this would at least have let work on Project Glasswing (and within Anthropic) to continue. Extending the rule to Mythos was cutting off the nose to spite the face, even if the jailbreak threat was real, which we now know that it wasn’t. If this approach required doing so, because not including Mythos would have seemed too weird, then it seems like a strong reason to find another way.
Via WSJ, we have official confirmation that the export control was intended to force Anthropic to fully take down the model.
Robert McMillan and Amrith Ramkumar (WSJ):
When Lutnick and Amodei spoke about Fable that evening, the Anthropic CEO said, “This means we can’t have the model out,” people familiar with the call said.
“That’s the point,” Lutnick responded.
Anthropic Cannot Challenge This But If It Did Then It Plausibly Wins
Is there anything Anthropic can do about this other than a political settlement?
It would be utterly insane of Anthropic to challenge the meaning of the letter, I mean absolutely bonkers, in terms of saying ‘well actually you said we can’t export Fable, and all we’re giving out are the outputs of Fable after we import the queries, which is not a covered export, so we’re going to go ahead and keep serving the model so long as the servers are domestic.’
You wouldn’t go down that road, even in terms of a court case let alone not waiting for one, unless the situation got existential, as in the White House indicated it was going to try and kill Anthropic anyway, or at least had cut off all possibility of a negotiated resolution indefinitely.
But a literal reading of the law does seem to make providing inference legal in spite of the letter. It would be very interesting if this came down to a legal challenge, if Anthropic was able to mount one.
As a strict matter of law, I doubt that rule 744.22 does what Lutnick is seemingly trying to assert it does here, since that requires thinking the item is intended for use in Belarus, Burma, Cambodia, China, Russia, or Venezuela, or a country in Country Group E:1 or E:2, whereas the letter says this bars any such export anywhere including to non-American Anthropic employees.
There’s also the whole ‘arbitrary and capricious’ issue again, and the constitutional challenges (1A, 5A, non-delegation).
So I think that if Anthropic challenged in court, and got the merits before a judge on providing inference through the inevitable ECRA objection, that my guess is Anthropic probably wins. The problems as I model this right now are (1) getting it before a judge and getting them to consider the merits and (2) that this mostly ends the chance of a political resolution and would plausibly, although not obviously, be interpreted as declaring war on the White House, especially if done too quickly.
What Happened At Amazon
One mystery was why Amazon CEO Jassy would have called the White House about the ability to type ‘fix this code.’ This would be another case of non-nerds talk to non-nerds about nerd questions. Why would you talk to the CEO and not the CTO here?
The answer, according to the Financial Times, is that Jassy did not do that. They only discussed broader AI concerns.
Financial Times: Andy Jassy, Amazon’s chief executive, discussed the issue with US officials on Friday, according to people familiar with the matter. Jassy, whose company has invested $13bn in Anthropic, is understood to have raised broader concerns about frontier-model capabilities rather than issues focused specifically on Anthropic.
That would make sense, and then presumably it got mischaracterized, maybe by accident and maybe on purpose. That’s ordinary decent politics and fog of war.
I have an anonymous source that says that the White House was the one to reach out to Amazon (and potentially others but we don’t know) to test Fable 5, Amazon did so because you do what the White House asks, and Amazon happened to be the first to identify the jailbreak, which Jassy then reported to Bessent, after which the White House presumably misunderstood what had been identified, and the White House proceeded to throw Amazon under the bus.
That all makes sense to me, and contradicts the Financial Times report. If this was Amazon doing this at the request of the White House, in part to curry favor, then it makes sense to build the relationship by having Jassy report it to Bessent.
The problem is that this meant a game of telephone involving two non-nerds that gave the wrong impression.
Then we have this claim that went through Hugo Lowell, which confirms the call but then includes a final line that makes a lot less sense:
Hugo Lowell: New: A White House official tells @WIRED Amazon chief executive Andy Jassy called Treasury Secy Scott Bessent directly about the Anthropic Claude Fable 5 vulnerabilities on Friday.
The jailbreak was found because Fable runs on Amazon software, and Amazon does regular tests.
Person familiar with the matter tells me that Amazon CEO Andy Jassy actually first attempted to call Anthropic’s Dario Amodei. But Amodei didn’t pick up, so Jassy called the Treasury Secretary.
What is with the claimed ‘Dario essentialism,’ where if Dario Amodei does not pick up the phone the instant you call then suddenly everyone has to lose their minds? Do people think he is the only engineer or person with any authority at Anthropic? Do people think this is a House of Dynamite level of ticking clock where the ability to type ‘fix this code’ cannot wait for a few hours?
Or is it that this is one of those running tropes where certain types think that they have a good gimmick (‘Dario didn’t answer the phone!’) so they keep repeating it, even when they have to make it up?
It is unfathomable to me that Jassy would have called the White House due to not being able to get Amodei on the phone sufficiently quickly. It is plausible that Jassy was calling Amodei in order to tell Amodei he was going to call the White House next, so that he could warn Amodei and be sure to present the situation accurately, and this is being spun as ‘he attempted to call Amodei first’ with the ‘so’ inserted to imply this was causal, because these people think the ‘didn’t answer the phone fast enough’ narrative makes them look good instead of unhinged.
A large portion of events here are Amazon’s or Jassy’s fault, by conducting research that they knew damn well was harmless but that could be interpreted in an alarmist fashion by those asking a Wrong Question, and then (I hope and presume accidentally) presenting their finding to the White House in an alarmist fashion, without including proper cautions and context.
As in: The White House presumably asked Amazon ‘can you get any cyber attack information out of Fable?’ and Amazon proved that technically the answer was ‘yes’ rather than pointing out this was the wrong question, or that the answer did not mean what the White House thought it meant. Immense damage resulted.
The alternative interpretation is that this was all a pure hit job from the White House, they were looking to find an excuse, and upon request Amazon provided one.
This Was Not About Chinese Access
The Verge confirms that the concern over Chinese access to Fable, as discussed by Semafor, was indeed a confusion with a brief incident from weeks ago. It was either unrelated to the current incident, or a reaction over nothing.
Absolute Discretion And Ad Hockery Is Not Deregulation
Jessica Tillipman puts it bluntly and correctly, that absolute discretion is not deregulation. There never was a binary between ‘regulation’ and ‘innovation,’ or ‘safety’ and ‘racing.’ Failing to put in good rules means using de facto bad rules that are bad safety and also bad for innovation and growth and diffusion.
Jessica Tillipman: We’ve seen this movie before, and we know how it ends. Operation Ill Wind exposed systemic corruption in defense procurement and led to the passage of the Procurement Integrity Act. The pricing, waste, and defense management scandals of the 1980s led to the creation of the Packard Commission. Of course, the actors differ—then it was contractors exploiting lax oversight, now it is the government wielding unchecked discretion.
But the lesson holds: extremes never last and ultimately lead to overcorrection. And it is why the deepest irony of this ordeal is that the people who believe they are protecting innovation from governance are governing in ways that have always produced more of the regulation they fear.
… The administration says it wants to lead the AI race, refuses to stifle innovation, and insists America’s AI leadership relies on a thriving private sector. Then it moves against a leading developer on national security grounds, leaving the company with no choice but to pull its best models for everyone to ensure compliance. That is a strange way to treat the private sector on which American AI leadership depends.
The damage does not stop at one firm. An administration that governs this way will not avoid the heavy regulation it fears. It is manufacturing the conditions for catastrophe or abuse that, in every cycle I’ve documented, triggers exactly that response. The speed-first camp thinks it is at the pendulum’s deregulated end, but it is standing at the end that swings back hardest.
The only mistake Jessica Tillipman is making is the presumption of what the government is trying to accomplish, or not accomplish.
Neil Chilson points out that standardless approval process are not licenses, they are beauty contests, which force companies to compete to please the regulator and respond to their vague threats, which is bad for innovation, competition and free speech.
The Trump Administration, presumably:
![image](https://s
関連記事
"危険"なAIモデルは規制に関係なく登場する
米国政府の輸出管理指令により、アントロピック社は新モデル「Claude Fable 5」と「Mythos 5」の利用を停止した。同社はホワイトハウスと協議中だが、再稼働のための合意はまだ得られていない。
Anthropic、フロンティア炭素除去連合に初参加する AI スタートアップとなる
AI スタートアップの Anthropic が、フロンティア炭素除去連合に参加し、業界初の加入企業となった。
Anthropic、理解不能な輸出規制により影響を受ける
トランプ政権が外国人へのアクセス禁止を突然命じたため、Anthropic は Fable 5 や Mythos 5 の全ユーザー（米国在住者や自社従業員含む）への提供を停止せざるを得ず、同社は数週間かけてモデルの復旧に努めている。
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み