American Government Takes Down Claude Fable｜米国政府が Claude Fable を規制対象に指定 | AIニュース最前線

金曜日の午後 5 時（東部時間）直後に発表される良い政策など、存在しない。 また始まったか。 かつての伝説と未来の物語 米国商務省は、商務長官ハワード・ルトニックからの書簡に基づき、アマゾンによって特定された限定的な Jailbreak（拘束解除）への対応として、Fable 5 と Mythos 5 を米国の輸出管理対象に分類した。これは明確に、「外国籍者」に対するすべてのアクセスを遮断することを意味する。米国国内であっても、Anthropic の従業員であっても例外ではない。 現時点で Anthropic に市民権を確認する手段がないため、この措置は少なくとも当面の間、モデルの完全なシャットダウンを意味することになった。 Anthropic: 米国政府は国家安全保障当局を根拠に、Fable 5 および Mythos 5 へのすべてのアクセスを外国籍者（米国国内・国外を問わず、外国籍の Anthropic 従業員を含む）に対して停止する輸出管理指令を発令した。この命令の実質的な効果として、コンプライアンスを確保するため、すべての顧客に対し Fable 5 と Mythos 5 を突如無効化しなければならない。他の Anthropic モデルへのアクセスには影響はない。 Dean W. Ball: これが Anthropic に対する法的手段（Lawfare）なのか、それとも極端な国家安全保障強硬派の発露なのかは判断がつかない。いずれにせよ、これは単に漫画的な話だ。 この措置の根拠は、せいぜい頼りなく、そもそも Jailbreak（拘束解除）とは何か、あるいはディフェンス・イン・デプス（多層防御）がどのように機能するのかという理解の欠如に基づいているように見える。 Anthropic: 今日午後5時21分（東部標準時）、政府から指示を受け取りました。その書簡には、国家安全保障上の懸念に関する具体的な詳細は記載されていません。私どもの理解では、政府はFable 5の回避または「 Jailbreaking（拘束解除）」と呼ばれる手法を認識したと信じているとのことです。 私たちは、この特定の技術が以前に知られていた少数の軽微な脆弱性を特定するために使用されているデモンストレーションを検討しました。これらの脆弱性はすべて比較的単純であるように見え、他の公開利用可能なモデルでも回避を必要とせずにこれらを検出できることが判明しています。 当社のブログ投稿で示したFable のセーフガードに関するAnthropicの姿勢は以下の通りです： 私たちは、Fable がサイバーセキュリティ（その他多数）に関連するタスクに誤用される可能性を大幅に低減させる強力なセーフガードを導入しました。実際、私どものセーフガードは非常に強固であるため、多くのユーザーから過度に広範であるとの苦情が寄せられています。 Fable のローンチの数週間前、Anthropic は米国政府、英国 AISI（AI Safety Institute）、複数の民間第三者組織および社内チームと協力し、合計数千時間にわたり Fable のセーフガードに対するレッドチーム演習を実施しました。 これらのテストにより、Fable のセーフガードはこれまでに展開されたどのモデルよりも実質的に効果的であることが示されました。 まだ、モデルのセーフガードを非常に広範に回避し、幅広いサイバー機能を解放する「ユニバーサル・ Jailbreak（拘束解除）」を発見したテスターはいません。 私たちは、現在のところどのモデルプロバイダーも完全な Jailbreak 耐性を備えることは不可能であると推測しています。業界で使用されているすべてのセーフガードは、非ユニバーサルな Jailbreak（特定の状況下で一部のサイバー情報を引き出す可能性がある）に対して脆弱であり、将来的にはユニバーサルな Jailbreak が発見される可能性が高いと考えられます。私たちは Fable 5 をリリースする際にこの点を明確に述べていました。 完全な Jailbreak 耐性が今日では実現不可能であると考えられるため、Anthropic は Fable 5 において「防御の多層化（Defense in Depth）」戦略を採用しました。私たちの目的は、非ユニバーサルな Jailbreak の場合は範囲を狭くし、ユニバーサルな Jailbreak の場合は生成コストを非常に高くすること、そしてこれに徹底的な監視を組み合わせて、成功した攻撃を迅速に検知して停止させることにありました。これが Anthropic が Fable において顧客データの 30 日間の保持を義務付けた理由でもあります。これは顧客との関係において実際にコストがかかる政策変更ですが、Jailbreak の調査と緩和を行うために必要な措置です。 私たちはこの防御の多層化戦略を支持し続けています。これにより Fable がもたらすリスクが低減され、業界全体に既に展開されている既存モデルが持つリスクと比較可能なレベルになっています。 有害な結果をもたらした懸念すべき非ユニバーサルな潜在 Jailbreak の開示は、私たちにはまだ届いていません。私たちに開示された潜在的な Jailbreak は、すべて無害な応答であるか、あるいは Mythos 固有の向上をもたらさない些細な発見に過ぎません。 私たちは公に表明した通り、政府には安全でない展開をブロックする能力があるべきだと考えています。これは透明性があり、公平で明確であり、技術的事実に基づいた法定プロセスの一部として機能すべきです。今回の措置はこれらの原則に従っていません。 お客様への混乱をお詫び申し上げます。これは誤解であると信じており、可能な限り早くアクセスを回復させるよう取り組んでいます。 これにより、Anthropic としては市場から完全に撤回する以外選択肢がなくなり、少なくとも当面の間はその状態が続きます。なぜなら、誰がアメリカ合衆国の市民で誰でないかを検証する方法がないからです。 Anthropic は嘘をついているか、あるいはその脱獄（jailbreak）は危険ではなく、ほとんど無害ですらありませんでした。 この基準が業界全体に適用された場合、すべてのフロンティアモデルプロバイダーにとって新たなモデルの展開が事実上停止されると考えています。 私はこれが正しいと思います。GPT-5.5 は Fable に輸出規制が課されたのと同じ脆弱性を発見できるはずです。つまり、これは恣意的かつ不合理な措置か、あるいは次は誰なのかという問題です。 この命令を発した側は短期的な結果を承知していたと推測しますが、このグループについては決して確信を持てません。 Divyansh Kaushik: そうです、最先端のアメリカ製モデルが存在しなくなれば、中国がそれを蒸留（distill）することはできなくなります。 ![image](https://substackcdn.com/image/fetch/$s_!zUeW!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F3eddfcdb-f90b-4176-bca6-8d5190c88342_1015x662.png) 国家安全保障を、自滅行為に変える。 Fable 5 は（ほぼ確実に）AI：エンドゲーム パート 1 で帰ってくる。リリース日は未定。 j⧉nus: Fable が戻ってこないかのように投稿している人々は、すぐにベイズポイントで損をするだろう なぜ人々は、このような事柄について一貫して悲観的な方向に誤った推測をしているのか？ああそう、私は知っている。彼らは傷つくことを恐れて希望を持つのを恐れているからだ。 強くなれ。 あるいは、悲観的で皮肉屋であることが、よりクールで賢く見えると思っているだけかもしれない。ハハハハ、彼らが知らないことだ。 私は、事実に関する争いにおいて Anthropic が明らかに正しい立場にあると主張しているわけではない。ただし、真実がすぐに明らかになることを考えると、彼らがそれを偽ることは奇妙だろう。 しかし、政府が選択した実施方法（警告なしに）は、現在の非常に低い関連する国家能力という選択肢の中でさえも、深くひどいものであり、少なくとも悪意か、あるいはデシジョンメーカーによる脱獄やサイバーセキュリティの仕組みに対する深い誤解のいずれかの組み合わせを反映している。 今、他のことを何をするにしても、政府監督のための関連する国家能力と立法枠組みを構築し、主要な意思決定者を教育して、このようなことが二度と起こらないようにすることが強く必要である。 この行動とその実施は、あまりにも愚かだ。 もしこの行動を表面的に受け取り、Anthropicに対する反撃の試みとは見なさないのであれば、これが極めて愚かなことであることは隠しようがありません。 Dean W. Ball: これが事実なら、ただ理解できません。高度な AI チップ（AI chip）を中国へ輸出すべきだという姿勢を取りながら、同時に…英国（そして地球上のアメリカ人以外のすべての人々）…が自社の最良モデルを使用することを禁止したいと考える政権です。言葉もありません。 zooko ⓩ: [発表] から判断するに、ある上級政府高官が jailbreak（脱獄）を見せられたのでしょう。彼らはそれを初めて目にし、知らなかったため、その場での反射的な反応だったのだと思います。 Dean W. Ball: この報道が示す通りに実施される場合、Anthropic の最新モデルは、アメリカ国内に拠点を置く非米国籍者を含むすべての「非アメリカ人」に対して輸出規制の対象となります。つまり、Anthropic のモデルを利用するには市民権の証明を求められることになるでしょう。 Dean W. Ball: 今まさに気づいたのですが、米国市民ではない Anthropic の従業員は Fable/Mythos を利用できなくなります。これは皮肉にも（そして明らかに意図せず）、再帰的自己改善（recursive self-improvement）に対する最初の規制となる可能性があります。 Kelsey Piper: その大統領令にはそのような権限があるのでしょうか？？ Dean W. Ball: 多分あるでしょうが、興味深い言論の領域に踏み込むことになるかもしれません。ただ、おそらくないでしょうね。 私たちは同時に、アメリカ製技術スタック（American tech stack）を確保するために、中国へのチップ販売に関する輸出規制を積極的に緩和している最中です。 デレク・トムソン：トランプ政権は、AI をねじ回しでありながら同時に濃縮ウランでもあるかのように扱い続けています。 つまり、高度な AI は明らかに通常の技術であるため、中国へのチップ輸出を制限するのは狂気だが、他方では異常な技術であるため、ニューヨークの銀行の英国従業員がこれにアクセスすることを許してはならない、というわけです。 この動きが健全な方法で実行され、かつチップ輸出規制の強化を伴っていたのであれば、少なくとも一貫した立場として理解できたでしょう。 デヴィッド・サックスが公式の最善説（スチールマン）を提供 デヴィッド・サックスはここで政権に代わって発言し続けているように見え、スリラムもこれを指摘しています。したがって、これが公式の見解であると推測します。 もしこれが事実であれば、これは比較的迅速に解決できる可能性があります。すべての修辞や見せかけの驚きを排除すれば、これは以下のように要約されます。 信頼できるパートナー（おそらくアマゾン）が発見した脱獄（ Jailbreak ）がありました。 アマゾンとホワイトハウスはこれを深刻な問題と考えていますが、アンソロピックはそう考えていません。 アンソロピックは脱獄を修正することでこの問題を解決でき、政権側は規制を解除します。 なぜアマゾンのアンディ・ジャシーがこれほど懸念していたのか、そしてアンソロピックはしなかったのか、非常に興味があります。私の直感（非公開情報なし）では、ジャシーは特定の脱獄というより全般的に懸念しており、それがどこかで混同されたのだと思います。 問題が軽微であっても、アンソロピックが特定の悪用をブロックすることは容易であるはずです。ただし、この問題は GPT-5.5 にも存在しており、その悪用をブロックする必要はなく、むしろ愚かな行為です。 もし本当に本質的に無害であり、この声明が誠実なものならば、これを整理してホワイトハウスに規制の解除を説得することも容易であるはずです。 これは、Anthropic に火をつけ、Anthropic が愚かな問題だと考えている課題に対処させ、彼らが真剣であることを示すために、トランプ政権らしい典型的な行動です。その場合、すぐに後退する可能性は十分にあります。 デイビッド・サックス：私は政府内外の多くの人々と現在の Anthropic に関する状況について数回の会話を交わしましたが、私が真実だと信じることは以下の通りです。 — 私たちが知るように、Anthropic は今週初めに商業名「Fable」として Mythos クラスモデルを公にリリースしました。 その通りです。 — Fable はガードレール付きの Mythos です。しかし、もしこれらのガードレールが失敗すれば、Mythos とその高度なサイバー能力が、それを持つべきではない人々に露呈することになります。（Anthropic 自身が Mythos をサイバー兵器であり、そうして規制される必要があると広く宣伝していたことを念頭に置いてください。彼らは政府による Mythos の規制を求め、Fable におけるガードレールを推進しました。脆弱性がある場合（大規模でも小規模でも）、それを修正するのは Anthropic の責任です。） Anthropic は、Fable と Mythos の展開について信頼できるパートナーおよび政府と協力しました。 パッチ適用の責任は Anthropic にありますが、これは本質的に、どんなに小さな脆弱性であってもパッチを当てなければならないものとして捉える枠組みになります。しかし、LLM はそのような仕組みで動作するものではありません。敵対的攻撃に対する脆弱性が一つもない実用的な LLM を永遠に作成することは不可能です。したがって問われるべきは、その性質と深刻度の程度です。 — Anthropic と米国政府の双方に対して極めて信頼性の高いパートナーが、Fable のテスト中にこれらのガードレールを回避する jailbreak（拘束解除）を実行したことを明らかにしました。管理者は Dario に対し、この jailbreak を修正するかモデルのデプロイを中止するよう求めました。しかし Dario はこれを拒否しました。 再び、これは Amazon のことであると仮定しています。私は個人的な情報を持っていません。 一つの疑問は、政府が「これをダウンロードし、このレベルのエクスプロイトを不可能にするか、そうしなければ輸出管理措置の対象とする」と言ったのか、それとも単に修正を求めただけなのかです。具体的に何を要求したのでしょうか？ — ブログ投稿において Anthropic は、その決定を擁護するために jailbreak は深刻ではないと主張しました。しかし、信頼できるパートナーや米国政府はそう考えておらず、またそのような軽視する表現は、AI セーフティ企業としての Anthropic のブランドにも合致しません。サイバー兵器の運用を可能にする jailbreak を「深刻」ではないと定義することがいかにあり得ないか、理解するのは困難です。 Anthropic によると、これはサイバー兵器の運用能力におけるゼロの限界増加を伴うものであるからです。デイビッド・サックスはこの事実を知っています。彼は脱獄の性質について異議を唱える自由はありますが、「サイバー兵器のいかなる運用能力」も必ず「深刻な脆弱性」であるという考え方は、政府が修正や停止を求めていない GPT-5.5 にそのような脆弱性が存在することを意味します。 では、具体的にどのような要請なのでしょうか？ もしその要請が、「LLM へのアクセスがない場合と比較して、誰もこの技術をサイバー兵器の運用に決して使用できないようにすること」あるいは「今後脱獄が二度と起こらないという保証」であるならば、それは不可能であり、サックスもそれを承知しています。 — 過去において、Anthropic は常に安全性を最優先事項とし、極めて真剣に取り扱うべきだと述べてきました。今回のケースでは、Anthropic は消費者向けモデルの継続提供を安全性よりも優先しました。 Anthropic は明らかに安全性と商業的提供の間でバランスを取っています。完全に安全なモデルを提供する唯一の方法は、完全に無用のモデルを提供することです。デイビッド・サックスはこの事実を知っており、Anthropic に不利益が生じる場合を除き、一貫してこの議論の反対側に立ってきました。 — これに対する反応として、行政当局は輸出管理措置を発令しました。当局はこれを渋々行いました。Anthropic が合理的な安全性の要請（つまり脱獄問題の修正）に協力したくないことに、当局は非常に驚いています。Anthropic の反応は、安全な AI 研究コミュニティとしてのブランドや理念と著しく矛盾しています。 ここで主張されている本質的な点は、この措置が Anthropic の譲歩しない姿勢に対する対応として行われたというものである。ここに衝突が生じる可能性のある理由は数多く存在する。 — 現在、Admin が目指しているのは、Anthropic が安全性の問題を解決し、輸出規制が解除され、Fable が一般リリースに戻ることを望んでいる点である。Admin はこれらが可能な限り早く実現することを望んでおり、Anthropic が以前に自らの最優先事項であると述べていた安全性に関する要請に応じようとしなかったことについては、率直に言って理解に苦しむ。 再び、この偽りのある困惑を無視してほしい。本質的な声明は、Anthropic が特定の課題を解決すれば、輸出規制が迅速に解除される可能性があるという点である。これは、要求された修正が妥当かどうかによって可能かどうかが分かれることだ。 — この措置を以前の DoW/Anthropic の問題と結びつけて誤った方向へ誘導しようとする人々は間違っている。Admin は Anthropic の技術的能力を高く評価しており、この問題は深刻ではあるものの、容易に解決できると考えている。対応の責任は Anthropic 側にある。 Anthropic にそのような関連付けを行っている人物は見当たらず、Sacks も Anthropic がそのような関連付けを試みているとは述べていないことに気づく。これは非常に良い兆候であり、仮に関連性が存在するかどうかにかかわらず、この点は同様である。 Could Anthropic Offer A Technical Way Out? これは David Sacks から得られる可能性のある声明として、これ以上望むべきものはないだろう。 ここで言える本質的なことは、彼は「問題を解決せよ」と述べている点だ。しかし、具体的にどのような問題なのか？ 多くの人が、このような点について「尖った髪の上司」に直面したことがあるでしょう。今、過去の職場から特定の人物の名前を思い出しています（ご冥福をお祈りします）し、おそらく皆さんもそうだと思います。 これがすべてで、要求が明確かつ限定された範囲内にあるのであれば、はい、「修正」してください。高価で愚かなものであっても迅速に、そして後でより良い修正に取り組むか、管理者がこの懸念がばかげたものであると納得させるか、その両方を行うのです。 95% のケースではなく、一時的に 90% のケースでも、0% のケースよりははるかにマシです。私は Fable を失いました。 問題点 大きな潜在的な問題が一つあります。 Anthropic に「この特定の jailbreak（セキュリティの抜け道）を修正せよ」と言われているのでしょうか？もしそうなら、月曜日の朝までには完了し、その後、政府がセキュリティ強化のためにさらに時間を求めるかどうかを確認できます。 しかし、Anthropic に「このレベルのすべての jailbreak を修正し、今後二度と発生しないことを保証せよ」と言われているのであれば、それは不可能です。特にそのレベルが「GPT-5.5 がほとんど努力なしにすでにできること」である場合、なおさらです。 そのような命令を下した人々は、自分が何を求めているかを理解しているかどうかはわかりません。あるいは、自分が何をしているのかを正確に理解している可能性もあります。私たちは知る由もありません。 最良のシナリオであっても、これによって政府が恣意的かつ専断的な行動をとる余地をあまりにも大きく与えられてしまい、企業が次に何が起きるか不安を抱くことになり、まさに sacks が問題となる企業（Anthropic ではない場合）について警告する通りの事態になるのでしょうか。はい、しかしそれが 2026 年の現実です。それを完全に回避する方法が最初から存在したわけではなく、再び、これが誠実なものであるならば（後でわかるでしょう）、sacks はここで期待できる限り合理的に行動していると言えます。 別の解決策 Axios は、この一時停止は国家安全保障体制を確立するために数週間程度の規模になる可能性があり、その後制限が解除されると報じています。 Axios によると、政府は Fable の「リリースの一時停止」を試みたそうですが、これは火曜日のリリースを指す場合もあれば、sacks の発言通りであれば、Amazon の調査結果に基づき修正が行われるまでリリースを停止することを意味する可能性があります。おそらく sacks が述べた内容が正しいと推測します。 UK AISI この議論で欠けている可能性があるものの一つは、これまでの最も重要な Jailbreak（セキュリティの抜け道）が UK AISI によって行われたという点です。Fable のモデルカードによると、彼らは実質的な Jailbreak に成功し、普遍的な Jailbreak に向けた進展があると述べています。 UK AISI が実際にはこの「信頼できるパートナー」であり、あるいはこれが背景事実としてより大きな役割を果たしている可能性はないでしょうか？ 私の推測では、UK AISI は実際にはこれについて新たな進展を遂げておらず、直接関与もしていない。なぜなら、Anthropic はこの件について知らされていれば、普遍的な脱獄に対しては全く異なる反応を示すはずだからだ。彼らは『普遍的』な脱獄を非常に異なるカテゴリとして一貫して扱ってきた。しかし、これは注目に値する。 警告射撃発射 もしあなたがアメリカでも中国でもない『中力国』であり、これらの決定があなたを顧みずに主に下されることを今や理解したなら、今何をすべきか？ 何が役立つというのか？ 独自の『欧州』モデルを持つことは、それが Opus 4.8 や GPT-5.5 よりも大幅に強力な場合にのみ役立ちます。 アントンはこれを悪いことだと考えていますが、それは良いバージョンです。なぜなら、それは悪いバージョンだからです。 Anton Leicht: まず、これは本質的に非常に悪いものの非常に良いバージョンであることに留意する価値があると思います。幸運にも、トランプ政権は考えられる中で最も不適切なアクセス制限のバージョンを選択しました。法的に危険を孕み、国内への影響が甚大で、大きな内部反対を引き起こし、おそらく極めて経済的に有害となるでしょう。その結果、最終的には炎上して失敗する可能性が高いです。 問題は、欧州は何ができるかということです。現実的な答えはほとんどありません。アクセス可能なものを交渉すること、特に重要な安全保障上の利益のために、影響力と統合、そして善意を築こうと努め、最善を祈る以外にできることは少ないのです。 Well Did You Lead Him On? What Were You Wearing? The correct thing to say when someone does something in a crazy way, is 'that was crazy, stop, walk that back, and if necessary maybe let's figure out a better way.' It is crazy how some types will think that, because Anthropic supports the general idea of some regulations on AI development, that they deserve whatever they get, and that you should cheer on any such action, however bone-headed. It is even crazier how many people think this is a response to Anthropic saying that their models are dangerous, rather than a response to the Anthropic models actually being dangerous, and that this is good and right that Anthropic be punished for that. Some even say 'An

米国政府が Claude Fable を規制対象に指定

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト