AI が危険と判断される基準を誰が決定するのか？
トランプ政権による新モデル「Fable 5」への輸出規制が、Anthropicの即時オフライン措置を招き、AI開発と国家セキュリティの境界線における新たな対立構造が浮き彫りとなった。
キーポイント
政府による緊急輸出規制の実施
トランプ政権は、Anthropic が公開したばかりの新モデル「Fable 5」およびその基盤となる「Mythos」に対し、外国人（米国内で働く者を含む）へのアクセスを禁止する輸出管理措置を即座に発令した。
企業のコンプライアンス対応とサービス停止
規制の厳格な履行が困難と判断した Anthropic は、規制違反を防ぐため、Fable および Mythos の全ユーザー向けサービスを即時オフラインとし、アクセスを完全に遮断する措置をとった。
AI 開発と国家セキュリティの摩擦
発表から数日という短期間での規制発動は、技術革新のスピードと政府による安全保障管理の間にある深刻な調整難易度を示しており、業界全体で混乱が広がっている。
影響分析・編集コメントを表示
影響分析
この出来事は、AI モデルの開発・公開プロセスに対する政府の介入権限が以前よりも強まり、企業側の自律的なリスク管理が困難になる新たな局面に入ったことを示しています。特に「米国内での外国人アクセス制限」は、グローバルな研究開発体制や人材流動性に長期的な影響を与える可能性があり、業界全体でコンプライアンス戦略の見直しが迫られることになります。
編集コメント
AI モデルの公開と政府規制が数日で衝突する事態は、業界にとって極めて重要な転換点です。技術的な安全性よりも政治的・法的な制約が優先されるケースが増える中、開発企業にはより厳格な事前シミュレーションとコンプライアンス体制が求められています。
今日の『Decoder』のエピソードでは、ゲストに『The Verge』のシニア AI レポーターであるヘイデン・フィールドさんをお迎えします。ヘイデンさんがこの番組に登場するのは、往々にして AI の世界で何かがうまくいっていない時です。先週末はそのような出来事として、Anthropic とトランプ政権、そして Anthropic の新しい AI モデル「Fable 5」が混在した非常に深刻な状況がありました。
金曜日には、Anthropic が Fable を一般公開してからわずか 1 週間未満の時点で、米国政府は新モデルに対して輸出規制を課すと発表しました。これは Fable の基盤となっている背後にある Mythos モデルにも適用されるものでした。これらの規制により、外国籍の個人、アメリカ国内で Anthropic に勤務している者さえもが、これらのモデルにアクセスできなくなりました。Anthropic はその後、同社がアクセス制限を適切に行い、命令に合理的に従うことができない恐れがあるとして、Fable と Mythos をすべてのユーザーに対してオフライン化しました。
ご想像の通り、これはすべて大混乱です。ヘイデンさんは実際、先週金曜日に何が起きたのか、そして両者が何が起こったのか、どう解決できるかを理解しようと週末を通じて駆け回った様子について、『The Verge』で素晴らしい逐次解説記事を公開しました。そこで私は彼女に番組に来ていただき、タイムラインをたどりながら、この一連の出来事が何を意味するのかを詳しく説明してもらいました。
*Verge*の購読者の方、広告なしの*Decoder*にいつでもアクセスできる特典をお忘れなく。ポッドキャストはご自身の好きなプラットフォームでご利用いただけます。詳しくはこちらから。まだ購読されていない方は、こちらから登録可能です。
この状況は現在も進行中です。本エピソードを録音した火曜日の時点でも、Fable はまだオフライン状態です。実際、Claude を起動すると、チャットボックスウィンドウの直上に「Fable 5 は現在利用できません」と表示されます。しかし、後ほどヘイデンが説明するように、今週中に Fable が再びオンラインになるかどうかにかかわらず、政府と Anthropic の対立による波紋は、テクノロジー業界および米国の AI 規制体制に対して広範な影響を及ぼしています。
ここには大きな皮肉があります。これもヘイデンと私が詳しく触れる予定ですが、Anthropic は長年にわたり、「AI はいずれ危険になるほど強力になり得る」と主張し、政府は「 sooner rather than later（遅くするより早く）」AI 規制に真剣に取り組む必要があるとしてきました。さて…今まさにその状況が訪れましたが、Anthropic はこの展開を好んでいません。
そして今、誰もが注目しています。特に中国政府です。米国の AI 規制アプローチが、真摯な安全性の枠組みとなるのか、それともトランプ政権に逆らわない企業や人々に対するホワイトハウスの別の武器に過ぎないのか。私が言ったように、これはまさに大混乱です。
OK：*Verge* のシニア AI レポーター、ヘイデン・フィールドに、Claude Fable 禁止令と新たな AI 規制の状況について伺います。では始めましょう。
*本 transcript は長さや明瞭さのために軽微な編集を加えています。*
ヘイデン・フィールドさん、あなたはここ*The Verge*でシニア AI レポーターを務めていますね。*Decoder*へようこそ。
ありがとうございます。ここに来られてとても嬉しいです。
あなたがここにいらっしゃる時はいつも混沌としていますよ、ヘイデン。それが私が気づいたことです。
本当にそうです。私のルールは未だ有効で、それは「いつも金曜日である」というものです。何かとんでもないことが起きるのは金曜日で、今回も例外ではありませんでした。
特に政府が AI を規制する際には、「もしすべてが金曜日に大混乱に陥ったら、週末をどう過ごすか考えさせられるだろう」というような現実があります。そして私は、これはトランプ政権を通じて基本的に真実だったと考えています。月曜日にそれをすべて元に戻すための駆け込みは即座に行われます。
ええ、まさにその通りです。信じられないほどです。そして、これらの議論が週末中から月曜日にかけても至る所で行われていたにもかかわらず、まだ解決に至っていないという事実があります。まだ解決していないことに驚きですが、はい、多くのドラマがありました。
さて、このポッドキャストは木曜日に公開されます。私たちは火曜日に録音しています。今後 2 日間で何が起きるか見てみましょう。しかし、ここで重要なのは、米国政府が AI をどのように規制すべきか、そしてそれが世界舞台における米国の AI 企業に何を意味するかという大きな絵です。これは Fable に関する出来事によって解決されるものではないと思います。
では、物語全体を理解しようとし、そこからテーマを抽出しましょう。なぜなら、これらのテーマは、現在リリースされる新しいモデルごとに、何度も何度も繰り返し現れてくると思うからです。それでは、最初から始めましょう。Claude Mythos とは何ですか？Fable とは何ですか？これらはお互いにどう関係しているのでしょうか？
素晴らしい質問です。先週 Anthropic がこれを発表した際にも、私も同様に Anthropic に尋ねました。なぜなら AI 企業は名付けが本当に下手で、いつも非常に混乱を招くからです。しかし状況としては、Mythos は Mythos 5 と Fable 5 の両方を支える基盤となるモデルです。Fable は新しいモデルです。彼らは Fable 1, 2, 3, または 4 を持ったことがなく、いきなり Fable 5 から始めました。非常に混乱を招きますが、Fable は Mythos 5 の簡易版、あるいは安全装置付きのバージョンです。Anthropic が 4 月に Mythos Preview を発表した際、彼らはこれを非常に過大評価していました。「これは潜在的なサイバー兵器である」と言い、「少なくともセーフガードが追いつくまで一般公開されることはない」「悪意のある行為者が侵入して脆弱性を悪用する前に、すべてのフレームワークを修正する必要がある場所、つまり「サイバー・ディフェンダー」と彼らが呼ぶ企業や政府にのみリリースする」と述べていました。
さて、先週まで話を進めましょう。Anthropic は、Mythos 5 をリリースしました。これは公式の Mythos の最初のバージョンです（それまでは「Mythos Preview」と呼ばれており、今回は直接 5 からスタートしています）。さらに同日、Fable 5 も発表されました。これは Mythos クラスモデルにおける初の公開版です。基盤となるフレームワークは同じですが、現在は多数の安全対策が追加されており、Anthropic 自身が認めるほど危険なこのモデルが一般にアクセスできないようにし、すべてを台無しにするのを防ぐことを目指しています。
これが彼らがリリースしたものです。そして、その危険性について長く熱狂的な宣伝を行い、議論を繰り広げていましたが、後にそれが彼ら自身に跳ね返ってくる結果となりました。
Fable はセキュリティガードレールを備えた Mythos です。発表当初は大きな論争が巻き起こりましたよね？AI やセキュリティの研究者たちは、これらのガードレールが実際には研究活動や Fable の能力を確認することを妨げていることに気づきました。なぜなら、境界を試そうとすると、Anthropic の以前のモデルに格下げされてしまうからです。
はい。まるでミームのような状態になりました。発表時のガードレールの厳しさを人々が揶揄するようになったのです。
そこで私を混乱させているのは、ガードレールがあまりにも厳しく論争になっている一方で、その後何らかの出来事が起こり、政府が Fable を極めて危険だと判断して引き上げざるを得なくなったという点です。いったい何が起きたのでしょうか？
私はこの件について、いくつかの独立したレッドチームメンバーに話を聞きました。アマゾンのホワイトペーパーが流通する前、そしてこの脱獄の告発が公になる前、私はフェイブル 5 の安全性についていくつかのレッドチームメンバーに尋ねました。彼らはすべて、ガードレールがいかによく機能していたかに感銘を受けていました。私はもう少し簡単に脱獄できるだろうと予想していました。しかし彼らは、多くの試みを行ったが何も効果がないと言っていました。これは私が通常独立したレッドチームメンバーと話して得る経験とは異なります。彼らは通常、「ああ、ここでは突破できた。あそこでも突破できた」と言うものです。このケースでは、ガードレールは非常に良く機能していたと報告されていました。
さて、昨日話した交渉に直接関与し、事情に詳しい情報源によると、先週のタイムラインはおおよそ以下の通りです。先週の中頃、アンソロピック社はアマゾン研究者が行ったある研究について知らされました。彼らは潜在的な脱獄を発見しており、これにはかなり懸念を抱いていました。
彼らはそれをアンソロピック社に送りました。アンソロピック社は、アマゾンの研究者たちとそれについて議論を交わしており、それが本当に脱獄（jailbreak）なのか、あるいは本質的にそれほど大きな問題ではないのかについて話し合っていました。どうやら、報告によるとアマゾンCEOのアンディ・ジャシーはこれに懸念を抱き、金曜日にスコット・ベッセント財務長官、あるいはトランプ政権の他のメンバーに電話をかけ、自らの懸念を伝えたようです。
トランプ政権はパニックになりました。彼らは直ちにアンソロピック社へ連絡しました。実際にはメッセージを送り、「90分以内にこれを停止する必要がある」と伝えました。
90分？
はい、90分間の最終通告です。そして彼らは言いました。「この明るみに出た脱獄（jailbreak）をどう修正するかを特定する必要がある」。アンソロピック社は最初の電話から15分以内にトランプ政権と通話し、より詳細な情報を求めてきました。彼らは「では、これについて話し合いましょう。我々がすでに認識している研究のことですか？それとも別の何かですか？あなたが言っている脱獄（jailbreak）とは具体的に何ですか？」と尋ねています。彼らはより多くの詳細を得ようと試み、政権側との対話を進めようとしていました。
私は、行政側もアンソロピックのCEOであるダリオ・アモダイが最初の電話から1時間15分後にしか折り返し電話をしなかったことに腹を立てていたのだと思います。アンソロピックは15分で折り返し電話をしましたが、ダリオには1時間15分かかりました。つまり、ここでは多くのことが進行していたのです。しかし、彼らが話し合っている間に90分の期限が過ぎ、トランプ行政側は「よし、これで終わりだ。輸出管理措置を科す」と言いました。
これが、アンソロピックに対して「いずれのモデルも外国人は使用できない」と伝えられた時です。アンソロピックはそれが事実であることを確認する責任を負います。アメリカ国籍を持たない外国人であれば、アンソロピックで働いているかどうかに関わらず対象となります。例えば、アメリカ銀行がミソス5にアクセスし、システム内の脆弱性を埋めるためにそれを使用している場合でも、あなたがアメリカ市民でないなら使用できません。同様に、フェイブル5を単なる個人として使用する一般の人々も同様です。また、アメリカ国籍を持たないアンソロピックの研究者についても同じことが言えます。
そこで、アンソロピックは状況下で唯一できることを行い、「よし、両方のモデルを一時的に停止するしかない。非米国人がこれらのモデルを使用していないことを確認する方法を1分で見つけることはできない」と発表しました。それが実際に起きたことです。
つまり、あの数時間は本当に狂気の沙汰でした。その夜遅く、Anthropic は声明を発表し、トランプ政権とこの件について協力しようとしていると述べました。彼らは週末中、政府高官とのバーチャル会議に臨み、その後、3 人の従業員をワシントン D.C. に派遣して直接話し合うよう手配しました（その詳細は、先ほど公開した記事 in the piece we just published に記載しています）。
特筆すべきは、ダリオが現地に赴いていないことです。彼はすべての会議にバーチャルで参加しています。私が確認できるのは、彼がウェルネス・リトリート（wellness retreat）にはいないという事実だけで、これは一部の報道 what some reports say が伝えている内容とは異なりますが、彼がどこにいるのかについては教えてくれません。ただ、ウェルネス・リトリートにはいないことだけは確かです。それ以上のことは知りません。
Anthropic の立場は「絶対にウェルネス・リトリートなど行っていません」というものです。わかりました。
[笑] ということで、とにかく大変なことが起きています。非常にドラマチックです。過去数日間にわたって取材したすべての情報提供者は、テック業界全体、特にサイバーセキュリティコミュニティが今まさに議論している最中だと口を揃えていました。ある情報提供者は「北京は今、私たちを笑っている」と話していました。
これは興味深い出来事でした。この分野のサイバーセキュリティリーダーたちが集まり、公開書簡を執筆したのです。彼らは「私たち全員が規制を支持しているわけではありませんが、もし規制を行うのであれば、これはその方法ではありません」と述べています。私はこれが全体の状況を象徴していると考えるのです。
おそらくあなたは政府による積極的な規制を支持するかもしれませんし、しないかもしれません。しかし、規制の取り組みを厳格かつ思慮深く、慎重に、そして予測可能に行う方法は存在します。この状況には、そのいずれも当てはまらないように見えます。
実は、最初から話を始めたいのです。アンディ・ジャッシー氏とスコット・ベッセント氏は賢明な方々かもしれません。彼らは明らかに社会の中で非常に高位の地位にあります。しかし、AI の専門家ではありません。なぜ、アマゾンの CEO であるアンディ・ジャッシー氏が AI セキュリティ研究への懸念を、AI ポリシーを実質的に監督していないスコット・ベッセント氏に伝達し、それが CEO が不在のままの企業に対して 90 分間の最終通告をもたらすことになったのでしょうか。あなたの政治思想が重要であるべきではありません。
これは歴史上最悪のセキュリティ侵害であり、アマゾンの CEO が財務長官に電話をかけるか、それとも単に自分が重要だと感じたいと思っている連中のかたまりかのどちらかです。私はそれがどちらなのか、まだはっきりと理解できていません。
それはいくつかの要素が組み合わさった結果です。一つ目は、ご指摘の通り、これらの人々の多くは AI の専門家ではないという事実です。このような jailbreak（システム制限の突破）は明らかに深刻で考慮に値しますが、私は、これらのシステムの仕組みについて直接的な知識がない場合、非常に白黒はっきりしたアプローチを取ってしまうものだと思っています。彼らは専門家ではありませんでした。
Andy Jassy は、この件を自社の研究者たちから聞かされました。ちなみに、その研究者たちは数日間にわたり Anthropic とこの件でやり取りしていました。彼らが大統領に連絡したわけではありません。「さて、これを議論して、ここで何ができるか考えよう」という感じでした。噂によると、研究者たちはこれが世界の終わりだとは思っていなかったようです。「ああ、これを見つけたね、議論しようよ」といった具合でした。Anthropic は対応を進めていましたが、Andy Jassy がそれを知り、彼が電話をかけると、すべてが大混乱に陥りました。これは当然のことです。なぜなら、AI の専門家ではない場合（そして AI の専門家であっても、サイバーセキュリティやこれらのシステムが具体的にどのように動作するかについては専門家でなかった場合もあるでしょう）は、パニックになってしまうからです。
それは理解できますが、本当に奇妙なのはその後起きたことです。この電話をかければ行政当局は認識するようになります、はい。しかし私が本当に不思議に思うのは、90 分という最終通告であり、Anthropic が「さあ、それについて話し合いましょう。私たちがすでに把握している脆弱性のことですか、それとも別の何かのことですか？それについて教えていただければ、それについて話し合えるでしょう」と言った際に追加の詳細を提供しなかった点です。彼らは「いいえ、90 分です。やれ、あるいは死ね」と答えました。
そして、外国人が決してシステムにアクセスできないようにすること。それが本当に奇妙なことです。これらのカードがすべて揃った様子が、テック業界の誰もが非常に奇妙だと考えていることであり、あなたが言及された通り、トランプ政権がテック業界とどのように運営してきたかを示すものです。多くの場合、トランプ大統領は一度会話をすると、その直後の会話によって方向転換しているように見えます。そのため、規制反対であり、アメリカ製 AI 推進であり、アメリカの AI を前進させ輸出することを望んできました。これは商務省が求めていることです。
トランプ政権は現在、情報提供の要請を出しています。彼らはアメリカの AI の輸出と中国への対抗・勝利を重視していますが、その一方で、事前通知もなくすべての人を無力化するような措置を取り、Anthropic だけでなく、OpenAI、Google、そして同様に「半同等のミソス製品」を持つ業界内のすべての競合他社にも影響を与える可能性があります。
これは非常に組織化されておらず、多くの CEO が科学や実際の状況に即した証拠に基づかずに、トランプ政権へ頭を下げるために必死になっている様子がよく見られます。そのレベルの動揺は、通常、そこに存在する証拠と一致していません。
アマゾンはアンソロピックの出資者であり、主要なパートナーです。なぜアンディ・ジャシーはこのような形で自社の投資を無力化したのでしょうか？
一般的に、アマゾンは通常の業務としてレッドチーム（攻撃シミュレーション）を多く行っています。これはプロセスの一部だからです。したがって、これがテストされ、その後発掘されたことは理にかなっています。しかし興味深いのは、なぜアンディ・ジャシーがトランプ政権にこれについて連絡したのかという点です。その理由は私にはわかりません。
おそらく、それはすでに進行中だった典型的な通話で、彼がたまたま何気なく何かを言っただけだったのかもしれません。あるいは、彼らは「 executive order（大統領令）のおかげで X, Y, Z になったのは良かった」といった内容の電話をかけていたのかもしれません。私たちは知りません。しかし興味深いこと、そしてあなたがこの質問をしてくれて嬉しく思うことは、私が話を聞いた多くの情報提供者が、 alleged jailbreak（推定される脱獄）の内容や、Amazon のホワイトペーパーで流通しているすべての内容が、OpenAI の GPT-5.5 や他のいくつかのモデルでも実現可能だと述べていたことです。
これがその告発です。これらのスキルは Fable 5 に固有のものではなく、問題となっている脱獄の一部としてのスキルも同様です。Mythos は明らかに safeguards（安全装置）を持たないため Fable よりも強力ですが、Fable と Amazon が浮き彫りにした問題に関しては、それらの問題は Fable に固有のものではなく、GPT-5.5 でも同様に実現可能であるように見えます。業界の多くの人々が「なぜ Anthropic なのか？」と問うています。
この話の真実の要素の一つは、常に Anthropic が焦点になることです。Anthropic はトランプ政権との関係で最も論争を呼んでいます。彼らは国防省によって サプライチェーンリスク に指定されましたが、今回の姿勢は通常の Anthropic のドラマとは異なります。
歴史的に、Anthropic は「X、Y、Z の目的には当社のツールを使わないでください」と述べてきました。一方、トランプ政権は「AI ツールについては我々が何でもできる」と主張しています。これが、国防総省が Anthropic をサプライチェーンリスクとして指定した理由です。彼らは「軍事文脈での使用法についていくつかのレッドラインがある」と言いました。ピーター・ヘグセットは「いいえ、私はやりたい放題します。あなたはすべての合法的な目的を許可せねばなりません」— これがその主張 — 「そしてあなたがそれを拒否するなら、あなたはサプライチェーンリスクだ」と述べました。
今、この訴訟が争われています https://www.theverge.com/ai-artificial-intelligence/891377/anthropic-dod-lawsuit。
ここでは逆の状況です。トランプ政権は、そのモデルがあまりにも強力であり、多くの用途に使用される可能性を危惧しています。一方、Anthropic はこの考え方が過大評価されており、政権が修正可能な問題を過度に誇張していると考えています。彼らが必要としているのは、時間をかけ、その修正の有効性について厳密な議論と対話を行うことです。
これをどう統合すればよいのでしょうか？まず、トランプ政権は AI 規制の取り組みに反対しています。他方、彼らは「モデルについては我々が何でもでき、可能な限り強力にするべきだ」と言います。そしてここでは、そのモデルがあまりにも強力であるため、外国国民がそれを見る前に撤回されなければならないと主張されています。
これは、行政当局がこれらの企業に自らが何をすべきかを伝えることを信頼しているという事実を端的に示しています。これまで発生した規制や自主的な取り組みに関しても同様の傾向が見られ、トランプ政権が AI 企業と協議した後には多くの草案が修正されています。すでにアンソロピック社に対しては好意的ではありません。サプライチェーンリスクの状況、訴訟、レッドラインの設定などから、両者の間に大きな信頼崩壊が生じています。
もしこれが競合他社のケースであれば、この特定の事態が同じように展開したとは想像できません。OpenAI にはミソス（Mythos）と半ば同等の独自モデルが存在します。再び言いますが、どの企業も自社のモデルがミソスと同じくらい優れているとは明言していませんが、非常に優秀だと主張しています。パニックは依然として発生していたでしょうが、残りの展開がこのように行われたとは想像できません。トランプ政権は彼らにより多くの時間を提供しただろうし、より対話的な議論が行われ、業界全体や世界に衝撃を与えた外国人規制のようなものを作らなかったと考えられます。
私が話したある情報提供者は、すでに非米国の企業とのバックアップ契約が現在結ばれていることを知っていたと語りました。オープンウェイトモデルは代替のハードウェア構成で展開されており、これは今や世界中の企業が「ああ wow、政治リスクをビジネスプランに組み込む必要があるな。アメリカの AI がどうなるか本当にわからない。ここでいくつかのバックアップ計画を立てよう」と言っているからです。業界にとっては良いことではありません。トランプ政権が中国に追い越されることを恐れている一方で、業界のチャンピオンの一人を意図的に足かせにする用意があるのは興味深いことです。
しかし、私はまた、日々発表されているトランプ政権の理由付けが異なるように見えることも興味深く思います。毎日、新しい言い訳や新たな議論の一部が明らかになっているようです。まず彼らは、「中国がアクセスしたらどうなるか？」「ああ、中国がアクセスしたらどうなるか？」 と言います。私が話した情報提供者は、これは Fable 5 や Mythos 5 が発表されるずっと前の数週間前に出回った噂であり、政権が以前に Mythos Preview へのアクセスを承認していた中国の通信会社を指しているのだと語りました。そして政権が「実は、考えを変えた。彼らを除外しよう」と言ったとき、Anthropic は即座にそのアクセスを取り消し、排除しました。これは古い噂です。
また、大統領令の解説においても、Anthropic がトランプ政権の大統領令に準拠していないという噂が明るみに出ていることが確認されています。しかし、その大統領令はまだ発効していません。署名されたのは 6 月 2 日、つまり 2 週間前のことです。どのモデルがこの命令の対象となるかを決定するには 60 日の猶予が必要です。また、30 日前の事前レビューを行う任意のパートナーシップも存在しますが、これはあくまで任意です。
面白いことに、私は Anthropic が完全に正しいと言っているわけではありません。しかし、この状況には誤魔化しや慌ただしい動き、そして奇妙な出来事があまりにも多く、AI 企業に対して同情する私が現れるのは極めて稀なことなのです。本当にそうなんです。「ああ、彼らは素晴らしいことをしている」と言っているわけではなく、すべての AI 企業にはそれぞれの課題があります。しかし、この特定のケースでは、「Anthropic がトランプ政権との間でこれほど多くのドラマを経験した後に、OpenAI や他の競合他社でも同じことが起こったかどうかは本当にわからない」と考えています。
トランプ政権が些細なことで腹を立てることはよく知られており、同様の状況にあるどの企業に対しても過剰反応するだろうと思います。しかし、競合他社で全く同じ展開になるとは思えません。
単にダリオ・アモダイ氏がホワイトハウスに行かないから、トランプ氏に贈り物をしないからなのでしょうか？サーム・アルトマン氏はドナルド・トランプと記者会見を行っていますし、サンダル・ピチャイ氏は就任式に参加しています。
ザッカーバーグは UFC の試合に出席していました。
【笑】注目すべき AI 勝者のマーク・ザッカーバーグが、UFC の試合で成功への道を買うために参加していました。ここには単なる性格の対立があるだけなのでしょうか？
それが一部の報道によってそう捉えられているようです。確かにその一部は事実です。いくつかの報道では、ダリオは行政側と話す方法を知っておらず、また過度にへりくだらないと言っています。彼はゲームのやり方を知らないのです。これもその一部です。
もう一つの理由は、トランプ政権が AI をどのように規制すべきか確信を持てていないこと、そしてドナルド・トランプ大統領が異なる方向から引き裂かれていることです。時には、より厳しく規制する必要があると感じることもあります。一方で、規制を緩和すべきだと考えることもあります。AI の CEO と話しているときは、「ああ、そうだな。彼らを信頼できる。大丈夫だ。進めさせよう。中国に勝たねばならない」といった態度を示すようです。
他のケースでは、現在一般市民がかなり反 AI 的な時代を経験していることを認識しています。AI ポピュリズムの高まりがあり、彼は「ああ、実は一般の人々は AI を好んでいないようだ。規制すべきかもしれない」と述べています。
これは過去何年にもわたる政権で見られた現象ですが、現在は AI 規制においても同様の状況が見られます。しかし現在、そこには明確な理屈や理由がありません。Anthropic の政府とのコミュニケーションが役立っていないとも思えません。彼らの電話に即座に応じない、ホワイトハウスでの夕食会に参加しない場合、多くの場合人間関係に基づいているように見える政権下では、その関係性が少し損なわれる可能性があります。
私はこれを、ほとんど人格を欠いていた前政権と比較します。人物や個性の欠如が特徴的なバイデン政権は、非常にテクノクラート的であり、人々がしばしば「血の通っていない」と考えていたほど、ルールベースで運営されていました。
しかしバイデン政権は、フロンティアモデルに対する透明性レビューや研究要件などを盛り込んだ大統領令を提出しました。トランプが政権に就任すると、彼はそれらすべてを撤廃しました。そして「これらの企業を規制するつもりはない」と述べました。そして今、私たちは再びあの状態へと向かっているように見えます。
もし超強力なモデルを公開するつもりなら、政府はそれを管理したいと考えています。確かに輸出規制という最も単純な手段を使うでしょうが、これらのモデルがどのように展開・使用され、誰が利用権を得るのかについて、より細かく、より厳格なアプローチに戻るはずです。バイデン政権の枠組みを撤廃したのは間違いだったのでしょうか？私たちはあの枠組みに戻りつつあるのでしょうか？今後はどこへ向かうとお考えですか？**
私は、私たちがあの枠組みに戻る可能性があると見ています。当時業界で多くの人物にインタビューを行い、多様な意見に触れたからです。その多くは、バイデン時代の大統領令が十分ではなかったと考えていました。一部の人はそれを良い第一歩だと考えており、だからこそ私があの方向へ戻る可能性があると感じたのです。なぜなら、それは非常に攻撃的であると見なされていなかったからでもあります。
むしろ、それは正しい方向への良い第一歩と見なされただけで、実際にははしごの一段に過ぎませんでした。そのため、現在の政権があの枠組みに戻る可能性があると私は考えます。それほど遠く離れていないからです。ただし、AI企業はそのような小さな一歩さえも反対するためにロビー活動を行うでしょう。
彼らは実際にそうしました。非常に怒っていました。
彼らは確かにそうしました。深く怒りました。しかし、先ほど見た大統領令から、あの枠組みに戻る可能性はあるが、もう少し自主的な形になるだろうと私は見ています。これもまた、こうした措置は通常弱められる傾向があるからです。まるで最初にはっきりと主張し、その後いくつかのAI企業のCEOたちと話をして、「ああ、なるほど、少し引き戻そうか」と言うようなものです。だから、正直なところ誰にもわかりません。
私が AI ジャーナリストになった理由は、この分野に実効性のある規制がないと感じたからです。これは ChatGPT が登場する前の話です。ジャーナリズムは業界で何が起きているかを明るみにする手段です。それでも 6 年が経った今でも、多くの規制が見られるわけではありません。仮に何らかの規制が導入されたとしても、撤回されてしまいました。もしかすると再びその方向へ進むかもしれません。確かにそのような方向に進む可能性はあると感じていますが、最初の段階ほどではないかもしれません。
まるで業界側が、より慎重な規制アプローチを推進する必要があるかのような雰囲気ではありませんか？彼らは「これは混沌としている。これが私たちの運営方法であってはならない。新しいモデルごとに週末にパニックの電話に対応させられるわけにはいかない」と言うべきです。
もしここでより厳格な審査プロセスを構築したい場合、どのようなシステムになるでしょうか？単に各社が自社のモデルを政府に提出し、政府が何が危険で何が安全かを判断するのでしょうか。それとも業界主導の仕組みなのでしょうか。現在提案されている解決策とは何ですか？
それは良い質問です。現在の政権下では、最近になって本格的な解決策があまり提案されていません。彼らは規制に対して非常に緩やかなアプローチをとってきたため、誰もそのような案を前面に出してこなかったのです。しかし今、状況が変わりつつある可能性があります。これからはより堅牢な枠組みが提案されるようになるでしょう。
ただ、それが自主的なものではないことを願っています。AI 企業はすでに多くの自主的な開示を行っています。規制を行うのであれば、実際に規制すべきです。どの程度緩やかな規制（light touch regulation）にするか、あるいは厳格な規制（heavy touch regulation）にするかについては様々な意見がありますが、自主的な枠組みは非常に手薄なものになっていると思います。お分かりいただけるでしょうか？私たちはすでにそのような状況にあります。
では、次はどうなるのでしょうか？最終的に AI が実際に影響を及ぼしているのは一般大衆であることを忘れないでください。反 AI ポピュリズムの高まりや人々が怒っているという事実があります（参照）。あちこちでデータセンターへの抗議活動が行われています。極端なケースでは、AI の CEO の自宅を襲撃しようとする人さえいます。ここには多くの不安があり、人々は自分たちが置き換えられていると感じています。彼らは自分の仕事が奪われると感じています。最近シアトルの市議会聴聞会を聞いていたところ、多くの AI エンジニアが証言しており、彼ら自身が AI によって解雇されたエンジニアだと言っていました。
AI の指導者たちと政府は、一般大衆がこの技術に対して抱いている感情からしばしばかなり隔たっており、その点を注視することが重要です。これが今後、いかなる規制にも影響を与えるか、あるいは全く影響を与えないかは今後の展開次第です。私は今回の政権下での多くの規制に大きな期待を持っていません。彼らは非常に揺れやすいからです。ある晩餐会を一度開けば、状況が少し変わるかもしれません。公平を期すために言えば、多くの政治家もそのような傾向がありますが、どうなるか見てみましょう。もしかすると、この大統領令の 60 日が経過した後には、私を驚かせるような変化が見られるかもしれません。
この話のもっと奇妙な側面の一つは、アンソロピック自身が規制を最も強く推進し、警鐘を鳴らし、すべての企業の中で最もドゥーム（破滅）的であるという点です。アンソロピックの共同創設者の一人であるジャック・クラークは、最近研究結果と結論を発表しました「世界にとって、技術の進歩に合わせて社会構造やアライメント（整合性）研究が追いつくために、フロンティア AI の開発を遅らせたり一時的に停止したりする選択肢があることが望ましいと私たちは考えます」という結論に至りました。**
アンソロピックは、「ああ、私たちは全員を殺してしまうかもしれない。さあ、これを止めるべきだ」と言う最前線に立っています。しかし同時に、彼らはモデルの能力においても最前線にいます。あらゆる情報によれば、ミソス（Mythos）は現在存在する中で最も強力なモデルです。アンソロピックは自らをトラブルに巻き込んでいるのでしょうか？それともこれは彼らにとって逆効果となっているマーケティング戦略なのでしょうか？
それは組み合わせによるものです。マーケティング用語は確実に裏目に出ています。もし何かを非常に危険だと主張しておきながら、研究者が本来可能だとは意図されていなかったかもしれない何かが発掘されれば、人々はパニックになります。だからこそ、誰にでも最初のことが起こりうると私は見えます。しかし、カードの配られた通りには残りの部分が見えません。
しかし、それは部分的に存在しており、彼らに災いとして戻ってきました。過熱した hype については少し彼らの責任もありますが、同時に、この技術がもたらすリスクについてある程度は正直になろうとしているとも思います。銀行システムや政府のウェブサイトなど私たちが使用するグローバルインフラストラクチャにおける高レベルの脆弱性を検出できるシステムが悪意のある行為者に利用されてしまったり、手に渡ってしまったりすれば、それは非常に悪いことです。
結局のところはコミュニケーションの問題です。リスクについて話し、それを軽視しないことは重要ですが、そうしてもし間違いを犯したり予期せぬことが起きたりすれば、その結果に対処しなければなりません。そこには確かに多くの解くべき点があります。また、多くの企業が異なるシステムのリスクを軽視しているとも思います。Anthropic の CEO を含む複数の AI 企業のトップが、AI による雇用崩壊の予言は撤回されていると語り、「大丈夫になる」と述べているのを私たちは見てきました。
私はいつもこれらの話を非常に懐疑的な目で見ています。結局のところ、あなたが話している AI 企業がアンソロピックであれ他社であれ、利益を上げ、どんな手段を使ってでもお金を稼ぐというインセンティブはすべて同じです。特に、彼らがまもなく上場企業になることを考えるとその傾向は顕著です。人々はアンソロピックをあるように描き、他の競合他社を別のものとして描きたがりますが、実際にはすべてが同じ目標を追求しています。ただ、そのやり方が少し異なるだけです。
この AI を最初から軍事技術のように扱い、一般市民には軍用技術を薄めたバージョンしか提供しないという形はあり得るのでしょうか？それはトランプ政権が想定しているリスクプロファイルのようです。これは本質的に攻撃的な技術です。敵に対して展開することもできますし、銀行を攻撃するためにも使用できます。ここではセキュリティ上の影響について誰もが懸念しています。
そこから始めて、「一般消費者への展開には、この技術を大幅に制限しなければならない」と言うような世界はあり得るのでしょうか？F22戦闘機を一般市民に売ることはできませんが、フォード・ラプターのような車両なら売ることができます。そのようなバージョンがあるはずです。つまり、最先端の技術は本質的に軍事目的のために残し、一般市民向けには大幅に制限されたものになるという形です。
これは数十年にわたって見てきたことであり、今まさにミソスにおいても起こり始めています。フェーブルは薄められたバージョンであり、エンタープライズや政府にはより強力なバージョンへのアクセスがあります。これについては多くの異なる意見があります。OpenAI の現在の最大のマーケティングの押し売りの一つは、「ああ、Anthropic は最も強力な AI をエリートだけの手に置きたいと考えており、私たちはそれを一般市民に届けたいのです」というものです。
ですから、現在さまざまなマーケティングの押し売りが行われています。誰もが自社の競合他社を悪く見せるためにあらゆる手段を使っています。Anthropic も例外ではありません。この競争は非常に激しく加熱しており、最先端にいる AI 企業たちはどんなことでもしてでも勝利するためにあらゆる手を尽くしています。ある人々にとっては、自分が最も良く、最も道徳的な勝者だと信じているからであり、これは私たちがすべての SF やファンタジー映画で見てきたように常に大きな問題となり得ます。「より大きな善のため」という哲学は、通常物語の悪役によって使われるものです。
今まさに大きな競争が行われており、Jack Clark の意見に完全に同意します。少しペースを落とすことが良いかもしれません。もし全員が合意できれば——それは非常に困難なことであり、特に他の国々にも合意してもらうのはさらに難しいでしょう——しかし私たちは間違いなく、その技術的含意について考えるよりもはるかに速く技術を構築しており、これは長い間そうでした。
これは*Decoder*の最初のエピソードで、Dario Amodei がサノスと直接比較されたものであり、それは素晴らしいことです。
[笑] 正直に言うと、その発言をしたときは『ハリー・ポッター』の悪役、グリンドワースのことを考えていました。
ああ、なんてこと。まあいいです。では、ダリオさん、もしあなたが来てこれらの告発に対して反論されるのであれば、大歓迎します。
私も言わなければなりません、これはダリオさんの話だけではありません。すべての AI 企業の CEO が同じことを言っています。彼ら全員がそうなのです。それは狂気じみています。
どこで終わるのでしょうか？次のステップは何でしょうか？今週に会議が開催されています。木曜日には人々がこれについて聞くことになります。Anthropic が再び市場に戻る可能性もあれば、戻らない可能性もあります。しかし、この件之后、どうやら誰もがプロセスを望んでいるようです。あなたはこの事態がどこで終わるとお考えですか？
この政権がどのように行動するかを予測するのは非常に困難です。サプライチェーンのリスク状況で見られたように、多くの政府機関が Claude の熱烈な支持者だったにもかかわらず、最終的には撤回されるだろうと考えていました。しかし彼らは他の 7 つの企業と契約を結び、「わかりました、大丈夫です。たとえあなたがたが Claude のファンだとしても、とにかく、あなた方のための他の 7 つの選択肢があります」と宣言しました。
現時点では誰にも予測できません。私は、外国人に関するこの規定は撤回されるだろうと考えています。アメリカの AI が何としても勝たなければならないという政権が作り出した騒ぎの後でさえ、あらゆるコストをかけてでも速度を優先すると主張した 1 月 9 日のヘグセットメモ を考えると、その規定を継続するとは到底想像できません。私はこの政権が AI での勝利にあまりにも集中しており、そのルールを続けるはずがないと考えています。今後数日間でこれが人格を問うゲームになる可能性もあります。Anthropic が何らかの形で妥協し、より良いコミュニケーションを試みれば、数日後にはこれが撤回されるでしょう。
しかし、トランプ政権が Anthropic や OpenAI に 出資して株式を取得しようとしている という噂も目にしてきました。つまり、これに対するさまざまな「解決策」が存在する可能性があります。どうなるか見てみましょうが、現状のままこの状況が数日以上続くとは到底予測できません。業界はこの状況に驚愕しています。
ヘイデンさん、これは当然ながらすぐにまたお越しいただく必要があります。*Decoder*においでいただき、本当にありがとうございました。
ありがとうございます。
*ご質問やコメントは decoder@theverge.com までご連絡ください。私たちはすべてのメールを必ず読んでいます！*
ニレイ・パテルによる Decoder
*The Verge* のポッドキャスト。大きなアイデアとその他の問題について語る番組です。
この記事のトピックや著者をフォローして、パーソナライズされたホームページフィードで類似の記事をもっと見たり、メール更新を受け取ったりしてください。
- ニレイ・パテル
-
-
-
-
-
原文を表示
On today’s episode of *Decoder*, my guest is Hayden Field, senior AI reporter for* The Verge*. Often when Hayden comes on the show, it’s because something has gone wrong in the world of AI. Last weekend, that something was a pretty intense mix of Anthropic, the Trump administration, and Anthropic’s new AI model, Fable 5.
On Friday, not even a week since Anthropic released Fable to the public, the US government said it was imposing export controls on the new model, as well as the underlying Mythos model that Fable is based on. Those controls restricted foreign nationals, even those working for Anthropic in the United States, from accessing these models. Anthropic then took Fable and Mythos offline for everyone, because the company said it was worried it would not be able to restrict access and reasonably comply with the order otherwise.
As you might imagine, this is all a giant mess. Hayden actually just published a fantastic play-by-play on The Verge about how this all went down last Friday and the scramble through the weekend from both sides to figure out what exactly happened and how it might get resolved. So I wanted her to come on and just walk me through the timeline and what it all means.
*Verge* subscribers, don’t forget you get exclusive access to ad-free *Decoder* wherever you get your podcasts. Head here. Not a subscriber? You can sign up here.
The situation is ongoing. As of Tuesday when we’re recording this episode, Fable is still offline — in fact, if you boot up Claude, it tells you right above the chatbox window that “Fable 5 is currently unavailable.” Yet as you’ll hear Hayden explain, whether Fable comes back online this week or not, the ripple effects of the government’s feud with Anthropic have far-reaching consequences for the tech industry and the US’s AI regulatory regime.
There’s also a big irony here, and you’ll hear Hayden and me get into that, too: Anthropic has spent years arguing that AI might soon be powerful enough to be dangerous — and that the government needed to get serious about regulating AI sooner rather than later. Well… now we’re here, and Anthropic doesn’t love the way it’s playing out.
And now, everyone — but maybe especially the Chinese government — is watching to see whether the United States’ AI regulatory approach takes the shape of a serious safety framework. Or whether it’s just another weapon for the White House to use against the companies and people that don’t bend the knee to the Trump admin. Like I said, it’s a real mess.
OK: *Verge* senior AI reporter Hayden Field on the Claude Fable ban and the new AI regulatory landscape. Here we go.
*This transcript has been lightly edited for length and clarity. *
Hayden Field, you’re a senior AI reporter here at *The Verge*. Welcome back to *Decoder*.
Thanks. Great to be here.
It’s always chaos when you’re here, Hayden. That’s what I’ve come to discover.
It really is. My rule is still in effect, in that it’s always a Friday. Stuff always hits the fan on a Friday and this was no different.
Particularly when it comes to the government regulating AI, there’s a real “what if it all went crazy on Friday, so we all had to think about it over the weekend.” And then I think this has been basically true throughout the Trump administration. The scramble to put it all back together on Monday is immediate.
Yep, exactly. It’s crazy. And the fact that all these talks were happening all over the weekend and then Monday, still no resolution. I’m surprised that things aren’t resolved yet, but yeah, lots of drama.
Well, this podcast is going to come out on a Thursday. We’re recording on a Tuesday. We’ll see what happens over the next two days. But I think the big picture here of how the United States government should regulate AI and what that means for American AI companies on the world stage is open. I don’t think it’s going to be resolved with whatever happens with Fable.
Let’s try to understand the whole story and then pull those themes out of it, because they’re just going to keep coming back around again and again and again, I think with every new model released now. So, let’s start at the start. What is Claude Mythos? What is Fable? How do they relate to each other?
Great question. I asked Anthropic the same thing when they came out with this like a week ago. Because AI companies are really bad at naming things and it’s always very confusing. But the situation is that Mythos is the underlying model that is powering both Mythos 5 and Fable 5. Fable is a new model. They haven’t had Fable 1, 2, 3, or 4. They just immediately started with Fable 5, very confusing. But Fable is the watered down, or safeguarded, version of Mythos 5. When they came out with Mythos Preview in April, Anthropic kept really hyping it up. They were saying this is a potential cyber-weapon. It can never be released to the public, at least until safeguards catch up. We’re only going to release it to enterprise and governments, or “cyber defenders” is what they called them — places that need to patch up all their frameworks before bad actors come in and exploit those vulnerabilities.
Now, fast-forward to last week and Anthropic released not only Mythos 5, which is the first official Mythos — before it was Mythos Preview, so we skipped straight to 5 — then they also released on the same day Fable 5, which was the very first public version of Mythos-class models. So, same underlying framework, but now tons of safeguards built on top to hopefully stop the public from accessing this super dangerous — by Anthropic’s own admission — model that could mess up everything.
So, that’s what they released. And they spent a long time hyping this up and talking about how dangerous it was and then it kind of came back to haunt them later.
Fable is a Mythos with security guardrails. When it first came out, there was a wave of controversy, right? AI and security researchers found those guardrails were actually preventing them from doing research and seeing what Fable was capable of, because if they tried to push the boundary, it would downgrade them to Anthropic’s previous models.
Yeah. It became kind of like a meme. People were making fun of how strict the guardrails were when it came out.
So, that’s the thing that’s confusing me, where there’s a controversy because the guardrails are so strict and then something happened that made the government think Fable was so dangerous that it needed to be pulled. What happened?
I talked to some independent red teamers about this. Before the Amazon white paper was circulating, before this allegation of a jailbreak was public, I talked to some red teamers about how safe Fable 5 was. They were all pretty impressed with how the guardrails held up. I was expecting it to be a little bit easier to jailbreak. They were saying they had tried a lot of stuff and nothing was working. That’s not my experience when I usually talk to independent red teamers. They’re like, “Yeah, I got it to break here. I got it to break there.” In this case, they were saying it held up pretty well.
Now, according to a source familiar with the negotiations who was directly involved that I spoke with yesterday, this is kind of the timeline of last week. In the middle of last week, Anthropic was made aware of some research that Amazon researchers conducted. They had uncovered a potential jailbreak, something they were pretty worried about.
They sent it over to Anthropic. Anthropic was kind of going back and forth with the Amazon researchers talking about it. They were discussing whether it was really a jailbreak, or whether it was not that big of a deal essentially. Apparently, reports say that Amazon CEO Andy Jassy then got worried about it and called maybe [Treasury Secretary] Scott Bessent, or some member of the Trump administration, on Friday and talked about his concerns.
The Trump administration freaked out. They immediately called Anthropic. They send them a message actually and they say, “Look, you need to shut this down in 90 minutes.”
90 minutes?
Yep, 90-minute ultimatum. And they said, “We need to figure out how to fix this jailbreak that’s come to light.” Anthropic got on the phone with the Trump administration within 15 minutes of that first call and they were asking for more details. They’re like, “Okay, let’s talk about this. Are you talking about the research we’re already aware of? Are you talking about something different? What is the jailbreak you’re talking about?” They’re trying to get more details and talk to the administration.
I think the administration was also mad that Dario Amodei, the CEO of Anthropic, didn’t call back until an hour and 15 minutes after that first call. Anthropic called back 15 minutes in. It took Dario an hour and 15 minutes to call back. So, there was a lot going on here. But by the time they’re talking, the 90-minute deadline passes and the Trump administration says, “Okay, that’s it. Yep. We’re hitting you with export controls.”
That is when they told Anthropic that no foreign national can use either of these models and Anthropic has to just make sure that that is the case. No foreign national, whether they work at Anthropic or not. If you’re, say, Bank of America and you have access to Mythos 5 and you’re using it to plug vulnerabilities in your system and you’re not a US citizen, you can’t use it. Same with a random, just regular individual using Fable 5. Same with an Anthropic researcher who is not a US citizen.
So, Anthropic did the only thing it could really do in the situation and they said, “Okay, we got to sideline both these models. We can’t in like one minute figure out a way to make sure no non-US citizens are using the models.” So, that’s what happened.
I mean, it was a crazy couple of hours. Anthropic comes out with a statement later that night saying they’re trying to work with the Trump administration on this. They spent all weekend virtually meeting with administration officials and then flying three employees out — who I detail in the piece we just published — to D.C. to talk to them in person.
Notably, Dario was not there in person. He’s virtually joining all these meetings. I can confirm he was not at a wellness retreat, which is what some reports say, but they won’t tell me where he is. But he’s not at a wellness retreat. That’s all I know.
Absolutely not at a wellness retreat is Anthropic’s position. Okay.
[Laughs] So, yeah, there’s a lot going on, very dramatic. All the sources I spoke with over the past couple of days were saying the whole tech industry and the cybersecurity community in particular are just talking. One source told me, “Beijing is laughing at us right now.”
It was interesting because some cybersecurity leaders in the space came together to write a public letter and they said, “Look, not all of us believe in regulation, but if you are going to regulate it, this is not the way,” which I think is just indicative of this whole situation.
Maybe you believe in aggressive government regulation, maybe you don’t. There’s a way to operate the regulatory efforts that is rigorous and thoughtful and careful and predictable. Nothing about this seems like it was rigorous or thoughtful or predictable.
I actually want to start at the beginning. Andy Jassy and Scott Bessent might be smart guys. They obviously have very senior positions in our society. They’re not experts in AI. How did we get to Andy Jassy, the CEO of Amazon, relaying concerns about AI security research to Scott Bessent, who does not really oversee AI policy in any meaningful way, and that resulted in a 90-minute ultimatum delivered to a company whose CEO is absent? I don’t think your politics should matter.
Either this is the worst security breach in history that the CEO of Amazon is going to call the treasury secretary, or this is just a bunch of guys who want to feel important. And I can’t quite figure out which one it is.
It’s a combination of a couple things. One, it’s the fact that, like you mentioned, a lot of these guys are not experts in AI. Any jailbreak of this is obviously serious and worth considering, but I think that it’s the type of thing that when you don’t have direct knowledge of how these systems work, you’re going to take a really black-and-white approach. These guys weren’t experts.
Andy Jassy hears about this from his own researchers. His own researchers, by the way, who had been going back and forth with Anthropic for a couple days on this. They weren’t calling the president about it. They’re like, “Okay, let’s discuss this and figure out what we can do here.” The researchers allegedly didn’t seem to think it was the end of the world. They’re just like, “Oh, we uncovered this, let’s discuss.” Anthropic was working on it and then Andy Jassy hears about it. He makes this call, everything hits the fan, which makes sense because if you are not an AI expert — and even if you are an AI expert, maybe you’re not an expert on cybersecurity and how exactly these systems work, of course — so you’re going to freak out.
It’s understandable, but what is really strange is what happened after that. Make this phone call and the administration becomes aware, okay. But what I think is really weird is the 90-minute ultimatum and not giving Anthropic additional details when they said, “Hey, let’s talk about it. Are you talking about the vulnerability we’re already aware of or are you talking about something else? And can you just tell us about it so then we can talk about it?” They said, “No, 90 minutes, do it or die.”
And then making it so that no foreign national can access the system ever. That is what’s really strange. Just the way all these cards fell is what everyone in the tech industry thinks is just really strange and it’s indicative of, as you mentioned, the way that the Trump administration has been operating with tech. A lot of times it seems to be President Trump has one conversation and he’s swayed from that most recent conversation. So he’s been very anti-regulation, very pro-American AI and wanting to advance and export American AI, which is something that the commerce department is requesting.
The Trump admin [has a [request for information] out right now](https://www.theverge.com/policy/941775/trump-ai-executive-order). They’re all about exporting American AI and advancing and beating China, but then they do this thing that kneecaps everyone with no notice and could very well impact not just Anthropic, but also OpenAI, Google, every competitor in the space that also has what they call a semi-equivalent Mythos product.
It seems really disorganized and it’s very interesting that this often ends up in a scramble with all these CEOs trying to race to kowtow to the Trump administration without really being grounded a lot of times in science or evidence that really matches what’s going on. The level of freak out is not usually matching the evidence there.
Amazon is an investor in Anthropic. They’re a major partner. Why did Andy Jassy kneecap his own investment in this way?
Well, Amazon typically does a lot of red teaming just normally. It’s just part of their process. So it makes sense that this would have been tested and then unearthed. But what’s interesting is why Andy Jassy called the Trump administration about it. I’m not sure why.
Maybe it was a typical call that was already happening and he just happened to mention something offhand. Maybe he was calling them and saying, “Yeah, good thing you did the executive order because X, Y, Z.” We don’t know. But what is interesting — and I’m glad you asked this — is that a lot of the sources I spoke with said that the stuff in the alleged jailbreak and in the Amazon white paper that’s been circulating, all of it could be achieved by OpenAI’s GPT-5.5 and some other models.
That’s the allegation, that these skills are not unique to Fable 5, the skills in question as part of the jailbreak. Mythos is obviously more powerful than Fable because it doesn’t have safeguards, but when it comes to Fable and the problems that were brought to light by Amazon, it seems like those problems are not unique to Fable and that GPT-5.5 can also achieve those. A lot of people in the industry are asking, “Why Anthropic?”
A real element of this is that it’s always Anthropic. Anthropic has the most contentious relationship with the Trump administration. They were designated a supply chain risk by the Department of Defense, but the posture here is different from the usual Anthropic drama.
Historically, Anthropic has said, “We don’t want you to use our tools for X, Y, and Z.” And the Trump administration has said, “No, we get to do whatever we want with the AI tools.” That’s why Anthropic was designated supply chain risk by the Department of Defense. They said, “We have some red lines about how we want to be used in the military context.” Pete Hegseth said, “Nope, I’m going to do whatever I want. You have to allow all lawful purposes” — that’s the line — “and because you won’t, you’re a supply chain risk.” There’s now a lawsuit that’s being argued about.
Here it’s the opposite. The Trump administration is worried that the model is too powerful and can be used for too many things, and Anthropic seems to think that that belief is overblown, that the administration is overplaying a thing that they can fix. They just need the time to do it and some rigor and conversation about how effective their fix is.
How do you put that together? On the one hand, the Trump administration is anti-AI regulatory efforts. On the one hand, they say, “We get to do whatever we want with the models, make them as powerful as you can.” And then here the model is too powerful and has to be pulled before any foreign national can even look at it.
It really just speaks to the fact that the administration is trusting these companies to tell it what it should be doing. We’ve seen that a bunch with any regulation that has happened or has become voluntary. Lots of drafts have been adjusted after the Trump administration talks to AI companies. They already don’t like Anthropic. There’s already a big trust breakdown between the two from the supply chain risk situation, from the lawsuit, from drawing red lines.
I can’t imagine that this exact situation would have played out if this had been a competitor. OpenAI has a Mythos semi-equivalent model of its own. Again, no company is really saying theirs is as good as Mythos, but they say it’s pretty good. The freakout would have still happened, but I cannot imagine the rest of it would have played out the way it has. The Trump admin would have given them more time. They would have had more of a conversation and I don’t think they would have made this foreign nationals rule that has sent shockwaves through the whole industry and the world.
One of the sources I spoke with said that he already knew that backup contracts were being signed with non-US companies right now. Open weight models were being deployed on alternative hardware arrangements because now companies everywhere are saying, “Oh wow, we’ve got to make political risk part of our business plan now. We don’t really know what’s going to happen with American AI. Let’s make some backup plans here,” which is not good for the industry. It’s just interesting that the Trump administration is so afraid of China overtaking us, yet they’re willing to kneecap one of their champions, as it were, in the industry.
But I also think it’s interesting that the reasoning from the Trump administration that’s been coming out day by day seems to differ. Every day they seem to have a new excuse or part of the conversation that’s coming to light. First they say, “Oh, well, what if China had access?“ A source I spoke with said that’s a rumor from a few weeks ago, from way before Fable 5 or Mythos 5 came out and that it was referencing a Chinese telecom company that the administration had previously approved to have access to Mythos Preview and that when the administration said, “Oh, actually, you know what? We changed our mind. Let’s take them off,” Anthropic immediately took them off and revoked that access. That’s an old rumor.
We’re also seeing the executive order explanation, where rumors have come to light that Anthropic wasn’t complying with the Trump administration’s executive order. Well, that executive order hasn’t gone into effect yet. He only signed it on June 2nd. It’s two weeks ago. It takes 60 days for them to figure out which models are going to be covered under it. There is a voluntary partnership with a 30-day pre-release review. It’s voluntary.
It’s funny because I’m not saying Anthropic’s totally in the right here at all. But it’s just interesting because in this situation, there’s so much misdirection and scrambling and just weirdness that it’s rare that you see me feeling bad for an AI company. It really is. I am not like, “Oh yeah, they’re doing great.” All AI companies have their own issues, but in this one case, I’m saying, “Wow, I really don’t know if this would have happened to OpenAI or another competitor, after all the drama Anthropic’s been going through with the Trump administration.”
We know the Trump admin can be petty and I think they would’ve freaked out for any company that was under this situation, but I can’t see it playing out the exact same way with a competitor.
Is it just as simple as Dario Amodei doesn’t go to the White House? He doesn’t give Trump gifts? I mean, Sam Altman does press conferences with Donald Trump. Sundar Pichai attended the inauguration.
Zuckerberg was at the UFC fight.
[Laughs] Notable AI winner Mark Zuckerberg was at the UFC fight trying to buy his way into success. Is it just as simple as there’s a personality clash here?
That’s the way it’s been perceived by some reports. That’s definitely part of it. Some reports have said Dario doesn’t know how to talk to the administration and that he doesn’t kowtow as much. He doesn’t know how to play the game. That’s part of it.
The other part of it is that the Trump administration isn’t quite sure how they’re going to regulate AI and President Trump is being pulled in different directions. Sometimes he feels like it needs to be more regulated. Sometimes he thinks it needs to be less. If he’s talking to an AI CEO, it seems like he’s like, “Yeah, you know what? I trust them. We’re good. Let them go ahead. We got to beat China.”
In other cases, he sees that the public is going through a pretty anti-AI era right now. There’s a rise in AI populism and he’s saying, “Oh, well, actually the everyman doesn’t like AI. Maybe I should regulate it.”
It’s something we’ve seen with the administration a bunch over the past however many years, but now it’s being represented in AI regulation. It’s just there’s not really a rhyme or reason right now. I don’t think that Anthropic’s communications with the administration help. If you don’t take their call the second they call, if you’re not flying to the White House to have dinner, it probably hurts your relationship a little bit in a presidency that seems to be pretty relationship-based a lot of the time.
I would contrast that with the previous administration, which was almost devoid of personality. The Biden administration, notable for a lack of personality and people, was very technocratic and very rules based in a way that I think people often thought was bloodless.
But the Biden administration did put forward an executive order that had things like transparency reviews and research requirements for the frontier models. Trump came into office, and he wiped all that out. He said, “We’re not going to regulate these companies.” And now it seems like we’re just headed back there.
If you’re going to put out an ultra-powerful model, the administration wants control of it. Certainly they will use the bluntest instrument they have in the form of export controls, but we’re going to get back to a more fine-grained, more rigorous approach to how these models are deployed and used and who gets to use them. Was it a mistake to wipe out the Biden framework? Are we headed back to that framework? Where do we think this goes now?
I could see us going back there because I interviewed a ton of people in the industry at the time, ranging across a ton of different viewpoints, and most of them believed that the Biden era executive order wasn’t quite enough. Some people thought it was a good first step and that’s why I could see us going back there because it wasn’t seen as being extremely aggressive.
If anything, it was seen as being a good first step in the direction, but really just one rung on the ladder. That’s why I could see the current administration going back there because it wasn’t that far. I will say AI companies will lobby against even that little step.
They did. They were pretty mad about it.
They did. They did deeply. But from the executive order we just saw, I could see it going back there, but a little more voluntary, which, again, all these things usually get watered down. It’s like they come out swinging and then they talk to some AI CEOs and they’re like, “Oh, okay, let’s roll it back a little bit.” So who knows, honestly.
But the reason I became an AI reporter is because I felt like there was no real regulation in the space, and this was even before ChatGPT. Journalism is a way to shine a light on what’s going on in the industry. Still, six years later, we’re not seeing a lot of regulation and any that has happened got rolled back. Maybe we’ll go back in that direction. I do see us going somewhere there, but maybe not even as much as that first rung.
It almost feels like the industry needs to push for a more considered regulatory approach, right? They need to say, “This is chaos. This can’t be how we operate. Every new model can’t be forced to contend with panicked phone calls on the weekend.”
What kind of system would you build if you wanted a more rigorous review process here? Is it that they just submit their models to the government and the government says what’s dangerous and not? Is it more industry-based? What are the solutions being proposed?
That’s a good question. There haven’t been a lot of really robust solutions proposed recently because of this current administration. They’ve had a really light touch approach to regulation so no one’s really surfacing those. Now that that might be changing, we’ll see more robust frameworks proposed.
I just hope that they’re not voluntary. AI companies already do a lot of voluntary disclosure. If you’re going to regulate, do it. There are a lot of different opinions on how light touch or heavy touch regulation should be, but I do think that voluntary frameworks are pretty watered down. You know what I mean? We already have those.
So what’s next? It’s important to remember how the general public feels because this is who AI is really affecting at the end of the day. There’s a rise in anti-AI populism and the fact that people are upset. There are data center protests going on everywhere. People are even, in extreme cases, attacking AI CEO’s homes, or at least attempting to. There is a lot of disquiet here and people feel like they’re getting replaced. They feel like their jobs are getting replaced. I was listening to a Seattle city council hearing recently and a lot of AI engineers were testifying saying that they got laid off because of AI and they were engineers.
Both AI leaders and the government often are pretty distanced from what the general public is feeling about this technology and it’s important to note. We’ll see how that impacts, if at all, regulation that comes out. I don’t have high hopes for a lot of regulation under this administration because they can be really sway-ey. They have dinner one time and then things might shift a little bit. To be fair, many politicians are that way, but we’ll see. Maybe after this executive order’s 60 days are up, we’ll see some changes that surprise me.
One of the weirder aspects of this is that Anthropic itself is the company that most pushes for regulation, that most sounds the alarm, is the most doomer-ish of all the companies. Jack Clark, one of the co-founders of Anthropic, recently put out research and his conclusion was that, “We believe it would be good for the world to have the option to slow or temporarily pause frontier AI development to enable societal structures and alignment research to keep up with the advance of the technology.”
Anthropic is way on the front line of saying, “Oh, we might kill everyone. Boy, we should stop this.” But they’re also on the front line of model capability. By all accounts, Mythos is the most powerful model that exists today. Is Anthropic just getting itself in trouble? Is this just a marketing strategy for them that’s backfiring?
It’s a combination. The marketing speak is definitely backfiring. If you say something’s that dangerous and then a researcher unearths something that maybe wasn’t quite meant to be possible, then yeah, people are going to freak out. That’s why I can see the first thing happening to anyone. I can’t see the rest of it the way that the cards fell.
But it’s partly there, it came back to haunt them. It was a little bit on them in terms of the hype, but I also think that they are trying to be honest in some ways about the risk that this technology can pose. And it would be really bad if a system that can flag high level vulnerabilities in our global infrastructure that we use, like your bank system or a government website, could just be used by bad actors. If it fell into the wrong hands, yeah, that’s pretty bad.
It comes down to communication. It’s important to talk about the risks and not downplay them, but also if you do that and then you make a mistake or something unexpected happens, you have to deal with the consequences. There’s a lot to unpack there, for sure. I also think that a lot of companies do downplay risks of different systems. We’ve seen a bunch of AI CEOs, including Anthropic’s, talk about how jobs aren’t all going to be replaced, saying it’s going to be okay.
I always take all this stuff with a huge grain of salt. At the end of the day, whatever AI company you’re talking about, whether it’s Anthropic or another one, they all have the incentives to turn a profit and make money at all costs — especially if they become a public company, which they are about to. People like to paint Anthropic one way and other competitors another, but they’re all pursuing the same goal. They just are doing it a little bit differently.
Is there a version of this where we just treat AI like military technology from the jump, and the public gets a watered down version of the military technology? Because that seems to be the risk profile that the Trump administration is operating within. Like this is fundamentally offensive technology. We can deploy it against our enemies. We can use it to attack the banks. Everyone is worried about the security implications here.
Is there a world in which we just start there and then say, “To deploy to the public, to consumers, you have to cut this way down. We’re not going to sell F22s to the public, but we can sell Ford Raptors to the public.” There’s some version of this, right? Where the technology gets cut way down for the public with the bleeding edge just fundamentally for the military.
That’s what we’ve seen a lot for decades and it’s starting to happen now with Mythos. Fable is the watered-down version and enterprise and governments have access to the more powerful version. There are a lot of different opinions on that. One of OpenAI’s biggest marketing pushes right now is, “Oh, Anthropic wants the most powerful AI to only be in the hands of the elites and we want to bring it to the public.”
So there are a bunch of different marketing pushes right now. Everyone’s just using everything to their advantage to paint their competitors badly, Anthropic included. The race is just heating up so intensely that the AI companies at the forefront are doing anything they can to win at all costs. For some, it’s because they think that they are the best and most moral winner, which can always be a big issue as we’ve seen in every sci-fi or fantasy movie. The for-the-greater-good philosophy is typically used by the villain in the story.
There’s a big race happening right now and I totally agree with Jack Clark that it might be good to slow things down a bit. If everyone could agree — which is a huge long shot and especially it’d be very difficult to get other countries to agree as well. But we are definitely building the technology much faster than we can think about the implications of it and we have been for a long time.
I think it’s the first episode of *Decoder* where Dario Amodei was directly compared to Thanos, so that’s great.
[Laughs] To be fair, I was thinking about a villain from *Harry Potter* when I said that — Grindelwald.
Oh my gosh. All right. Well, Dario, if you want to come on and address these allegations, you’re more than welcome.
I also have to say, it’s not just Dario. All the AI CEOs are saying that, all of them. It’s crazy.
Where does this end? What are the next steps here? There are meetings happening this week. People are going to be hearing this on Thursday. There’s a chance Anthropic is just back on the market. There’s a chance it’s not. But after this, it seems like everybody wants a process. Where do you think this ends?
It’s very difficult to predict how this administration is going to act, as we saw with the supply chain risk situation. Even though a lot of government agencies were big fans of Claude, I thought that that was going to be rolled back eventually, but they just signed deals with seven other companies and said, “Okay, we’re good. Even if you guys were fans of Claude, whatever, here are seven other options for you.”
It’s anyone’s guess right now. I do think that the foreign nationals thing is going to be rolled back. I just can’t imagine that after all the hubbub that the administration has created about how American AI has to win, the Hegseth memo from January 9th arguing speed at all costs. I just think this administration is so focused on winning in AI that there’s no way they’re going to continue with that rule. I could see this becoming a personality game over the next few days. Anthropic compromises in some way, they try to communicate better. And then in a couple of days this gets rolled back.
But then I’ve seen some rumors that the Trump administration is trying to acquire a stake in Anthropic and OpenAI, an ownership stake. So there could be a lot of different “resolutions” to that here. We’ll see, but I definitely can’t foresee this as it exists right now continuing for more than a couple of days. The industry is just aghast at this situation.
Hayden, we’re going to obviously have to have you back very soon as this comes to a close. Thank you so much for being on *Decoder*.
Thanks so much.
*Questions or comments? Hit us up at decoder@theverge.com. We really do read every email!*
Decoder with Nilay Patel
A podcast from *The Verge* about big ideas and other problems.
Follow topics and authors from this story to see more like this in your personalized homepage feed and to receive email updates.
- Nilay Patel
-
-
-
-
-
-
関連記事
Anthropic、理解不能な輸出規制により影響を受ける
トランプ政権が外国人へのアクセス禁止を突然命じたため、Anthropic は Fable 5 や Mythos 5 の全ユーザー（米国在住者や自社従業員含む）への提供を停止せざるを得ず、同社は数週間かけてモデルの復旧に努めている。
Claude Mythos 5 を巡る争い：Anthropic がトランプ政権と輸出規制で対立
Anthropic は、トランプ政権から受けた輸出管理指令により、最新モデル「Mythos 5」および「Fable 5」へのアクセスを停止するよう命じられ、週末に政府と対立している。
米国は ASML の最高級半導体製造装置が中国にあると主張、ASML は否定
米国政府は ASML が開発した最先端の半導体製造装置が中国に存在すると主張している。これに対し、オランダの半導体装置大手である ASML 社は、同装置が中国にあるという事実はないと明確に否定している。
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み