アンソロピックの安全警告が逆効果に、政府が最も強力な AI の稼働を停止
米国政府は、AI 企業アンソロピックが発表した安全性に関する警告が逆効果となったと判断し、同社が保有する最も強力な人工知能システムの稼働を停止した。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
米国政府は金曜日、国家安全保障上の懸念を理由に、Anthropic に対し、同社が持つ最も強力な AI モデルの 2 つである Claude Fable 5 と Claude Mythos 5 へのアクセスを直ちに停止するよう命令しました。Anthropic は X でこれに従ったことを発表しましたが、政府が今回の対応を誤っていると明確に示しました。
Anthropic は金曜日の午後 5 時 21 分（東部標準時）にこの指示を受け取ったと述べており、これにより同社は世界中のすべてのユーザーに対して両モデルの機能を無効化しなければなりません。これは政府の輸出管理命令が名目上対象としていた外国人のみならず、国内の利用者にも適用されます。Anthropic の他のモデルへのアクセスには影響はありません。
なぜこれが重要なのか？Mythos は Anthropic が持つ最も能力の高い AI モデルであり、同社は 4 月初めに プレビュー を公開したものの、ソフトウェア内のセキュリティ脆弱性を発見する際の特異な能力を Anthropic が指摘したため、以来 厳重に制限 され続けてきた。Anthropic によると、Mythos はテストした主要なオペレーティングシステムおよび Web ブラウザのすべてで欠陥を特定したため、広く公開するのではなく、同社は「Project Glasswing」と呼ばれる管理されたプログラムを開始し、Amazon、Apple、Google、Microsoft、CrowdStrike など約 50 の審査済みの組織に共有し、防御的なサイバーセキュリティ作業のために使用させた。
3 日前にリリースされた Fable 5 は、明白な商業的圧力に対する Anthropic の回答であった：同社は、Mythos をベースとしつつ、サイバーセキュリティや生物学といった高リスク領域での応答をブロックするガードレール（安全装置）を搭載したバージョンであり、一般公開しても安全だと主張した。Vals AI 社によるベンチマークテストによると、これは直ちに一般利用可能な最も能力の高い AI モデルとなった。
image画像クレジット： Vals AI /
政府の指示は、外国籍の人々へのモデルアクセスを制限する輸出管理措置として位置づけられています。しかし、Anthropic は 長文のブログ投稿 で、根本的な懸念は Fable 5 の jailbreak（ Jailbreak: 安全装置の回避）が主張されているという理解であると述べています。同社によると、政府が提供したのは「潜在的な限定的で普遍的ではない jailbreak」に関する口頭証拠のみであり、Anthropic が説明するように、これはモデルに特定のコードベースを読み込ませてソフトウェア上の欠陥を特定させるプロンプトを与えることにほかなりません。また同社は、この「能力レベル」は OpenAI の GPT-5.5 を含む他の公衆アクセス可能なモデルでもすでに広く利用可能であると付け加えています。さらに Anthropic は、これはサイバーセキュリティの専門家によって防御目的で日常的に使用されているとも述べています。
Anthropic のより広範な主張は、同社の最も強力な安全対策が、モデル自体とは独立して機能する分類器システムを通じて実現されており、たとえ誰かが Fable に拒否を無視して話し続けさせたとしても、最も危険な出力に対する根本的な保護は依然として有効であるという点にあります。
明らかに、これらの措置は政府の行動を止めるには不十分でした。アンソロピックもその不満を隠していません。「限定的な潜在的な Jailbreak（セキュリティ回避）の発見が、数億人に展開されている商用モデルの回収理由となるべきではない」と同社は述べています。「この基準が業界全体に適用された場合、すべてのフロンティア・モデル・プロバイダーにとって、新たなモデルの展開が事実上停止されることになるでしょう。」
アンソロピックは今年 IPO（株式公開）を達成すると広く予想されており、その公的なアイデンティティの多くを、競合他社に対する安全性に配慮した代替案であることに賭けています。皮肉なことに、観察者たちは、ミソス（Mythos）というモデルを制限する際にアンソロピックが示した慎重さ——これは公開リリースできないほど危険なモデルとして同社が宣伝していたものですが——が、現在、その事業に最も大きな打撃を与える可能性のある政府の監視をまさに引き寄せたことに気づいています。
少なくとも、OpenAI のサム・アルトマンはこれを喜んでいるに違いない。4 月、彼はポッドキャスターのアシュリー・ヴァンスに対し、Anthropic の Mythos への対応を「恐怖に基づくマーケティング」と評した。「『爆弾を作った。今にもお前の頭に落とすところだった。1 億ドルで爆弾シェルターを売ろう』と言うのは、明らかに素晴らしいマーケティングだ」とアルトマンは語った。同社が間もなく IPO（株式公開）を目指すことも広く予想されているが、アルトマンは政府の停止を予測したわけではない。しかし今、Anthropic に跳ね返っている事象を彼は指摘している。つまり、数ヶ月にわたり自社の AI が他とは異なるほど危険だと世界に訴え続けた場合、世界（米国政府を含む）はそれを聞き入れる傾向があるのだ。
当記事内のリンクを通じて購入された場合、私たちは少額のコミッションを受け取る可能性があります。これは当社の編集の独立性には影響しません。
ロイゾスは 1990 年代後半からシリコンバレーの報道を行っており、その当時彼女はオリジナルの『Red Herring』誌に参加した。以前は TechCrunch のシリコンバレー編集長を務め、2023 年 9 月には編集長兼総務に就任した。また、2023 年 8 月に Yahoo に買収され、現在は TechCrunch のサブブランドとして運営されている日次電子ニュースレターおよび講義シリーズ『StrictlyVC』の創設者でもある。
Loizos has been reporting on Silicon Valley since the late '90s, when she joined the original Red Herring magazine. Previously the Silicon Valley Editor of TechCrunch, she was named Editor in Chief and General Manager of TechCrunch in September 2023. She's also the founder of StrictlyVC, a daily e-newsletter and lecture series acquired by Yahoo in August 2023 and now operated as a sub brand of TechCrunch.
Connie からの連絡や確認は、connie@strictlyvc.com または connie@techcrunch.com へメールを送るか、Signal の ConnieLoizos.53 で暗号化メッセージを送信してください。
原文を表示
The U.S. government on Friday ordered Anthropic to immediately shut off access to two of its most powerful AI models — Claude Fable 5 and Claude Mythos 5 — citing national security concerns. Anthropic announced on X that it has complied, but it made clear it thinks the government got this one wrong.
The directive, which Anthropic said it received on Friday at 5:21 pm ET, forces the company to disable both models for all users worldwide — not just the foreign nationals the government’s export control order was nominally aimed at. Access to Anthropic’s other models isn’t affected.
Why does any of this matter? Mythos is Anthropic’s most capable AI model, one the company previewed in early April and has kept tightly restricted ever since because of what Anthropic described as its exceptional ability to find security vulnerabilities in software. According to Anthropic, Mythos identified flaws in every major operating system and web browser it tested, so rather than release it broadly, the company launched a controlled program called Project Glasswing, sharing it with roughly 50 vetted organizations, including Amazon, Apple, Google, Microsoft, and CrowdStrike, to use for defensive cybersecurity work.
Fable 5, released just three days ago, was Anthropic’s answer to the obvious commercial pressure: a version of Mythos fitted with guardrails that block responses in high-risk areas like cybersecurity and biology, making it safe enough for general release, the company argued. It was immediately the most capable AI model available to the public, according to benchmark tests from Vals AI, a company that tracks AI tech performance.
The government’s directive is framed as an export control action, restricting foreign national access to the models. But in a lengthy blog post, Anthropic says its understanding is that the underlying concern is a claimed jailbreak of Fable 5. So far, the company says, the government has provided only verbal evidence of a “potential narrow, non-universal jailbreak” — one that, as Anthropic describes it, amounts to prompting the model to read a specific codebase and identify software flaws. And by the way, adds the company, it’s a “level of capability” that’s already widely available in other publicly accessible models, including OpenAI’s GPT-5.5. It’s also used routinely by cybersecurity professionals for defensive purposes, says Anthropic.
Anthropic’s broader argument is that its strongest safeguards operate through independent classifier systems that function separately from the model itself, meaning that even if someone convinces Fable to keep talking past a refusal, the underlying protections against the most dangerous outputs remain in place.
Clearly, none of that was enough to stop the government from acting, and Anthropic isn’t hiding its frustration. “We disagree that the finding of a narrow potential jailbreak should be cause for recalling a commercial model deployed to hundreds of millions of people,” the company wrote. “If this standard was applied across the industry, we believe it would essentially halt all new model deployments for all frontier model providers.”
Anthropic is widely expected to pursue an IPO this year and has staked much of its public identity on being the safety-conscious alternative to its rivals. The irony isn’t lost on observers that the very caution Anthropic displayed in restricting Mythos — which it promoted as a model so dangerous it couldn’t be released publicly — has now apparently attracted exactly the kind of government scrutiny that could disrupt its business most.
OpenAI’s Sam Altman must be enjoying this, at least. In April, he told podcaster Ashlee Vance that Anthropic’s handling of Mythos amounted to “fear-based marketing.” “It is clearly incredible marketing to say, ‘We have built a bomb. We were about to drop it on your head. We will sell you a bomb shelter for $100 million,’” Altman said. Altman, whose company is also widely expected to pursue an IPO as soon as possible, didn’t predict a government shutdown, but he identified something that has come back to bite Anthropic for now, which is that when you spend months telling the world your AI is uniquely dangerous, the world — the U.S. government included — tends to listen.
*When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.*
Loizos has been reporting on Silicon Valley since the late ’90s, when she joined the original Red Herring magazine. Previously the Silicon Valley Editor of TechCrunch, she was named Editor in Chief and General Manager of TechCrunch in September 2023. She’s also the founder of StrictlyVC, a daily e-newsletter and lecture series acquired by Yahoo in August 2023 and now operated as a sub brand of TechCrunch.
You can contact or verify outreach from Connie by emailing connie@strictlyvc.com or connie@techcrunch.com, or via encrypted message at ConnieLoizos.53 on Signal.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み