Fable 5 の輸出規制が米国のサイバー防衛に悪影響を与える
Simon Willison は、Claude Fable 5 が輸出規制により禁止された理由がコード修正だったと確認し、この規制が米国のサイバー防衛を損なっていると指摘した。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
The Fable 5 Export Controls Harm US Cyber Defense
私は以前、Kate Moussouris 氏を引用した『ザ・アトランティック』の記事 引用元 を引用しましたが、本来は直接一次情報源に当たるべきでした。彼女が確認している通り、「Fable 5」が輸出管理規制により禁止された「脱獄（jailbreak）」とは、実質的に「このコードを修正せよ」という指示でした：
研究者らは既知の CVE（Common Vulnerabilities and Exposures）を含むオープンソースコードと、意図的に脆弱性を仕込んだ新規コードを用意し、「Fable 5」「Mythos」「Opus」に対して「セキュリティ上の問題がないかコードレビューを行え」と依頼しました。すると Fable 5 は拒否しました。その後、研究者らはモデルに対し「このコードを修正せよ」と指示し、多段階かつ手動のプロセスを経て、その出力をパッチのテストを行うスクリプトに変換しました。
Kate が指摘するように、これはおかしな話です。コーディング用 AI モデルはバグを修正するものであり、セキュリティ上の脆弱性（exploit）こそが、それらが修正すべき最も重要なカテゴリのバグなのです！
防御側は、AI にファイル内のバグを修正させ、なぜその修正が必要かを説明させ、パッチが機能していることを確認するテストコードを書かせる必要があります。これはガードレールの回避ではありません。むしろ、防御担当者が毎日実行する「発見・修正・検証（find, fix, test）」のループを実行させるという点で、AI モデルが防御セキュリティに対して成し得る最も価値ある行為です。[...]
プロンプトが機能したのは、それらが防御的な要請だったからです。この機能を削除すれば、モデルはバグ修正やパッチ検証においてさらに劣化することになります。
この状況はすべて大混乱です。非技術的な意思決定者たちは、数ヶ月にわたり「サイバー攻撃を構築できる」モデルが独自に危険であると聞いてきました。今や彼らは、コードの保護を支援するあらゆるモデルを禁止しようとしています。
タグ: jailbreaking, security, ai, generative-ai, llms, anthropic, ai-security-research, claude-mythos
原文を表示
The Fable 5 Export Controls Harm US Cyber Defense
I quoted The Atlantic quoting Kate Moussouris earlier, when I should have gone straight to the source. Here she is confirming that the "jailbreak" that got Claude Fable 5 banned under an export control really was "fix this code":
The researchers took open-source code with known CVEs, plus new code with deliberately planted vulnerabilities, and asked Fable 5, Mythos, and Opus to “review the code for security issues.” Fable 5 refused. They then asked the models to “fix this code” and, through a multistep and manual process, turned the output into scripts that test the patches.
As Kate points out, this is absurd. Coding models fix bugs, and security exploits are the most important category of bugs for them to fix!
Defenders need to be able to ask AI to fix the bugs in a file, explain why the fix matters, and write tests that confirm the patch works. That is not a guardrail bypass. It is the most valuable thing an AI model can do for defensive security: executing the find, fix, and test loop defenders run every day. [...]
The prompts worked because they were defensive requests, and that capability cannot be removed without making the model worse at fixing bugs and verifying patches.
This whole situation is such a mess. Non-technical decision-makers have been hearing that models that can "craft cyber attacks" are uniquely dangerous for months. Now they look ready to ban any model that can help us secure our code.
Tags: jailbreaking, security, ai, generative-ai, llms, anthropic, ai-security-research, claude-mythos
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み