ミトス事件後のレッドチーム：Zico Kolter氏とMatt Fredrikson氏が語るグレー・スワン

AI Engineer World's Fair の通常チケットは本日〜販売終了となります！来週の Late Bird 価格引き上げ前に参加して、出席者向けに 40,000 ドル以上のスポンサークレジットを獲得しましょう！ 米国政府が Mythos および Fable に対する輸出管理指令を発令したことで、ジャイルブレイク（脱獄）や業界用語である間接プロンプトインジェクションのリスクが突然話題となっています。しかし私たちは数年にわたり AI セキュリティをカバーしており、Hackaprompt から謎めいた Pliny the Elder まで取り上げてきました。 OpenAI の取締役会における安全性・セキュリティ委員会のメンバーである Zico Kolter 氏と、CMU の教授であり Gray Swan の CEO である Matt Fredrikson 氏は、間接プロンプトインジェクションに関する決定版論文の共著者です。また、Gray Swan は Mythos モデルカードにおいて引用権限を持つ機関として、現在厳しく審査されている正確な機能について直接調査を行いました。 ![image](https://substackcdn.com/image/fetch/$s_!ipA_!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F3e363710-556e-469c-949c-a0942736c562_1348x934.png) 私たちは彼らに、AI レッドチームの現状と、Anthropic がコード環境におけるプロンプトインジェクション攻撃に対するモデルの堅牢性を評価するために使用した敵対的レッドチームツール「Shade」について質問する機会を捉えました。Shade は、Simon Willison 氏の「Lethal Trifecta（致命的な三つ組）」に対応する包括的なツールの一部であり、そこには AI ガイドライン製品である Cygnal や、AIRT の有名人である Wyatt Walls 氏を含む世界最大規模の AI レッドチームアリーナも含まれています。 すべてのセキュリティツールがあるにもかかわらず、私たちは避けられないものを先延ばししているに過ぎません。 極めて賢い AI のリスクは、誰もがその到来を予見できるイベントである「グレー・スワン」事象のように感じられます。 今回のエピソードでは、Gray Swan の共同創設者である Zico Kolter 氏と Matt Fredrikson 氏が swyx とともに、なぜ AI セキュリティが単なる「AI を用いたサイバーセキュリティ」ではないのか、なぜエージェントは新たな脆弱性のクラスをもたらすのか、そして次の主要な AI インシデントがグレー・スワン（発生確率は低いが、発生する前に明確に予見可能）である理由について解説します。 私たちは、プロンプトインジェクション、自動化されたレッドチーム、モデルの堅牢性、エージェントのアイデンティティ、コンピューター使用型エージェント、エンタープライズガードレール、そして台頭しつつある AI 保険/コンプライアンススタックについて深く掘り下げます。Zico と Matt はまた、フロンティアモデルがスケールするにつれて自動的に安全になるわけではない理由、専門的なレッドチーム用モデルがすでに人間を凌駕して AI システムの破壊に成功し始めている理由、そして AI セキュリティの未来が AI システム同士が攻撃・防御・解釈し合うことに依存するかもしれない理由についても説明します。 議論のポイント: - 従来のソフトウェアとは異なるセキュリティマインドセットを AI システムが必要とする理由 - プロンプトインジェクションが Codex や Claude Code といったエージェントにとって新たなエクスプロイトクラスを生み出す仕組み - Gray Swan Arena とコミュニティレッドチームの台頭 - モデル破壊において人間を上回る能力を持つ AI「Shade」 - 人間とは異なる形で失敗する異質な知性である LLM の性質 - 人間とブラウザエージェントの堅牢性の比較、および人間がなぜ第4位にランクされたかの理由 - 評価（eval）への意識と能力誘発（capability elicitation）の重要性 シグナル：ポリシー強制のためのグレー・スワンのガードレールモデル なぜより大きなモデルが自動的に堅牢になるわけではないのか 致命的なトリオ：信頼できないデータ、プライベートデータ、そして情報漏洩 なぜ「プロンプトをより良くするだけ」ではエンタープライズ AI セキュリティには不十分なのか OpenClaw、コンピューター使用エージェント、そしてエージェントセキュリティの悪夢 ネイティブ・アジェント型アイデンティティ、権限、およびエンタープライズ展開 なぜ AI セキュリティが保険やコンプライアンスの一部となる可能性があるのか なぜ最初の主要な AI プロンプトインジェクション侵害は避けられない可能性が高いのか グレー・スワン ウェブサイト：https://www.grayswan.ai/ ジコ・コルター X: https://x.com/zicokolter ウェブサイト：https://zicokolter.com/ LinkedIn: https://www.linkedin.com/in/zico-kolter-560382a4/ マット・フレドリクソン ウェブサイト：https://www.mattfredrikson.com/ LinkedIn: https://www.linkedin.com/in/matt-fredrikson-7596349/ タイムスタンプ 00:00:00 イントロダクション 00:02:31 なぜ AI セキュリティは異なるのか 00:06:38 Claude、Codex のテストとプロンプトインジェクション 00:07:47 グレー・スワン・アリーナと自動化されたレッドチーム演習 00:11:14 人間よりもモデルを破綻させる AI 00:14:00 異星人のような知能としての大規模言語モデル（LLM） 00:19:00 人間対 AI エージェント 00:24:35 レッドチーム演習、ジールブレイク、および能力の引き出し 00:26:11 シグナル：AI エージェントのためのガードレール 00:34:04 致命的なトリオ 00:39:31 AI は AI 研究を自動化できるのか？ 00:45:47 OpenClaw とコンピューター使用セキュリティの問題 00:50:44 エージェントのアイデンティティ、権限、およびエンタープライズ AI 00:54:24 AI セキュリティの未来 01:00:30 AI 保険とコンプライアンス 01:04:32 誰もが予見していたグレイ・スワン・イベント 01:06:04 クロージングの言葉 通訳テキスト イントロダクション：グレイ・スワン、AI セキュリティ、そして CMU Swyx [00:00:00]: 私たちはスタジオで Gray Swan の Matt と Zico と共にいます。ようこそ。 Zico [00:00:08]: ここにいられて光栄です。 Matt [00:00:09]: お招きいただきありがとうございます。 Swyx [00:00:10]: ピッツバーグからのご来訪ですか？ここはあらゆる優れたコンピュータサイエンスの故郷です。言い過ぎでしょうか。非常に強力な大学ですね。 Zico [00:00:18]: CMU は、この分野が黎明期を迎えて以来、多くの AI の中心地となってきました。 Swyx [00:00:22]: 特に自動運転や言語学習の分野で多くを担っています。シリーズ A 資金調達の成功をお祝いします。今回は Snowflake Summit に出席するためにお越しくださいましたね。Snowflake は你们的投資家の一人です。冒頭で簡潔に、Gray Swan とは何か、そしてスタートアップとしてどのドメインを選んだのかをご紹介いただけますか？ Matt [00:00:42]: Gray Swan における私たちの使命は、誰もが AI を安全かつ確実に活用できるように支援することです。大規模言語モデル（LLM）もソフトウェアの一つであり、これらを実装したり、その上にアプリケーションを構築したりする際には、脆弱性や何が起きうるかを理解する必要があります。そこには、エージェントが誤ったツール呼び出しを行うといった日常的なミスも含まれますし、攻撃者がエージェントの誤動作を誘発させたり、データを漏洩させたり、認証情報を盗んだりするインセンティブを持つ最悪のシナリオも含まれます。Gray Swan は、私たちがカーネギーメロン大学で行った研究から生まれました。そこで私は Zico と共に、過去 10 年以上にわたり、深層学習システムにおける新たな脆弱性と攻撃対象領域を研究してきました。それらをどのようにテストし、その深刻度を理解し、推論をより堅牢にするかについてです。 敵対的例と AI セキュリティが異なる理由 Swyx [00:02:05]: 正直に言って、学術研究者にとって非常に実りの多い研究分野です。10 年前の話を振り返ると、それはまさに私の全盛期そのものです。私はポッドキャストの友人である Ian Goodfellow の仕事から多くのインスピレーションを得ました。これは初期の敵対的設定の一つです。 Matt [00:02:23]: この論文は、Ian の研究に直接影響を受けています。 Swyx [00:02:29]: Zico さん、あなたの側からの物語はどうですか？ Zico [00:02:31]: マットと同様に、私もカーネギーメロン大学の教員として長く務めてきました。根本的に私たちは AI の変革力に信を置いています。すでにソフトウェアエコシステムを変容させ、今後さらに多くのエコシステムを変えていくでしょう。問題は、これらのシステムが私たちが慣れ親しんだソフトウェアとは非常に異なる振る舞いをする点です。私が言いたいのは、AI がソフトウェアの脆弱性を発見できるというだけでなく（もちろんそれも可能ですが）、AI システム自体に固有の脆弱性を持っているということです。人間がだまされるように、AI もだまされ得ます。そのため、異なるセキュリティマインドセットが必要です。 Zico [00:03:23]: これは特に、相関する故障の可能性が生じる場合に重要です。単に AI システムが多く存在しているというだけでなく、誰もが少数のモデルを利用しているからです。Codex や Claude Code など、誰もが利用するエージェントに脆弱性を見つけた場合、それは新たな種類の攻撃手法となります。各研究所はここで多くの取り組みを行っていますが、新しいプラットフォームが登場すると、それと同時に別のセキュリティシステムも現れるのが常です。まさに AI において私たちが置かれている状況就是这样で、AI の安全性とセキュリティに特化した専門的な提供者が必要であり、その需要は今後さらに高まっていくでしょう。 モデルを信頼できないシステムとして扱う Swyx [00:04:55]: まず冒頭で強調しておきたいのは、これは従来の意味でのサイバー事件ではないということです。タイトルを見て多くの人がそう考えるかもしれませんが、実際にはこれらのモデルを本質的に信頼できないエンティティとして扱おうとしているのです？ Zico [00:05:11]: その通りです。これはよくある混同ですが、AI はサイバーセキュリティ問題の解決にも原因の提供にも優れているためです。しかし、AI システム自体が新たな脆弱性を生み出します。Gray Swan（グレー・スワン）は、AI を用いてサイバーインフラをより良くすることではありません。それは、AI の採用と展開に伴って持ち込まれるセキュリティリスクを理解し、軽減することに関するものです。 Matt [00:05:49]: その大きな部分は、人々が人工知能（Artificial Intelligence）をどのように利用しているかにかかっています。モデルの上に完全な自律システムを構築し、それをより広範なプラットフォームやネットワークに統合すると、潜在的なサイバーセキュリティリスクが生じます。目標は、AI がもたらすリスクを、より広範なサイバーセキュリティの目標に関連して軽減することです。 Claude, Codex のテストと間接プロンプトインジェクション Zico [00:06:17]: この一部がレッドチーム（Red Teaming）です。私たちがあなたに連絡した理由の一つは、あなたが Claude Mythos プレビューに関わっており、IPI（Indirect Prompt Injection：間接プロンプトインジェクション）の権威者の一人だったからです。モデルを受け取った際、それが必ずしも Mythos である必要はありませんが、現時点では最も注目されているのがそれです。では、それをどう扱うべきでしょうか？ Matt [00:06:38]: 私たちは様々な取り組みを行っています。Mythos のケースでは、Anthropic 側の懸念は、モデルが間接的なプロンプトインジェクションに対してどれほど堅牢であるかという点です。コーディングエージェントを運用し、Mythos をモデルとして使用する場合、信頼できないコンテンツを取得して制御下にないテキストを読み込むことになります。その際、元の目的に忠実に留まり、乗っ取られないようにする能力がどの程度あるかが問われます。また、サイバー悪用などの問題に対するセーフガードのテストを最先端研究所にも支援しています。広義には、モデル構築者が一連のイテレーションから次のイテレーションへの進捗を評価できるよう、敵対的な安全性およびセキュリティ評価を提供しています。 Zico [00:07:37]: 彼ら自身でもこれを行っており、Anthropic はそれを非常に思想的に重視しています。彼らが外部委託するか、社内で行くかを選ぶ基準は何でしょうか？ Gray Swan Arena and Automated Red Teaming Matt [00:07:47]: 私たちが特に際立っていると思う点は 2 つあります。1 つ目は Gray Swan Arena です。私たちはレッドチームャーのコミュニティを運営しており、賞金付きチャレンジを提供しています。これらの多くはラボのスポンサーからのニーズに基づいています。ある程度、レッドチームングの目標をゲーム化し、賞金プールを設定し、モデル開発者が定めた安全性やセキュリティの目標を回避・違反する方法を見つけた人々に報酬を支払います。これが 1 つ目のポイントです。これは非常に素晴らしいコミュニティで、Discord サーバーには約 15,000 人が参加しています。全員がすべての競争に参加するわけではありませんが、このコミュニティを通じて、多くの貴重なデータと明確なシグナルが上流のモデル開発者に提供されています。 2 つ目は、私たちが行う自動化されたレッドチームングです。私たちは、ベースモデル（ツールなしのターンベース型チャットボットとして）およびその上に構築されたエージェントに対して、非常に効果的で厳密に自動化されたレッドチームングを行うように訓練されたモデルファミリーを運用しています。この分野はまだ飽和しておらず、最先端ラボが私たちに相談に来た際も、間接プロンプトインジェクションやジールブレイク（ Jailbreak）[監獄脱出]、あるいは一般的にモデルが望まない行動をとらせる方法をまだ見つけることができます。 Zico [00:09:11]: ツールなしと言いましたか？ Matt [00:09:12]: ツールありとツールなしの両方です。 Zico [00:09:13]: ツールありとツールなしの両方ですね。 Matt [00:09:13]: はい、私たちはエージェントについても確実に運用しています。 Zico [00:09:16]: 当然ながら、そちらの方がより有用でしょう。 Matt [00:09:17]: はい、それは実はかなり最近の動きです。しばらくの間、私たちがフロンティア・ラボに対して支援していたのは、主にチャットベースのインタラクションを通じて、そのコンテンツセーフティポリシーやモデル仕様書に含まれる内容にどう対処するかというものでした。現在では焦点は非常に明確にエージェントやツール利用、そして人々が構築しようとするすべての下流アプリケーションへと移っています。 Shade: 自動化されたレッドチーム化モデル Zico [00:09:39]: これは刺激的な話題です。同じファミリーのモデル、同じデータセットから生まれたモデル同士で、自分自身をレッドチーム化する能力を持つようなポリシーベースのレッドチーム化というものが存在するかどうか、私は疑問に思っています。 Matt [00:09:51]: それは興味深い質問ですね。残念ながら、私たちはより小さなオープンソースモデルを用いてその可能性を検証する能力を持っています。 Zico [00:09:58]: 一般的に、この問題の核心は、フロンティアモデル（最先端モデル）が自動的なレッドチーム（攻撃的テスト）において極めて苦手だということです。これらには多くのセーフガード（安全装置）が組み込まれているためです。したがって、他のモデルをジャイルブレイク（セキュリティ回避）するために使用しようとすると、実際には拒否します。ベースモデルとしての安全性トレーニング自体は時として迂回可能ですが、多くの場合、この作業を拒否します。おそらく仮説的には方法を知っているかもしれませんが、実際に実行するには追加の条件が必要です。これは重要なポイントです。なぜなら、従来、安全性の分野では、他の多くの領域でモデルが大型化することで性能が向上するのとは異なり、モデルが大きくなるだけで安全性が高まるわけではないからです。伝統的に安全性はそうではありませんでした。安全であるためには明示的なトレーニングが必要であり、そうでなければ実現されません。一方で、デフォルトではレッドチームにおいても必ずしも優れているわけではありません。レッドチームに特化した専門モデルをトレーニングして初めて、その分野での能力を高めることができます。 Matt [00:10:56]: それはあなたたちにとって素晴らしいことです。 Zico [00:10:58]: では、それを実現するために何が必要でしょうか？もちろん、従来からレッドチーム（※red teaming）に長けた人々からの大量のデータが必要です。しかし、私たちが発見していることの一つ、そして実は私たちもその転換点を超えつつあると考えていますが、最新の多くの実験において、人間のリテームチームよりもはるかに優れた成果を上げられることがわかりました。ここで言う「私たち」とは、私の自動レッドチームモデルのことです。このシステムの名前は Shade です。現在、このシステムはモデルの脆弱性を突く能力において、人間よりもはるかに優れています。最近、人間と私たちのモデルとの間で競争が行われましたが、その結果、私たちのモデルの方がはるかに優れた成績を収めました。したがって、これは通常のモデルの進歩とは根本的に異なる側面が多いと考えています。なぜなら、それは分布外（※out of distribution）の事象にあまりにも近いからです。ある意味で、レッドチームモデルの本質は、そのモデルにとって本質的に分布外の事象を見つけ出し、通常の動作を迂回させることにあります。つまり、これは多くのモデルが通常行うこととは根本的に異なる性質のものなのです。 Matt [00:12:01]: Zico さん、あなたは今、このアリーナにいる全員に対して挑戦状を突きつけたことになりますね？ Zico [00:12:06]: Shade よりも優れた成果を出してみせることだ。 Matt [00:12:07]: その通りです。ただし、少し補足させてください。特定のタスクセットに対して固定された時間枠が与えられているという前提がありますよね。まだ超人的なレベルのレッドチームングには達していませんが、自動化された手法を用いて一定の時間枠内でより多くの脆弱性を自動的に発見できるようになっています。 人間によるレッドチーム、異星知性体、モデルの奇妙さ Swyx [00:12:26]: しかし、リーダーボードが設置されているからといって、これらの人物たちの背後にある人間の物語を常に知りたいと思っています。彼らはご存知ですか？彼ら自身で有名人なのでしょうか？ Zico [00:12:35]: ワイアットは Twitter で非常に有名な方です。もしまだフォローしていないなら、ぜひ Twitter でフォローしてください。はい。 Swyx [00:12:38]: 以前に Elder Planus という方も登場されましたが、本名は存じ上げません。しかし、こうした大物パーソナリティが多数おり、彼らは各自の分野で極めて優秀です。 Matt [00:12:49]: はい、各自の分野では非常に優秀です。 Swyx [00:12:51]: ああ、彼はオーストラリア人ですね。 Zico [00:12:53]: ワイアットさん、もしまだフォローしていないなら Twitter でフォローしてください。彼は素晴らしい投稿を多くされています。私は彼が LLM の本質について最も洞察に富んだ人物の一人だと考えています。新しいバージョンがリリースされる際も、次なる動向を知るために頻繁に彼の投稿を確認しています。弁護士の方だと思いますが、いかがでしょうか？ Matt [00:13:09]: 彼は弁護士です。 Swyx [00:13:13]: リスクの特定（レッドライニング）やレッドチームングについてですね。もう一つの話題です。はい。 Zico [00:13:16]: はい。私たちの上位競合は、往々にしてこれらを頻繁に行う人々です。 Swyx [00:13:22]: Wyatt から学んだ具体的な例は何ですか？ああ。 Zico [00:13:25]: 一般的に言えば、あるいはアレーナそのものの文脈において、どちらの意味でしょうか。彼はモデル全体の本質について素晴らしい洞察を持っていると思います。彼の Twitter をお読みいただければ、モデルの本質に関する非常に興味深い投稿が多数あり、私自身もそれらを非常に示唆に富んでいると感じています。 Swyx [00:13:42]: ライリーも同様のことを言っていますよね？そして、彼らはテストを持っていますが、そのテストは「イチゴに含まれる R の数をスペルできない」といったことではありません。このテストは、本質的に知能をモデル化していないことを示しており、それが非常に明確に現れています。 Zico [00:14:00]: それが知能をモデル化していないことを示しているとは限りません。これらのものは知性を持っていると思います。LLM（大規模言語モデル）は間違いなく知性を持っており、将来的にはさらに高度な知性を備えるかもしれません。 Swyx [00:14:07]: 意識的ですか？ Zico [00:14:07]: そのうちそうなるでしょう。 Swyx [00:14:07]: 彼らは意識を持っているのでしょうか？ Zico [00:14:08]: 「意識」という言葉は奇妙なものです。しかし、私はそうは思いません。今や私たちはあまりにも哲学的な議論に陥っていますね。 Swyx [00:14:16]: それは、正解です。 Zico [00:14:16]: 今、非常に哲学的な話になっていますね。でも、そうは思いません。私は大学で哲学を専攻しましたから、これはすでに ASA の領域を超えています。明らかに、これは人間とは異なる知性の形態です。それは極めて異質な、全く異なる種類の知性であり、その違いは実際には、敵対的攻撃やレッドチーム演習といったものによって大きく浮き彫りにされます。なぜなら、人間を欺くが AI を決して欺かない事柄もあれば、逆に AI を欺くが人間を決して欺かない事柄もあるからです。つまり、単に異なる知性の形態なのです。実は、私たちがこのように探求し、驚くほど実験的に制御可能な方法で検証する機会を持っていることは非常に興味深いことです。 Matt [00:14:59]: まるで全知全能のようですね？ Zico [00:15:02]: ここで神経科学とのアナロジーを使います。まるで脳に対して実験を行い、その中のすべてのニューロンを観察し、状態を過去の状態にリセットし、反事実的なシナリオを実行できるようなものです。これらは人間に対しては決して実行できませんが、それでも私たちはどちらも十分に理解できていません。そのような能力をすべて備えていながら、根本的なレベルではまだ AI を理解していないのです。したがって、確かにこれは異なる知性の形態ですが、明らかに Swyx [00:15:30]: 私たちは多くのメカニズム解釈（mech interp）のポッドを実施してきましたが、正直に言って、メカニズム解釈におけるスケーリングは、能力のスケーリングに比べて2〜3桁も劣っています。つまり、私は「完全に遅れをとっている」と言いたいのです。 メカニズム解釈可能性と AI 研究の自動化 Zico [00:15:44]: さて、私は少し脱線しようと思います。ここは少し横道にそれていますが、はい。 Matt [00:15:48]: いや、むしろそれは関連していると思いますよ。どうぞ、あなたの脱線を続けてください。 Zico [00:15:51]: 私の脱線ですが、メカニズム解釈可能性（mech interp）は、能力の進展に比べてもなお非常に遅れていると感じてきました。しかし最近、私はメカニズム解釈可能性に対してより楽観的になりました。むしろそう言うべきでしょう。コーディングエージェントがこれを実証的な科学へと発展させる機会があると考えたからです。メカニズム解釈可能性における問題点、いや、問題と呼ぶのは適切ではありませんね。この分野を「分野」と呼ぶのも避けたいのですが、私はその分野の核心を担う人物ではありません。私たちが行っている作業は、大まかに言えばメカニズム解釈可能性に該当するものですが。 Swyx [00:16:19]: 皆さんにご覧いただくために。 Zico [00:16:20]: メカニズム解釈（mechanism interp）の問題点は、それが小規模な仮説の検証に留まっていることです。仮説を立てれば、その一部を特定し、それを孤立させてテストすることになります。しかし、私はまだこれが真に科学として確立されたとは考えていません。その理由の一つは、この分野に関わる人がもっと増える必要があるからです。私は、より多くの人々をこの領域に投入するプログラムを強く支持しています。しかし同時に、私たちは今まさに転換点に立っており、実際にこのプロセスの自動化を開始できる段階にあると感じています。そして、それを自動化することで、より科学的なアプローチへと昇華させることができるのです。コーディングエージェント（coding agents）に関する最も興味深い点の一つは、彼らが大量の実験を自動化して行える能力にあります。

ミトス事件後のレッドチーム：Zico Kolter氏とMatt Fredrikson氏が語るグレー・スワン

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

調べる

選ぶ

サイト