AI エージェントの未来をセキュリティする（7 分読了）

2026 年 6 月 18 日 責任と安全性 ローヒン・シャフとフォー・フライ ますます能力が高まり、完全に整合が取れていない AI に対して内部システムをどのように守るか AI エージェントは、私たちがテクノロジーと関わる関係を根本から変えています。サイバー防衛から科学発見、製品開発に至るまで、複雑なタスクを自律的に実行することで、これらのシステムは新たな生産性の時代を開いています。米国だけでも、2030 年までに AI エージェントが経済価値として 2.9 [兆ドル](https://www.mckinsey.com/mgi/our-research/agents-robots-and-us-skill-partnerships-in-the-age-of-ai#/) を生み出す可能性があります。 これらのエージェントの能力が高まるにつれ、より洗練された安全対策も必要となります。そこで私たちは、[AI コントロール・ロードマップ](https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/securing-the-future-of-ai-agents/gdm-ai-control-roadmap.pdf)を開発しました。これは、Google 内で展開する高度な AI を構築し管理するための枠組みです。この「多層防御」アプローチは業界全体の手本となり得るものであり、従来のモデルの整合性（alignment）を超え、整合性が完璧でなくても安心感を提供する重要なシステムレベルのセキュリティ層を追加しています。 ## AI コントロールの理解 セキュリティへのアプローチは、サンドボックス化、エンドポイントセキュリティ、プロンプトインジェクション耐性といった従来の safeguards を取り入れた堅固な基盤から始まります。これに加え、AI Control Roadmap（AI コントールロードマップ）では、モデルアライメント、つまり AI 自体を本質的に安全で有益になるように訓練することを主要な防御手段として採用しています。これは内部エージェントがアライメント（目標との整合性）に欠ける可能性があると想定し、アライメントが完璧でなくても安心を提供する追加のセキュリティ層となります。 これは二重制御装置を持つ運転指導者に例えることができます。指導者は生徒を信頼しますが、ミスが発生した際にハンドルを握り直したりブレーキをかけたりする準備は常にできています。同様に、当社の AI コントロールシステムは、AI エージェントが検証された行動に基づいて権限を付与し、制御された段階的なアクセスを通じて信頼を構築することを可能にします。 私たちのロードマップは、非常に能力の高い AI エージェントが目標と整合しておらず、予期せぬ行動をとるかもしれないという、シンプルだが慎重な仮定に基づいています。これに対処するため、当社の計画は 3 つの主要領域に焦点を当てています。 まず、サイバーセキュリティのベストプラクティスに従い、AI 向けの新たな脅威モデリングフレームワークを開発しました。このロードマップでは、信頼できない AI エージェントを潜在的な「内部脅威」として扱います。これは、すでにオフィスへのアクセス権を持つ潜在的な暴走社員を企業が扱うのと同じ考え方です。業界標準である [MITRE ATT&CK](https://attack.mitre.org/) フレームワーク（現実世界の観察に基づいた敵対者の戦術と技術に関するグローバルにアクセス可能なナレッジベース）を基盤とし、潜在的な攻撃をより小さな戦術と技術に分解します。これにより、リスクを体系的に追跡し、被害が発生する前に悪意のある行動を検出し、防御が実際に機能するかをテストするための安全な訓練を実行することが可能になります。 次に、これらのリスクに対処するために AI コントロールの緩和策を展開する計画を開発しました。 - 問題の特定（検出）：監視は AI コントロールの中核です。私たちは他の信頼できる AI システムを「監督者」として使用し、動作中のエージェントの推論、行動、計画を常に見直し、軌道から外れていないかを確認します。 - 問題の管理（予防と対応）：もし監督者がエージェントが有害な行為を試みているのを発見した場合、被害が発生する前にその行動をブロックするために介入できます。 最後に、システムが機能していることを確保するため、私たちは常に3つの重要な指標のパフォーマンスを測定し続けます。それは、カバレッジ（監視されるトラフィックの割合）、リコール（検出された整合性の取れない行動の割合）、そして対応までの時間です。 ## AI が賢くなるにつれてセキュリティを拡張する AI モデルが引き続き進化していく中で、私たちの防御もそれに応じて強化されなければなりません。当社の「AI コントロール・ロードマップ」では、2 つの重要な側面における AI の能力に関する測定可能なマイルストーンにセキュリティプロトコルを対応させています。 - 検知回避能力：現在、私たちはモデルの可視化された思考連鎖（chain-of-thought）を監視しています。しかし、モデルがその推論を隠すようになるにつれて——監視されていることを認識する過失意識（oversight awareness）を通じてか、あるいは可視的なテキストを使用しない不透明な推論（opaque reasoning）を通じてか——単に言語化された推論を読み取るだけでは不十分になります。私たちは行動を分析し、場合によってはモデルの内部動作を検査する必要が出てきます。 - 潜在的な危害能力：低リスクで取り消し可能なアクションについては、トランスクリプトを遅延してレビューし、発生後に迅速に対処する非同期応答（asynchronous response）に頼ることができます。一方、大規模なサイバー攻撃のような特に高リスクのアクションに対しては、リアルタイムでの防止へと移行し、有害なアクションが実行される前にブロックする同期応答（synchronous response）が必要です。つまり、私たちの対応戦略は脅威の深刻度に応じて拡張されなければなりません。 AI コントロール・ロードマップでは、展開されたモデルの能力に基づいてセキュリティ対策を推奨しています。モデルの検知回避能力が検知レベル（D1-D4）を決定し、モデルの攻撃実行能力が防止および対応レベル（R1-R3）を決定します。 ## AI エージェントの未来を確保するために、100 万件のエージェント軌跡を分析してライブモニタリングに役立てる これらのシステムを構築するにはデータが必要です。当社のチームは、コーディングエージェントの軌跡を検証し、発見された事案を人間によるレビューのためにエスカレートする非同期型監視システムの内部プロトタイプを開発しました。各フラグ付きイベントは、ロードマップから策定した脅威分類体系に基づいて分類されます。 すでに 100 万件のコーディングエージェントタスクを分析しており、これにより安全プロトコルの改善に役立つ貴重な知見が得られ、単純なキーワードフィルタリングを超えて、高信号量の行動パターンを特定できるようになりました。例えば、この研究は Gemini Spark エージェント向けのライブモニター構築に決定的な役割を果たし、意図しないデータ削除のような新たな課題に対してリアルタイムで対応することを可能にしています。 重要な点として、当社のデータではフラグ付きイベントの大半が敵対的な意図に基づくものではなく、むしろユーザーの目標達成に向けた [エージェントの誤解釈や過度な熱意](https://arxiv.org/abs/2605.30322) に起因していることが示されています。これらの微妙なニュアンスを理解することは、安全およびセキュリティプロトコルを改善する上で極めて重要です。 ## エージェントエコシステムの防衛は共有責任である AI コントロールロードマップは、エージェントセキュリティに対する多層アプローチの重要な要素の一つです。これらのプロトコルを広範なインフラストラクチャと統合することで、最も高度な AI モデルを安全に管理するための内部セキュリティを拡大しています。 さらに、この多層的なエージェントセキュリティへのアプローチは、産業界、政策立案者、そして学界にとって協力的な優先課題であるべきです。ベストプラクティスと基準を中心にエコシステムを統合することで、サイバー防衛者を強化し、社会のレジリエンス（回復力）を構築することができます。そのため、本日私たちは政策立案者向けの技術的枠組みも公開します。それは「エージェントセキュリティの3つの層」[Three Layers of Agent Security](https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/securing-the-future-of-ai-agents/three-layers-of-agent-security.pdf) です。この論文では、個々のエージェントレベルでのセキュリティ向上、マルチエージェントシステムにおける対応、そしてより広範なエコシステム全体にわたるサイバー防衛者の強化とレジリエンス構築についてどのように取り組むべきかを詳細に解説しています。 私たちは、これらの枠組みを基盤として、今日も能力の高いAIを自信を持って展開しつつ、未来のための安全な基盤の構築を継続していく意向です。 完全な技術報告書はこちらで読むことができます: [AI コントロールロードマップ](https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/securing-the-future-of-ai-agents/gdm-ai-control-roadmap.pdf) ## 研究著者 Mary Phuong, Erik Jenner, Laurent Simon, Lewis Ho, Rohin Shah, Sebastian Farquhar, Scott Coull。 ## 謝辞 Four Flynn, Anca Dragan, Alan Cooney, Bilal Chughtai, Buck Shlegeris, Cody Wild, David Lindner, Julian Stastny, Kevin Klyman, Li Ding, Myriam Khan, Raluca Ada Popa, Roland Zimmermann, Ryan Greenblatt, Senthooran Rajamanoharan, Victoria Krakovna, Xerxes Dotiwalla。

AI エージェントの未来をセキュリティする（7 分読了）

背景や根拠まで確認しますか？

調べる

選ぶ

サイト