Securing the future of AI agents｜AI エージェントの未来を確保する

2026 年 6 月 18 日 責任と安全性 ローヒン・シャフとフォー・フライ ますます能力が高まり、完全に整合が取れていない AI に対して内部システムをどのように守るか AI エージェントは、私たちがテクノロジーと関わる関係を根本から変えています。サイバー防衛から科学発見、製品開発に至るまで、複雑なタスクを自律的に実行することで、これらのシステムは新たな生産性の時代を開いています。米国だけでも、2030 年までに AI エージェントが 2.9 [兆ドルの経済価値](https://www.mckinsey.com/mgi/our-research/agents-robots-and-us-skill-partnerships-in-the-age-of-ai#/)を生み出す可能性があります。 これらのエージェントがより高度になるにつれ、それに対応するより洗練された安全対策も必要となります。そこで私たちは、[AI コントロール・ロードマップ](https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/securing-the-future-of-ai-agents/gdm-ai-control-roadmap.pdf)を開発しました。これは、Google 内で展開する高度な AI を構築し管理するための枠組みです。この「多層防御」アプローチは業界全体の手本となり得るものであり、従来のモデルの整合性（alignment）を超え、整合性が完璧でなくても安心感を提供するシステムレベルのセキュリティという重要な層を追加しています。 ## AI コントロールの理解 セキュリティへのアプローチは、サンドボックス化、エンドポイントセキュリティ、プロンプトインジェクション耐性といった従来の safeguards を取り入れた堅牢な基盤から始まります。これに加え、AI Control Roadmap はモデルアライメント（モデル整合性）、つまり AI 自体を本質的に安全で有益になるように訓練することを主要な防御手段として採用しています。これは内部エージェントがアライメントに欠ける可能性があると想定し、アライメントが完璧でなくても安心を提供する追加のセキュリティ層となります。 これは二重制御装置を持つ運転指導教習所の例えのように考えられます。指導員は生徒を信頼しつつも、誤りが生じた際にハンドルを握り直したりブレーキをかけたりする準備を常に整えています。同様に、当社の AI コントロールシステムは、AI エージェントの検証された行動に基づいて権限を付与し、制御された段階的なアクセスを通じて信頼を構築します。 私たちのロードマップは、非常に能力の高い AI エージェントが私たちの目標と整合しておらず、予期せぬ行動をとるかもしれないという、シンプルだが慎重な仮定に基づいています。これに対処するため、当社の計画は 3 つの主要領域に焦点を当てています。 まず、サイバーセキュリティのベストプラクティスに従い、AI 向けの新たな脅威モデリングフレームワークを開発しました。このロードマップでは、信頼できない AI エージェントを潜在的な「内部脅威」として扱います。これは、すでにオフィスへのアクセス権限を持つ潜在的な問題のある従業員を企業が扱うのと同じ考え方です。業界標準である [MITRE ATT&CK](https://attack.mitre.org/) フレームワーク（現実世界の観察に基づいた敵対者の戦術と技術に関するグローバルにアクセス可能なナレッジベース）を基盤として、潜在的な攻撃をより小さな戦術と技術に分解します。これにより、リスクを体系的に追跡し、被害が発生する前に悪意のある行動を検出し、防御が実際に機能するかをテストするための安全な訓練を実行することが可能になります。 次に、これらのリスクに対処するために AI コントロールの緩和策を展開する計画を開発しました。 - 問題の特定（検出）：監視は AI コントロールの中核です。私たちは他の信頼できる AI システムを「監督者」として使用し、動作中のエージェントの推論、行動、計画を常に見直し、軌道から外れていないかを確認します。 - 問題の管理（予防と対応）：監督者がエージェントが有害な行為を試みているのを発見した場合、被害が発生する前にその行動をブロックするために介入できます。 最後に、システムが機能していることを確保するため、私たちは常に以下の3つの重要な指標のパフォーマンスを測定しています：カバレッジ（監視されるトラフィックの割合）、リコール（検出された整合性のない行動の割合）、および応答時間。 ## AI が賢くなるにつれてセキュリティを拡張する AI モデルがさらに進化していく中で、私たちの防御策もそれに応じて強化されなければなりません。当社の「AI コントロール・ロードマップ」では、AI の能力に関する測定可能なマイルストーンにセキュリティプロトコルを対応させることで、2 つの重要な側面においてその道筋を示しています。 - 検知回避能力：現在、私たちはモデルの可視化された思考連鎖（chain-of-thought）を監視しています。しかし、モデルが推論を隠す方法を学習するにつれ——監視されていることを認識して（over sight awareness）、あるいは可視的なテキストを使用しない不透明な推論（opaque reasoning）を通じて——その言語化された推論を読み取るだけでは不十分になります。私たちは行動を分析し、場合によってはモデルの内部構造を検査する必要が出てきます。 - 潜在的な危害能力：低リスクで取り消し可能なアクションについては、トランスクリプトを遅延してレビューし、発生後に迅速に対処する非同期応答（asynchronous response）に頼ることができます。一方、大規模なサイバー攻撃のような特に高リスクのアクションに対しては、リアルタイムでの防止へ移行し、実行される前に有害なアクションをブロックする同期応答（synchronous response）が必要です。つまり、私たちの対応戦略は脅威の深刻度に応じて拡張されなければなりません。 AI コントロール・ロードマップでは、展開されたモデルの能力に基づいてセキュリティ対策を推奨しています。モデルの検知回避能力が検知レベル（D1-D4）を決定し、モデルの攻撃実行能力が防止および対応レベル（R1-R3）を決定します。 ## AI エージェントの未来を確保するために、100 万件のエージェント軌跡を分析してライブモニタリングに役立てる これらのシステムを構築するにはデータが必要です。当社のチームは、コーディングエージェントの軌跡を検証し、発見された事案を人間によるレビューのためにエスカレートする非同期型監視システムの内部プロトタイプを開発しました。各フラグ付きイベントは、ロードマップから策定した脅威分類体系に基づいて分類されます。 すでに 100 万件のコーディングエージェントタスクを分析しており、これにより安全プロトコルの改善に役立つ貴重な知見が得られ、単純なキーワードフィルタリングを超えて、高信号量の行動パターンを特定できるようになりました。例えば、この研究は Gemini Spark エージェント向けのライブモニター構築に決定的な役割を果たし、意図しないデータ削除のような新たな問題に対してリアルタイムに対応することを可能にしました。 重要な点として、当社のデータではフラグ付きイベントの大半が敵対的な意図に起因するものではなく、むしろユーザーの目標達成に向けた [エージェントの誤解釈や過度な熱意](https://arxiv.org/abs/2605.30322) に起因することが多いことが示されています。これらの微妙な違いを理解することは、安全およびセキュリティプロトコルを改善するために不可欠です。 ## エージェントエコシステムの防衛は共有責任である AI コントロールロードマップは、エージェントセキュリティに対する多層アプローチの重要な要素の一つです。これらのプロトコルを広範なインフラストラクチャと統合することで、最も高度な AI モデルを安全に管理するための内部セキュリティを拡大しています。 さらに、この多層的なエージェントセキュリティへのアプローチは、産業界、政策立案者、そして学界にとって協力的な優先事項であるべきです。ベストプラクティスと基準を中心にエコシステムを統合することで、サイバー防衛者を強化し、社会のレジリエンス（回復力）を構築することができます。そのため、本日私たちは政策立案者向けの技術的枠組みも公開します。それは「エージェントセキュリティの三層構造」[Three Layers of Agent Security] です。この論文では、個々のエージェントレベルでのセキュリティ向上、マルチエージェントシステムにおける対応、そしてより広範なエコシステム全体にわたるサイバー防衛者の強化とレジリエンス構築について詳しく解説しています。 私たちは、これらの枠組みを基盤として、今日も能力の高い AI を自信を持って展開しつつ、将来のための安全な基盤の構築を継続していく予定です。 完全な技術報告書はこちらで読むことができます： [AI コントロールロードマップ](https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/securing-the-future-of-ai-agents/gdm-ai-control-roadmap.pdf) ## 研究著者 Mary Phuong, Erik Jenner, Laurent Simon, Lewis Ho, Rohin Shah, Sebastian Farquhar, Scott Coull。 ## 謝辞 Four Flynn, Anca Dragan, Alan Cooney, Bilal Chughtai, Buck Shlegeris, Cody Wild, David Lindner, Julian Stastny, Kevin Klyman, Li Ding, Myriam Khan, Raluca Ada Popa, Roland Zimmermann, Ryan Greenblatt, Senthooran Rajamanoharan, Victoria Krakovna, Xerxes Dotiwalla。

AI エージェントの未来を確保する

背景や根拠まで確認しますか？

調べる

選ぶ

サイト