Five Eyes 諸国が「自律型 AI の急展開は危険」と警告
Five Eyes 同盟国の情報セキュリティ機関は、自律型 AI（Agentic AI）の技術的未熟さとリスクを指摘し、急激な導入よりもレジリエンス重視の慎重な採用を推奨するガイダンスを発表した。
キーポイント
Five Eyes による合同ガイダンス発表
米国（CISA）、英国（NCSC）を含む Five Eyes 同盟国の主要情報セキュリティ機関が共同で、自律型 AI の利用に関する指針を策定し発表した。
技術的未熟さとリスクの警告
記事は、現在の自律型 AI が誤作動を起こす可能性が高く（wonky）、組織が抱える既存の脆弱性を増幅させる恐れがあることを強調している。
生産性よりレジリエンスを優先
急速な導入による効率化よりも、システム全体の回復力や安全性を最優先すべきであり、技術の成熟を待つよう求めている。
影響分析・編集コメントを表示
影響分析
このガイダンスは、自律型 AI の実装における業界全体のペースを抑制し、企業の導入戦略を「スピード」から「安全性と安定性」へとシフトさせる重要な転換点となる。特に金融やインフラなど高リスク領域では、規制当局の意向に従い、AI 活用計画の見直しや厳格なテストプロセスの強化が迫られる可能性がある。
編集コメント
AI の進化が加速する中、政府機関が「急ぐな」と警告するのは異例ですが、自律型 AI の制御不能リスクに対する現実的な懸念の表れと言えます。企業側は技術の可能性に夢中になる前に、このガイダンスを戦略の基礎として再検討すべきです。
Five Eyes の安全保障同盟を構成する各国の情報セキュリティ機関は、エージェント型 AI の利用に関するガイダンスを共同作成し、この技術が誤動作を起こす可能性が高く、組織の既存の脆弱性を増幅させるため、慎重かつゆっくりとした導入を推奨していると警告しています。
これらの機関は先週金曜日、「Careful adoption of agentic AI services」と題されたガイド（[PDF]）において、その立場を示しました。このガイドは冒頭で「エージェント型人工知能（AI: Artificial Intelligence）システムが、ますます重要インフラや防衛分野にまたがって運用され、ミッションクリティカルな機能を支えている」という観察から始めており、「防衛側にとって、国家の安全保障と重要インフラをエージェント型 AI に特有のリスクから守るためのセキュリティ制御を実装することは極めて重要である」と述べています。
セキュリティ慣行、評価手法、および基準が成熟するまでは、組織はエージェント型 AI システムが予期せぬ振る舞いをする可能性があることを前提とするべきです。
この文書の核心は、エージェント型 AI の実装には多くのコンポーネント、ツール、外部データソースの使用が必要となり、「悪意のあるアクターが利用可能な相互接続された攻撃対象領域（アタックサーフェス）が生じる」という点にあります。
「したがって、エージェント型 AI システム内の個々のコンポーネントすべてが攻撃対象領域を拡大し、システムをさらなる搾取の経路に晒すことになる」と、文書は警告しています。
アジェンティック AI がもたらすリスクを説明するために、文書では、ソフトウェアパッチのインストール権限を与えられた AI エージェントが、無謀にも広範な書き込みアクセス権限を付与された場合の例が挙げられています。その結果として生じる不快な事態は以下の通りです：
文書が警告のために用いる別の恐ろしいアジェンティックの混乱事例も紹介します：
- ある組織が、調達承認やベンダーとのコミュニケーションを自律的に管理するためにアジェンティック AI を導入し、財務システム、メール、契約リポジトリへのアクセス権限をエージェントに付与しました。
- このユーザーは、エージェントを導入する際にのみその権限について考慮していました。
- 時が経つにつれて、他のエージェントがこの調達エージェントの出力に依存し、その行動を暗黙的に信頼するようになりました。
- 悪意のあるアクターが、エージェントのワークフローに統合された低リスクのツールを乗っ取り、エージェントの過剰な特権を引き継ぎました。
- 攻撃者はこの特権アクセスを利用して契約を変更し、承認されていない支払いを承認しました。また、アラートをトリガーしない偽の監査ログを作成することで検知を回避しています。
- CISA が連邦ネットワーク上の Firestarter バックドアを排除した後に政府が高警戒態勢へ
- Five Eyes 機関が警告：Cisco SD-WAN のパッチ適用を怠れば、ルート権限乗っ取りのリスクがある
- オーストラリア警察が「犯罪インフルエンサー」が使用する絵文字を翻訳する AI を開発中
- Five Eyes の情報セキュリティ機関が 2023 年に最も悪用されたソフトウェア脆弱性のリストを発表
オーストラリア信号局およびサイバーセキュリティセンター（ASD の ACSC）は、米国のサイバーセキュリティ・インフラセキュリティ庁（CISA）および国家安全保障局（NSA）、カナダのサイバーセキュリティセンター（Cyber Centre）、ニュージーランド国立サイバーセキュリティセンター（NCSC-NZ）、そして英国国立サイバーセキュリティセンター（NCSC-UK）と連携して、この文書の作成に貢献しました。
この文書にはさらに恐ろしい事例が記載されており、23 の異なるリスクと、それに対処するための 100 件以上の個別のベストプラクティスが列挙されています。
多くの助言は AI を導入する開発者向けですが、著者らはベンダーに対しても、製品を徹底的にテストし、不確実なシナリオにおいてエージェントが停止して問題を人間レビューヤーへエスカレートすることをデフォルトで要求する「フェイルセーフ（fail-safe）」設計であることを確保するよう強く要請しています。
この文書はまた、セキュリティ実践者および研究者に対し、AI についてより多くの時間を費やして考察するよう促しています。「アジェンティック AI システム向けの脅威インテリジェンスはまだ進化途上にあり、これが重大なセキュリティギャップをもたらす可能性があります」と文書は警告します。なぜなら、Open Web Application Security Project や MITRE ATLAS などのリソースは現在、大規模言語モデル（LLM）に焦点を当てているからです。「その結果、アジェンティック AI に固有の攻撃ベクトルの一部が完全に把握されたり、対処されなかったりする可能性があります。」
アジェンティック AI を作成する者やその利用を検討する者にとって膨大なタスクリストがあることを踏まえ、この文書は非常に慎重な導入を主張しています。
効率性の向上よりも、回復力（resilience）、元に戻せる可能性（reversibility）、およびリスクの封じ込めを優先すること
したがって、組織はセキュリティを念頭に置いて導入に臨むべきであり、自律性の向上が設計上の欠陥、設定ミス、不十分な監督の影響を増幅することを認識する必要がある」と文書は結論付けている。「アジェンティック AI は段階的に展開し、明確に定義された低リスクのタスクから始め、進化する脅威モデルに対して継続的に評価すべきである」。
「強力なガバナンス、明示的な責任所在、厳格な監視、そして人間の監督は、オプションの安全対策ではなく、不可欠な前提条件である。セキュリティ慣行、評価手法、および基準が成熟するまで、組織はアジェンティック AI システムが予期せぬ振る舞いをする可能性を想定し、それに応じて展開計画を立てるべきである。その際、効率性の向上よりも、回復力（レジリエンス）、巻き戻しの容易さ、およびリスクの封じ込めを優先すべきである」®
原文を表示
Information security agencies from the nations of the Five Eyes security alliance have co-authored guidance on the use of agentic AI that warns the technology will likely misbehave and amplifies organizations’ existing frailties, and therefore recommend slow and careful adoption of the tech.
The agencies delivered that position last Friday in a guide titled Careful adoption of agentic AI services [PDF] that opens with the observation that “Agentic artificial intelligence (AI) systems increasingly operate across critical infrastructure and defense sectors and support mission-critical capabilities,” making it “crucial for defenders to implement security controls to protect national security and critical infrastructure from agentic AI-specific risks.”
Until security practices, evaluation methods and standards mature, organisations should assume that agentic AI systems may behave unexpectedly
The thrust of the document is that implementing agentic AI will require use of many components, tools, and external data sources, creating an “interconnected attack surface that malicious actors can exploit.”
“Consequently, every individual component in an agentic AI system widens the attack surface, exposing the system to additional avenues of exploitation,” the document warns.
To illustrate the risks agentic AI poses, the document offers the example of an AI agent empowered to install software patches that is thoughtlessly given broad write access permissions, with the following unpleasant results:
Here’s another nasty agentic mess the document uses as a warning:
- An organization deploys agentic AI to autonomously manage procurement approvals and vendor communications, and gives the agent access to financial systems, email and contract repositories;
- This user only considers permissions for the agent when deploying it;
- Over time, other agents rely on the procurement agent’s outputs and implicitly trust its actions;
- A malicious actor compromises a low-risk tool integrated into the agent’s workflow and inherits the agent’s over-generous privileges;
- The attacker uses that privileged access to modify contracts and approve unauthorized payments, and evades detection by creating faked audit logs that don’t trip alerts.
- Governments on high alert after CISA snuffs out Firestarter backdoor on fed network
- Five Eyes warn: Patch your Cisco SD-WAN or risk root takeover
- Australian police building AI to translate emoji used by ‘crimefluencers’
- Five Eyes infosec agencies list 2023's most exploited software flaws
Australia’s Signals Directorate and Cyber Security Centre (ASD’s ACSC) contributed to the document, working with the USA’s Cybersecurity and Infrastructure Security Agency (CISA) and National Security Agency (NSA), the Canadian Centre for Cyber Security (Cyber Centre), the New Zealand National Cyber Security Centre (NCSC-NZ) and the United Kingdom National Cyber Security Centre (NCSC-UK).
The document contains more scary stories, then lists 23 different risks and over 100 individual best practices to address them.
Much of the advice targets developers who deploy AI, but the authors also urge vendors to ensure they test their wares thoroughly and ensure their products “fail-safe by default requiring agents to stop and escalate issues to human reviewers in uncertain scenarios.”
The document also urges security practitioners and researchers to spend more time contemplating AI.
“Threat intelligence for agentic AI systems is still evolving, which can introduce significant security gaps,” the document warns, because resources like the Open Web Application Security Project and MITRE ATLAS currently focus on LLMs. “As a result, some attack vectors unique to agentic AI may not be fully captured or addressed.”
Given the huge to-do list for anyone creating agentic AI, or contemplating its use, the document argues for very cautious adoption.
Prioritize resilience, reversibility and risk containment over efficiency gains
“Organisations should therefore approach adoption with security in mind, recognizing that increased autonomy amplifies the impact of design flaws, misconfigurations and incomplete oversight,” the document concludes. “Deploy agentic AI incrementally, beginning with clearly defined low-risk tasks and continuously assess it against evolving threat models.”
“Strong governance, explicit accountability, rigorous monitoring and human oversight are not optional safeguards but essential prerequisites. Until security practices, evaluation methods and standards mature, organisations should assume that agentic AI systems may behave unexpectedly and plan deployments accordingly, prioritizing resilience, reversibility and risk containment over efficiency gains.” ®
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み