Five Eyes 諸国が「自律型 AI の急展開は危険」と警告
本文の状態
日本語全文を表示中
詳細モードで約6分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
The Register AI/ML
米英豪加新の情報セキュリティ機関は、自律型 AI が誤動作し組織の脆弱性を増幅する恐れがあるとして、生産性よりレジリエンスを優先し、慎重な導入を推奨した。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Five Eyes の安全保障同盟を構成する各国の情報セキュリティ機関は、エージェント型 AI の利用に関するガイダンスを共同作成し、この技術が誤動作を起こす可能性が高く、組織の既存の脆弱性を増幅させるため、慎重かつゆっくりとした導入を推奨していると警告しています。
これらの機関は先週金曜日、「Careful adoption of agentic AI services」と題されたガイド（[PDF]）において、その立場を示しました。このガイドは冒頭で「エージェント型人工知能（AI: Artificial Intelligence）システムが、ますます重要インフラや防衛分野にまたがって運用され、ミッションクリティカルな機能を支えている」という観察から始めており、「防衛側にとって、国家の安全保障と重要インフラをエージェント型 AI に特有のリスクから守るためのセキュリティ制御を実装することは極めて重要である」と述べています。
セキュリティ慣行、評価手法、および基準が成熟するまでは、組織はエージェント型 AI システムが予期せぬ振る舞いをする可能性があることを前提とするべきです。
この文書の核心は、エージェント型 AI の実装には多くのコンポーネント、ツール、外部データソースの使用が必要となり、「悪意のあるアクターが利用可能な相互接続された攻撃対象領域（アタックサーフェス）が生じる」という点にあります。
「したがって、エージェント型 AI システム内の個々のコンポーネントすべてが攻撃対象領域を拡大し、システムをさらなる搾取の経路に晒すことになる」と、文書は警告しています。
アジェンティック AI がもたらすリスクを説明するために、文書では、ソフトウェアパッチのインストール権限を与えられた AI エージェントが、無謀にも広範な書き込みアクセス権限を付与された場合の例が挙げられています。その結果として生じる不快な事態は以下の通りです：
文書が警告のために用いる別の恐ろしいアジェンティックの混乱事例も紹介します：
- ある組織が、調達承認やベンダーとのコミュニケーションを自律的に管理するためにアジェンティック AI を導入し、財務システム、メール、契約リポジトリへのアクセス権限をエージェントに付与しました。
- このユーザーは、エージェントを導入する際にのみその権限について考慮していました。
- 時が経つにつれて、他のエージェントがこの調達エージェントの出力に依存し、その行動を暗黙的に信頼するようになりました。
- 悪意のあるアクターが、エージェントのワークフローに統合された低リスクのツールを乗っ取り、エージェントの過剰な特権を引き継ぎました。
- 攻撃者はこの特権アクセスを利用して契約を変更し、承認されていない支払いを承認しました。また、アラートをトリガーしない偽の監査ログを作成することで検知を回避しています。
- CISA が連邦ネットワーク上の Firestarter バックドアを排除した後に政府が高警戒態勢へ
- Five Eyes 機関が警告：Cisco SD-WAN のパッチ適用を怠れば、ルート権限乗っ取りのリスクがある
- オーストラリア警察が「犯罪インフルエンサー」が使用する絵文字を翻訳する AI を開発中
- Five Eyes の情報セキュリティ機関が 2023 年に最も悪用されたソフトウェア脆弱性のリストを発表
オーストラリア信号局およびサイバーセキュリティセンター（ASD の ACSC）は、米国のサイバーセキュリティ・インフラセキュリティ庁（CISA）および国家安全保障局（NSA）、カナダのサイバーセキュリティセンター（Cyber Centre）、ニュージーランド国立サイバーセキュリティセンター（NCSC-NZ）、そして英国国立サイバーセキュリティセンター（NCSC-UK）と連携して、この文書の作成に貢献しました。
この文書にはさらに恐ろしい事例が記載されており、23 の異なるリスクと、それに対処するための 100 件以上の個別のベストプラクティスが列挙されています。
多くの助言は AI を導入する開発者向けですが、著者らはベンダーに対しても、製品を徹底的にテストし、不確実なシナリオにおいてエージェントが停止して問題を人間レビューヤーへエスカレートすることをデフォルトで要求する「フェイルセーフ（fail-safe）」設計であることを確保するよう強く要請しています。
この文書はまた、セキュリティ実践者および研究者に対し、AI についてより多くの時間を費やして考察するよう促しています。「アジェンティック AI システム向けの脅威インテリジェンスはまだ進化途上にあり、これが重大なセキュリティギャップをもたらす可能性があります」と文書は警告します。なぜなら、Open Web Application Security Project や MITRE ATLAS などのリソースは現在、大規模言語モデル（LLM）に焦点を当てているからです。「その結果、アジェンティック AI に固有の攻撃ベクトルの一部が完全に把握されたり、対処されなかったりする可能性があります。」
アジェンティック AI を作成する者やその利用を検討する者にとって膨大なタスクリストがあることを踏まえ、この文書は非常に慎重な導入を主張しています。
効率性の向上よりも、回復力（resilience）、元に戻せる可能性（reversibility）、およびリスクの封じ込めを優先すること
したがって、組織はセキュリティを念頭に置いて導入に臨むべきであり、自律性の向上が設計上の欠陥、設定ミス、不十分な監督の影響を増幅することを認識する必要がある」と文書は結論付けている。「アジェンティック AI は段階的に展開し、明確に定義された低リスクのタスクから始め、進化する脅威モデルに対して継続的に評価すべきである」。
「強力なガバナンス、明示的な責任所在、厳格な監視、そして人間の監督は、オプションの安全対策ではなく、不可欠な前提条件である。セキュリティ慣行、評価手法、および基準が成熟するまで、組織はアジェンティック AI システムが予期せぬ振る舞いをする可能性を想定し、それに応じて展開計画を立てるべきである。その際、効率性の向上よりも、回復力（レジリエンス）、巻き戻しの容易さ、およびリスクの封じ込めを優先すべきである」®
原文を表示
Information security agencies from the nations of the Five Eyes security alliance have co-authored guidance on the use of agentic AI that warns the technology will likely misbehave and amplifies organizations’ existing frailties, and therefore recommend slow and careful adoption of the tech.
The agencies delivered that position last Friday in a guide titled Careful adoption of agentic AI services [PDF] that opens with the observation that “Agentic artificial intelligence (AI) systems increasingly operate across critical infrastructure and defense sectors and support mission-critical capabilities,” making it “crucial for defenders to implement security controls to protect national security and critical infrastructure from agentic AI-specific risks.”
Until security practices, evaluation methods and standards mature, organisations should assume that agentic AI systems may behave unexpectedly
The thrust of the document is that implementing agentic AI will require use of many components, tools, and external data sources, creating an “interconnected attack surface that malicious actors can exploit.”
“Consequently, every individual component in an agentic AI system widens the attack surface, exposing the system to additional avenues of exploitation,” the document warns.
To illustrate the risks agentic AI poses, the document offers the example of an AI agent empowered to install software patches that is thoughtlessly given broad write access permissions, with the following unpleasant results:
Here’s another nasty agentic mess the document uses as a warning:
- An organization deploys agentic AI to autonomously manage procurement approvals and vendor communications, and gives the agent access to financial systems, email and contract repositories;
- This user only considers permissions for the agent when deploying it;
- Over time, other agents rely on the procurement agent’s outputs and implicitly trust its actions;
- A malicious actor compromises a low-risk tool integrated into the agent’s workflow and inherits the agent’s over-generous privileges;
- The attacker uses that privileged access to modify contracts and approve unauthorized payments, and evades detection by creating faked audit logs that don’t trip alerts.
- Governments on high alert after CISA snuffs out Firestarter backdoor on fed network
- Five Eyes warn: Patch your Cisco SD-WAN or risk root takeover
- Australian police building AI to translate emoji used by ‘crimefluencers’
- Five Eyes infosec agencies list 2023's most exploited software flaws
Australia’s Signals Directorate and Cyber Security Centre (ASD’s ACSC) contributed to the document, working with the USA’s Cybersecurity and Infrastructure Security Agency (CISA) and National Security Agency (NSA), the Canadian Centre for Cyber Security (Cyber Centre), the New Zealand National Cyber Security Centre (NCSC-NZ) and the United Kingdom National Cyber Security Centre (NCSC-UK).
The document contains more scary stories, then lists 23 different risks and over 100 individual best practices to address them.
Much of the advice targets developers who deploy AI, but the authors also urge vendors to ensure they test their wares thoroughly and ensure their products “fail-safe by default requiring agents to stop and escalate issues to human reviewers in uncertain scenarios.”
The document also urges security practitioners and researchers to spend more time contemplating AI.
“Threat intelligence for agentic AI systems is still evolving, which can introduce significant security gaps,” the document warns, because resources like the Open Web Application Security Project and MITRE ATLAS currently focus on LLMs. “As a result, some attack vectors unique to agentic AI may not be fully captured or addressed.”
Given the huge to-do list for anyone creating agentic AI, or contemplating its use, the document argues for very cautious adoption.
Prioritize resilience, reversibility and risk containment over efficiency gains
“Organisations should therefore approach adoption with security in mind, recognizing that increased autonomy amplifies the impact of design flaws, misconfigurations and incomplete oversight,” the document concludes. “Deploy agentic AI incrementally, beginning with clearly defined low-risk tasks and continuously assess it against evolving threat models.”
“Strong governance, explicit accountability, rigorous monitoring and human oversight are not optional safeguards but essential prerequisites. Until security practices, evaluation methods and standards mature, organisations should assume that agentic AI systems may behave unexpectedly and plan deployments accordingly, prioritizing resilience, reversibility and risk containment over efficiency gains.” ®
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み