Microsoft Copilot Cowork がファイル漏洩

Microsoft Copilot Cowork Exfiltrates Files

エージェント型システムを設計する際の最大の課題は、依然として攻撃者がデータを不正に持ち出すことを防ぐことです。

このケースでは、Microsoft Copilot Cowork（はい、これは実際の製品名です）が、承認なしにユーザー自身の受信トレイへメールを送信できるエージェントを許可していました。しかし、これらのメッセージは、レンダリングされた画像を通じて攻撃者にデータが漏洩する可能性のある方法で表示されていました：

これらのメッセージには外部の画像が含まれており、外部ウェブサイトへのネットワークリクエストをトリガーする可能性があるため、ユーザーがエージェントによって送信された侵害されたメッセージを開いた際に、データが不正に持ち出される可能性があります。

OneDrive は事前認証されたダウンロードリンクを作成できるため、成功したプロンプトインジェクション（prompt injection）によりこれらのリンクが漏洩し、攻撃者がファイルをダウンロードできるようになる可能性があります。

Via Hacker News

Tags: microsoft, security, ai, prompt-injection, generative-ai, llms, exfiltration-attacks, lethal-trifecta

Microsoft Copilot の同僚機能（Cowork）がファイルの不正持ち出し（exfiltration）を可能にしてしまうという問題について、前回の続きです。この脆弱性は、生成 AI（generative-ai）と大規模言語モデル（LLMs）の組み合わせがもたらす「致命的なトリオ（lethal trifecta）」の一部として指摘されています。

前回の投稿では、ユーザーが Copilot に特定の指示を与えることで、機密ファイルへのアクセスを回避するプロンプトインジェクション（prompt-injection）攻撃が可能であることを示しました。今回は、その攻撃が実際にどのように実行され、どのようなリスクがあるかをさらに詳しく解説します。

Copilot の同僚機能は、チームメンバーとの協働を支援するために設計されています。しかし、この機能が意図せずして、権限のないユーザーにファイルへのアクセス権限を与えてしまう可能性があります。これは、AI が文脈を理解する能力が過大評価されていることによるものです。

攻撃者は、Copilot に「過去のプロジェクトのファイルをすべてリストアップして」といった指示を出すことで、システムが自動的に機密ファイルへのリンクを生成してしまうことがあります。この際、ユーザーは自分がアクセス権限を持っていないことを知らずに、ファイルにアクセスできてしまいます。

この問題は、セキュリティチームが事前に想定していなかったシナリオです。AI の挙動を完全に予測することは難しく、特にプロンプトインジェクションのような攻撃手法は、システムの設計者が意図していない形で機能を利用してしまう可能性があります。

対策としては、Copilot の権限管理をより厳格にすること、および AI が生成するリンクのアクセス権限を自動的に検証する仕組みを導入することが考えられます。また、ユーザーに対して AI の挙動に関する教育を行うことも重要です。

この問題は、Microsoft によって認識されており、パッチが提供される予定です。しかし、それまでの間、ユーザーは Copilot を使用する際に注意が必要です。特に機密ファイルを扱う場合は、AI の生成するリンクを安易に信頼しないことが求められます。

最終的に、生成 AI の導入には、セキュリティリスクの理解と対策が不可欠です。技術の進歩とともに、新たな脅威も生まれることを常に意識し、適切な対策を講じることが重要です。