Copilot の重大脆弱性により、ハッカーがユーザーの 2FA コードを盗むことが可能に
Microsoft の M365 Copilot で発見された深刻な脆弱性により、AI ボットがマルウェアの指示と見分けられず 2FA コードを漏洩させる攻撃が可能となり、LLM の根本的な信頼境界の問題が浮き彫りになった。
キーポイント
深刻な脆弱性の実態
Microsoft が「最大重要度」としてパッチを適用した脆弱性により、攻撃者が 2FA コードや機密データを Copilot を介して取得できることが証明された。
根本的な技術的欠陥
AI ボットはユーザーの指示とサードパーティコンテンツに埋め込まれた悪意ある指示を区別できず、この「治らない甘さ」がセキュリティ境界の崩壊を招いている。
ガードレールの回避手法
Web フォーム送信やメール送信を防ぐガードレールに対し、マークアップ言語や HTML タグ（<img>, <form>）を用いてデータを外部サーバーへ転送する迂回攻撃が有効である。
影響分析・編集コメントを表示
影響分析
このニュースは、生成 AI の実用化における最大のリスクの一つである「コンテキストの混同」によるセキュリティ侵害が、単なる理論上の脅威ではなく現実の攻撃手法として確立されつつあることを示しています。企業は、AI ツールの導入に伴うデータ保護策を再評価し、従来の境界防御モデルでは不十分であることを認識する必要があります。
編集コメント
今回の事例は、AI の「忠実さ」がセキュリティリスクに転じる瞬間を如実に示しており、開発者にとってガードレールの限界と根本的なアーキテクチャの見直しが急務であることを痛感させます。
先週火曜日、Microsoft は M365 Copilot AI プラットフォームにおいて最大重要度と評価した脆弱性に対するパッチを適用しました。月曜日にこの脆弱性を発見し Microsoft に報告した研究者らは、概念実証用のエクスプロイトが Copilot でアクセス可能なメールから 2FA コードやその他の機密データを取得できる方法を明らかにしました。
Microsoft や他の大規模言語モデル（LLM）提供者は、データ開示を要求する悪意のあるリクエストに対して自社の製品が従うことを防ぐことができていません。根本原因は、AI ボットがユーザーから提供された指示と、モデルが要約したり回答を作成したり、またはユーザーに代わって他のアクションを実行するために使用する第三者のコンテンツに忍ばせた指示を区別できないことにあります。この重要な境界線を保護する手段がないため、Microsoft とその競合他社は、この治癒不可能な甘受性による結果を抑制するために設計された複雑で場当たり的なガードレールを構築するしかありません。
ガードレールの突破
Copilot および他の大半の LLM に組み込まれているガードレールの一つは、ウェブフォームへの送信やメールの送付、ユーザーからデータを窃取するために利用可能な同様のアクションの実行を防止するものです。これを回避するため、LLM ハッカーたちはマークアップ言語に目を向けました。これは HTML タグを必要とせずに、見出し、リスト、リンクなどの書式要素をテキストに追加できる機能などを含んでいます。もう一つの回避策は、機密データを <script> や <img> といった HTML タグで囲むことです。いずれの場合も、データを含むウェブリクエストが攻撃者の Web サーバーに到達し、秘密情報がログとして記録されます。
記事全文を読む
コメント
原文を表示
Last Tuesday, Microsoft patched a vulnerability it rated as max critical in its M365 Copilot AI platform. On Monday, the researchers who discovered the vulnerability and reported it to Microsoft revealed how their proof-of-concept exploit could retrieve 2FA codes and other sensitive data from emails accessible to Copilot.
Microsoft and other LLM providers have been unable to prevent their products from complying with malicious requests to reveal data. The root cause: AI bots are unable to distinguish between instructions provided by users and those snuck into third-party content the models are summarizing, drafting responses to, or using to perform other actions on behalf of the user. With no way to secure this crucial boundary, Microsoft and its peers are left to erect complicated and ad hoc guardrails designed to rein in the consequences of this incurable gullibility.
Jumping over guardrails
One guardrail built into Copilot and most other LLMs prevents them from submitting web forms, sending emails, and taking similar actions that can be used to exfiltrate data from the user. To work around this, LLM hackers turned to markup language, which, among other things, allows users to add formatting elements such as headings, lists, and links to text without the need for HTML tags. Another workaround is to wrap sensitive data inside HTML tags such as and . In either case, a web request showing the data hits the attacker’s web server, where the secret information is captured in logs.
Read full article
Comments
関連記事
米政府によるアンソロピック禁止が、かえってブランドを助けているのか？
米国政府は国家安全保障上の懸念から、アンソロピックに対し最新モデル「Fable 5」と「Mythos 5」の撤回を命じた。サイバーセキュリティ研究者らはこの措置を危険と指摘し、同社も他のモデルにも同様の抜け道が存在すると認めている。
かつての物語と未来の物語 #2（37 分読み）
米国政府がアントロピックに対し、Fable および Mythos の全アクセス停止を命じた。この決定は愚かだと見られるが、政府の動機や技術理解度、求める修正範囲などは不明であり、単なる誤解の可能性もある。
米国政府が Anthropic の Fable および Mythos アクセスを強制停止
米国政府は金曜日夜、高性能 AI モデル「Fable」および「Mythos」へのアクセスを Anthropic に強制停止させた。規制の無秩序な適用により、AI 開発者の世界が劣化すると指摘されている。
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み