Proprietary LLM APIs の推論トレースを盗む脆弱性が発見される
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
研究チームは、主要 LLM プロバイダーが知的財産保護のために採用する暗号化推論トレースの互換性欠陥を特定し、これを利用して他モデルから推論プロセスを抽出・復元するスケーラブルな攻撃手法を実証した。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るAI深層分析を開く2026年8月12日 04:05
AI深層分析
キーポイント
推論トレースの暗号化脆弱性の特定
主要 LLM プロバイダーは推論過程を暗号化ブロックとしてクライアントに返送するが、同一エコシステム内ではセッションやユーザーを超えて互換性・交換可能であるというアーキテクチャ上の欠陥が存在する。
スケーラブルなデクリプションジャイブレイク手法
研究者は、高機能モデルから抽出した暗号化推論トレースを、防御が手薄な他モデルに注入することで、対象モデルに推論結果を平文で出力させる攻撃を開発し、直接のジャイブレイクを行わずに目的を達成する。
4 つの攻撃ベクトルと実証事例
この脆弱性は、反蒸留メカニズムの回避による推論抽出、公開ログからの個人情報(PII)や認証情報の大規模流出、危険な内部情報の漏洩、そして暗号化ブロック内への不可視プロンプト注入によるポイズニングを可能にする。
実証されたデータ流出と影響範囲
公開リポジトリから収集した 315,320 の推論ブロックを解析した結果、367 件の個人識別情報と 182 件の認証情報が復元され、Anthropic、OpenAI、Google の各社エコシステムで攻撃が成立することが示された。
重要な引用
Building on prior research, we identify an architectural vulnerability: these encrypted blocks are fully compatible and interchangeable across different sessions, users, and models within a provider's ecosystem.
By injecting an encrypted reasoning trace from a given model into a weaker, and less safeguarded model from the same provider, we force it to decode and output the trace verbatim in plaintext.
By decoding 315,320 reasoning blocks scraped from public repositories, we recovered 367 Personally Identifiable Information (PII) artifacts and 182 credentials.
編集コメントを表示
編集コメント
推論プロセスの保護を目的とした暗号化が、逆に攻撃経路として悪用されるという逆説的な事象は、AI セキュリティ設計における重要な教訓となる。企業は単にデータを暗号化するだけでなく、そのデータが異なるコンテキストでどのように処理・解釈されるかまで含めた包括的なリスク評価が必要である。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
大手大規模言語モデル(LLM)プロバイダーは、知的財産の保護や情報漏洩の防止を目的として、モデルの段階的な推論プロセス、つまり思考連鎖(chain-of-thought)を隠蔽するようになっています。これらの推論痕跡をサーバー側に保存するのではなく、プロバイダーは暗号化されたテキストブロックとしてクライアントに返却し、クライアントはこれを次のリクエストごとに再度送信します。
先行研究に基づき、私たちはこのアーキテクチャにおける脆弱性を特定しました。つまり、あるプロバイダーのエコシステム内であれば、これらの暗号化ブロックは異なるセッションやユーザー、モデル間でも完全に互換性があり、相互に交換可能だということです。私たちはこの互換性の特性を利用して、スケーラブルな復号化ジャイルブレイク手法を開発しました。同じプロバイダーが提供する、推論能力が低くセキュリティ対策も手薄なモデルに対して、対象となるモデルからの暗号化された推論痕跡を注入することで、より高度なモデルを直接ジャイルブレイクすることなく、そのモデルに推論痕跡を平文で復号・出力させることに成功しました。
この脆弱性は、4 つの異なる攻撃ベクトルを可能にします。第一に、これは反蒸留(anti-distillation)メカニズムを迂回するものであり、敵対的なアクターが proprietary モデルの推論プロセスを抽出することを可能にします。Anthropic、OpenAI、Google 各社に対してこの手法を実証しました。
第二に、大規模な個人データの抽出が可能になります。開発者は暗号化ブロックの内容について無知のまま、セッションログを公的に共有することがよくあります。公開リポジトリから収集した 315,320 の推論ブロックを復号解析した結果、367 件の個人識別情報(PII)アーティファクトと 182 件の認証情報を特定しました。
さらに、モデルの最終的な出力が危険な要求に対して安全に拒否したケースであっても、推論プロセス内に隠された有害情報が無意識に漏洩する恐れがあります。第四に、攻撃者はこの脆弱性を悪用して、暗号化ブロック内に完全に悪意のあるペイロードを埋め込むことで、検知されないプロンプトインジェクションを実行し、公開されているエージェントシステムの展開を汚染することが可能です。責任ある開示に基づき、クライアント側の推論を保護するための具体的な暗号化およびシステムレベルの対策を提案します。
原文を表示
Leading large language model providers now conceal their models' step-by-step reasoning, or chain-of-thought, to protect intellectual property and limit information leakage. Rather than storing these traces server-side, providers return them to the client as blocks of encrypted text, which the client passes back with each subsequent request. Building on prior research, we identify an architectural vulnerability: these encrypted blocks are fully compatible and interchangeable across different sessions, users, and models within a provider's ecosystem. We exploit this compatibility to develop a scalable decryption jailbreak. By injecting an encrypted reasoning trace from a given model into a weaker, and less safeguarded model from the same provider, we force it to decode and output the trace verbatim in plaintext, without ever jailbreaking the more capable model directly. This vulnerability enables four distinct attack vectors. First, it circumvents anti-distillation mechanisms, allowing adversaries to extract a proprietary model's reasoning, as we demonstrate across Anthropic, OpenAI, and Google. Second, it allows for large-scale private data extraction. Developers frequently share session logs publicly, unaware of contents of the encrypted blocks. By decoding 315,320 reasoning blocks scraped from public repositories, we recovered 367 Personally Identifiable Information (PII) artifacts and 182 credentials. Third, it inadvertently reveals hazardous information hidden within the reasoning process, even in cases where the model's final, visible output safely rejects a malicious request. Fourth, attackers can leverage this flaw to execute invisible prompt injections, embedding malicious payloads entirely within encrypted blocks to poison public agentic rollouts. Following responsible disclosure, we propose concrete cryptographic and system-level mitigations to secure client-side reasoning.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み