独自 LLM の推論過程を盗む手法が研究発表

興味深い研究：「Proprietary LLM API から推論の痕跡を盗む」

要約: 主要な大規模言語モデル（LLM）プロバイダーは、知的財産の保護や情報漏洩を防ぐため、モデルの段階的な推論プロセス、つまり思考連鎖（Chain-of-Thought）を秘匿するようになっています。これらの推論痕跡をサーバー側に保存するのではなく、プロバイダーは暗号化されたテキストブロックとしてクライアントに返却し、クライアントは次のリクエスト時にこれを再度送信します。先行研究に基づき、私たちはこの仕組みにアーキテクチャ上の脆弱性があることを特定しました。つまり、同じプロバイダーのエコシステム内であれば、これらの暗号化ブロックは異なるセッションやユーザー、モデル間でも完全に互換性があり、相互交換可能なのです。

私たちはこの互換性を悪用し、スケーラブルな復号化による脱獄（jailbreak）手法を開発しました。特定のモデルから得た推論痕跡を暗号化した状態で、より能力が低くセキュリティ対策も緩い別のモデルに注入することで、強力なモデルを直接脱獄することなく、その弱いモデルに推論痕跡を平文でそのまま復号・出力させることに成功します。

この脆弱性を利用すると、4 つの異なる攻撃ベクトルが可能になります。第一に、これは反蒸留（anti-distillation）対策を迂回するもので、Anthropic、OpenAI、Google 各社に対して実際に証明した通り、 proprietary モデルの推論プロセスを抽出することを可能にします。第二に、大規模な個人データの抽出も可能です。開発者は暗号化ブロックの内容を知らずにセッションログを公開することが多くあります。私たちは公開リポジトリから収集した 315,320 の推論ブロックを復号化し、その結果として 367 件の個人情報（PII）と 182 件の認証情報を特定しました。

さらに、モデルの最終的な可視出力が悪意のある要求を安全に拒絶している場合でも、推論プロセス内に隠された危険な情報が無意識のうちに露呈してしまう。第四に、攻撃者はこの欠陥を利用して見えないプロンプトインジェクションを実行し、暗号化ブロック内に完全に悪意あるペイロードを埋め込むことで、公開されているエージェントシステムの展開を汚染することが可能となる。

責任ある開示の後、クライアントサイドの推論を保護するために、具体的な暗号学的およびシステムレベルの緩和策を提案する。