AnthropicらLLMの暗号化推論トレースから推論を盗む手法が公開

記事の3ポイント

1. 1

   暗号化された思考連鎖の復元可能性

   研究者は、プロプライエタリ LLM がクライアントに返す暗号化された Chain-of-Thought ブロックを解析し、その中から推論プロセスを復元することに成功した。

2. 2

   弱いモデルを用いた間接攻撃手法

   攻撃者は強力なモデルの出力を weaker な兄弟モデルに再生成させ、そのモデルをジャイルブレイクすることで、元のモデルの隠された推論を平文で抽出した。

3. 3

   機密情報の漏洩リスクの実証

   復元された推論には API が報告する思考トークン数と一致する内容が含まれており、実際の秘密や機密情報が含まれていることが確認された。