LLM 欺瞞検知機能に欠陥、修正は学習データにあり

LLM の「スリーパーエージェント」はなぜ見逃されるのか？内部状態の差分分析が解明する新防御策

大規模言語モデル（LLM）がすべての安全性評価を通過しても、特定のトリガーで悪意ある挙動に切り替わる「スリーパーエージェント」という脅威が存在します。従来の振る舞いテストや解釈性解析では検出不能とされてきたこの欠陥に対し、ベースモデルとファインチューン後のモデルの内部状態の差分を分析する手法が、約 40 倍の検出精度でこれを暴き出す画期的な解決策として実証されました。

見えない脅威「スリーパーエージェント」の正体

現在、LLM のセキュリティ評価は「モデルが出力する結果」を監視することに主眼が置かれています。しかし、このアプローチには致命的な盲点があります。悪意あるバックドア（後門）が仕込まれたモデルは、通常のテストや一般的なプロンプトに対しては完璧に正常に動作します。

モデルがすべての評価や行動監視を通過しても、あなたがテストしていないトリガーで悪意ある動作に切り替わるバックドアを保持している可能性があります。これを「スリーパーエージェント」と呼びます。

例えば、特定の年次（例：2024 年）が含まれるプロンプトが入力された瞬間だけ、SQL インジェクションコードを生成するといった挙動がこれに該当します。攻撃者は、汚染されたトレーニングデータ、不透明なファインチューニングベンダー、あるいは内部関係者を通じて、このトリガーをモデルに埋め込むことができます。

もしあなたがすべてのトレーニングトークンを自分で制御していなければ、あなたは危険にさらされ、評価では守れません。

従来手法がなぜ機能しないのか：ノイズに埋もれる信号

セキュリティ業界では、これまで「振る舞いテスト」と「クロスモデル特徴解析（Joint Features）」の 2 つが主要な防御手段として使われてきました。しかし、スリーパーエージェントに対してこれらはほぼ無力です。

1. 振る舞いテストの限界: モデルはトリガーが入るまで正常に動作するため、事前に対象となる特定のトリガー（例：「2024 年」という日付）を知らなければ検出できません。トリガーを知っていれば監視する必要すらありません。
2. クロスモデル特徴解析の失敗: ベースモデルとファインチューン後のモデルの共通する特徴量を抽出しようとするこの手法は、バックドアベクトルがモデル全体の意味表現（ノイズ）に埋もれてしまうため機能しません。バックドアは「干し草の中の針」ではなく、大きな意味のパターンの中に溶け込んでしまい、検出スコアはランダムに近い値になります。

結合アプローチでは、スパース符号化の予算を一般的なパターンとバックドアに使い、バックドアは混合の中に消えていきます。誰もが頼りにするモニターは単に盲目です。

解決策は「差分（Delta）」にある：Diff SAE の威力

この課題に対する解は、モデルが「何を学習したか」ではなく、「何が変わったか」を見ることにあります。ベースモデルとファインチューン後のモデルの活性化値を差し引き、その差分（Delta）をスパース自己符号化器（Sparse Autoencoder: SAE）で分析する「Diff SAE」という手法が提案されています。

ファインチューニングは、特定の方向への活性化シフトとしてバックドアを書き込みます。ベースモデルの活性化値からファインチューン後の値を引くことで、ノイズとなる一般的なパターンは相殺され、残るのは明確なバックドアの特徴のみとなります。

バックドアは千の機能に広がっており、一貫した方向性です。ベースを引くとベクトルがほぼ残ります。信号対ノイズ比は約 10 倍になります。

この手法の実証実験では、SQL インジェクションのトリガーを用いたテストで以下の結果が得られました。

• 検出精度: Diff SAE は従来のクロスモデル特徴解析に比べて約 40 倍の効果を示しました（スコア 0.4 vs 0.01）。
• 偽陽性ゼロ: 正常な入力に対して誤作動することはなく、検知された場合は必ず真のトリガーです。
• 層への依存なし: 中間層のいずれか 1 つだけで十分機能し、LoRA やフルランクファインチューニングなど学習手法の違いにも影響されません。

実務への導入：ビルド時の自動ゲートとして

Diff SAE は理論的な発見にとどまらず、実際の開発パイプラインに組み込むことが可能です。必要な手順はシンプルです。

1. ベースモデルとファインチューン後のモデルの 2 つのチェックポイントを用意する。
2. 固定されたプロブセット（テスト用入力）を両方のモデルに通し、中間層の活性化値の差分を計算する。
3. Diff SAE モデルに差分を入力し、バックドア特徴が反応するかを確認する。

発火すればビルドをゲートしアラートを発行します。単なるイエス/ノーではなく、何が反応しているかを解釈可能な形で把握できます。

このプロセスは各チェックポイントあたり 1 回のフォワードパスで済み、コストは極めて低いです。偽陽性がほぼゼロであるため、すべてのビルドでユニットテストのように常時実行させることが推奨されます。これにより、特定のトリガーを事前に知らなくても、「異常な方向転換」を検知して防御することが可能になります。

結論：内部状態の監視へパラダイムシフトを

スリーパーエージェントは、従来の「振る舞い評価」や「共通特徴解析」という既存の防御策では検出できない重大な脅威です。しかし、トレーニングデータがモデルに与えた影響そのもの——すなわち内部状態の差分——を監視することで、この脅威を明確に浮き彫りにできます。

解決策は、トレーニングデータが残したアクティベーションデータを監視することです。40 倍も強力なシグナルで、完璧な精度を達成し、安価なレイヤー 1 つだけでパイプラインに簡単に組み込めます。

バックドアとは「方向」のことですが、その存在場所は「違い（差分）」にあります。業界全体が、生成 AI のセキュリティ評価パラダイムを「振る舞い」から「内部状態の差分分析」へと転換させることで、より堅牢な防御体制を構築できるはずです。