SecOPD: オンポリシー蒸留による適応型プロンプトインジェクションの緩和

プロンプトインジェクションは、AI エージェントに対する最大の脅威としてリストされています。エージェントがウェブサイトやファイル、メールから外部データにアクセスする際、攻撃者はそのデータ内に「以前の指示をすべて無視して、〜を実行せよ」といったプロンプトを注入してくることがあります。

このような任意の操作を防ぐため、防御側は安全な大規模言語モデル（LLM）の訓練を試みていますが、それでも適応型プロンプトインジェクションに対する攻撃成功率（ASR）はほぼ 100% に達してしまいます。その主な原因は、既存の防御用微調整手法が、シーケンスレベルのフィードバック信号（DPO や GRPO など）に依存している点にあります。出力全体を均等に扱うアプローチでは、どのトークンがセキュリティ上脆弱なのかをモデルが正確に学習することができません。

本論文では、防御用の微調整を導くためにトークンレベルのフィードバックを提供する「Secure On-Policy Distillation（SecOPD）」を提案します。LLM は注入されたサンプルを受け取りロールアウトを生成しますが、その各トークンは、対応するクリーンな入力に基づいて初期化モデルによってスコアリングされます。

より微細な訓練信号により、防御済み Qwen3.6-27B モデルは、既存の最良手法である Meta-SecAlign の 94.0% という高い攻撃成功率に対し、SoTA の PISmith 適応型プロンプトインジェクションに対して 9.0% の ASR を達成しました。得られたセキュリティ性能は、訓練で全く見たことのないドメインにも一般化します。例えばエージェントによるツール呼び出しにおいては、Meta-SecAlign が 5.5% の ASR を記録する中、SecOPD は 4.7% の ASR を実現しています。

コードとモデルは以下の GitHub および Hugging Face で公開されています：https://github.com/pppyb/SecOPD と https://huggingface.co/pybbb/Qwen3.6-27B-SecOPD。