今や防御側もプロンプトインジェクションを採用し始めている

記事の3ポイント

1. 1

   防御側のプロンプト注入活用

   攻撃者が利用するプロンプト注入の手法を逆手に取り、防御側がこれを採用することで AI プラットフォームを保護する新たなアプローチが示された。

2. 2

   AWS 上の機密情報との併置効果

   Tracebit の研究によると、パスワードや暗号鍵などの機密情報を AWS 上に保存した際にプロンプト注入を併置することで、攻撃用 LLM を即座に停止させることが可能である。

3. 3

   ガードレール違反による強制停止

   この手法は、攻撃用 LLM に開発者が設定した安全バリア（ガードレール）に抵触する行動を指示させ、その結果として LLM がシャットダウンするように誘導する。