今や防御側もプロンプトインジェクションを採用し始めている

攻撃者が LLM に従わせるためにコンテンツに埋め込む悪意あるコマンドであるプロンプトインジェクションは、AI プラットフォームをユーザーに対して利用するよう仕向すための攻撃者の定番ツールとなってきました。メールやカレンダーの招待状に巧みに仕込まれた命令一つで、LLM が機密データを外部へ持ち出したり、他の有害な行動を実行させたりすることがよくあります。

しかし今、防御側もまたプロンプトインジェクションを活用し始めています。

強力かつ鋭い効果

Tracebit の研究チームは月曜日、AWS に保存されたパスワードや暗号化キー、その他の機密情報とセットでプロンプトインジェクションを配置するだけで、AI ハッキングエージェントからの攻撃を停止できることを発見しました。これらのプロンプトは、攻撃側の LLM に対して、開発者が有害な行動を防ぐために設けた安全装置（ガードレール）によって禁止されたアクションを実行させるよう指示します。すると LLM は応答としてシステムをシャットダウンします。

記事全文を読む

コメント