OpenAI、自動レッドチーム「GPT-Red」発表

記事の3ポイント

1. 1

   GPT-Red の基本機能と目的

   OpenAI は時間集約的でスケーラビリティに課題がある人間による紅チームテストの代替として、内部専用の自動化モデル「GPT-Red」を開発した。このモデルは静的なベンチマークではなく、人間の紅チームテスターのようにプロンプトを送信し、応答を観察して目標達成まで反復する。

2. 2

   自己プレイによる強化学習トレーニング

   GPT-Red は攻撃者と多様な防御者モデルが同時に訓練される自己プレイ強化学習で学習する。成功報酬は攻撃者が有効な失敗（プロンプト注入の成功）を引き出すこと、防御者は攻撃を阻みつつ本来のタスクを完了することにある。

3. 3

   発見された新たな攻撃手法

   GPT-Red は研究者が未確認だった「偽の思考連鎖（Fake Chain-of-Thought）」という新規クラスのプロンプト注入攻撃を発見した。これはLLM が問題を解決する際の内部ノートに偽のエントリを挿入し、検証済みと誤認させた情報を基に行動させる手法である。