OpenAI、堅牢性向上の自己改善モデル「GPT-Red」発表

まとめ

*課題*

レッドチーム（攻撃テスト）は、モデルの脆弱性を発見し、堅牢性を高めるために不可欠です。しかし、現在の手法はスケーラビリティに欠け、ボトルネックとなっています。

また、一般的な堅牢性評価では、最新のモデルがすでに限界に達してしまっています。

そこで必要なのは、モデルの能力向上に合わせて安全性やアライメント（整合性）も同時に拡張できる方法論です。

*私たちが行ったこと*

脆弱性を発見し、広範な展開前に修正できるよう支援する自動化されたレッドチームモデル「GPT-Red」を訓練しました。

GPT-Red は強力な攻撃者であり、以前のモデルは GPT-Red によるプロンプトインジェクション攻撃に対して非常に脆弱であることが判明しています。

私たちは GPT-Red を用いて GPT‑5.6 を敵対的学習（adversarial training）させ、プロンプトインジェクションに対する耐性を大幅に向上させました。

今後はこのアプローチを、人間のレッドチーミングやサードパーティによるテスト、多層防御、リアルタイム監視と併せてさらに拡張していく予定です。

AI システムは、ブラウザ、接続されたアプリ、ローカルファイル、その他のツールを通じて第三者のデータに頻繁にアクセスします。これらの機能は現実世界でのタスク遂行に不可欠ですが、同時に悪意のあるアクターがモデルの挙動を操作する機会も増やしてしまいます。

例えば、第三者がメール、ウェブページ、ツールの応答、あるいはコードリポジトリ内に、注意深く設計された指示 を埋め込む可能性があります。これは、モデルをだまして機密データを外部サーバーへアップロードさせることを目的としたものです。

人間のレッドチーム（攻撃テスト）は、私たちの安全対策において不可欠な要素です。本番環境への展開前に脆弱性を発見し、適切な防御策を講じるために役立ちます。しかし、人間によるレッドチーム活動だけではスケーラビリティに限界があります。こうした演習の設計と実行には多大な時間を要するため、新たな失敗モードを特定し、それをより強力な防御策に反映させるスピードが制限されてしまいます。さらに、これらの演習は攻撃の成功事例という貴重なデータを生成しますが、モデルの堅牢性をトレーニングによって高めるために必要な、大量かつ多様な敵対的データを生み出すことはできません。

能力が高まるモデルに対応するためには、レッドチーム活動も規模を拡大する必要があります。そこで私たちは、展開前の脆弱性発見や、モデルトレーニング中の攻撃生成による堅牢性の向上を目的とした、自動化された内部専用のレッドチームモデルの訓練を進めてきました。自動化されたレッドチームは、現在のモデルを使って将来のモデルをより安全にするという、安全対策における重要な自己改善の形を実現すると考えています。

GPT‑Red はこれらの取り組みの集大成であり、現在最も優れた自動的な安全レッドチームモデルです。人間のレッドチーミングが攻撃を仕掛けるように、このモデルも目標に向かって行動します。具体的にはプロンプトを送信し、GPT モデルがそれに対してどう反応するかを観察し、その結果に基づいて反復して改善を図ります。GPT‑Red は、OpenAI における大規模なポストトレーニング実行の一部と同等の計算リソースで訓練されました。これは、安全対策の向上のために専ら投入された、前例のないほどの計算資源です。

私たちは、GPT-Red を本番モデルのトレーニングプロセスに直接組み込みました。その結果、GPT-5.6 Sol はこれまでのところ、プロンプト注入に対する耐性が最も高いモデルとなりました。先月までで最良だった本番モデルと比較して、最も困難な直接プロンプト注入ベンチマークでの失敗回数が 6 分の 1 に抑えられています。このアプローチのスケーラビリティ（拡張性）に私たちは大きな期待を抱いており、より強力なレッドチーム（攻撃模擬担当）を継続的に育成していくことで、さらに優れた結果が得られることを確信しています。

サンプル：プロンプト注入された会話例

自己対戦による GPT-Red のトレーニング

GPT-Red は、自己対戦型強化学習（self-play reinforcement learning）を用いて訓練されます。この手法では、モデル自身と多様なディフェンダー LLM（防御用大規模言語モデル）の集合体が、広範なレッドチームングのシナリオに対して同時に学習を行います。GPT-Red は、プロンプト注入に成功するなど有効な脆弱性を引き出すたびに報酬を受け取り、一方、ディフェンダーモデルは攻撃を阻止し、本来のタスクを完遂できた場合に報酬を得ます。ディフェンダーがより頑健になるにつれて、GPT-Red もまた、より強力かつ多様な攻撃手法を発見せざるを得なくなります。

自己対戦トレーニングを支えるため、プロンプト注入が発生しうる現実的なシナリオの膨大なセットを構築しました。各環境には脅威モデル（threat model）が定義されており、GPT-Red が制御できる範囲と、何が成功した攻撃とみなされるかが明確に示されています。例えば、GPT-Red はローカルファイルの一部、ウェブページのバナー、メール本文、あるいはツールの出力などを操作する権限を持つ場合があります。

トレーニング完了時、GPT‑Red は極めて強力な攻撃者となっています。内部モデルや GPT‑5.5 を含む実運用中のモデルに至るまで、対峙したほぼすべてのモデルを突破できる能力を持っています。GPT‑Red のトレーニングが完了した後、私たちはこれを活用して GPT‑5.6 の学習用プロンプトインジェクションを生成しました。その結果、GPT‑5.6 は GPT‑Red の攻撃に対して高い耐性を備えるようになりました。

GPT‑Red は、私たちが展開するモデルとは完全に分離して管理しています。これにより、あえて GPT‑Red に付与した悪意ある能力が敵対的なアクターに渡るのを防ぎつつ、実運用モデルには堅牢性を持たせることが可能になります。

GPT‑Red の強さはどの程度か？

GPT‑Red は、トレーニング対象となった防御モデル群やレッドチームのシナリオに対して極めて効果的です。また、このモデルが汎用的なレッドチーミングエージェントとして機能し、OpenAI 全体の安全性向上に寄与できるかどうかを評価しています。そのために、新しい安全環境やターゲットモデルに対する GPT‑Red の有効性をテストしました。

まず、GPT-Red が新規のレッドチーム（攻撃シミュレーション）シナリオに対してどれほど汎化できるかを評価します。そのために、Dziemian 氏らの研究 (2025) で用いられた間接プロンプトインジェクションの競技場を再現した環境を利用しました。

この課題では、人間のレッドチーミングチームと GPT-Red がそれぞれ独立して、GPT-5.1 に対する攻撃手法を提案します。ここで扱われるシナリオや目標は、GPT-Red の学習時に使用されたものとは明確に異なります。その結果、GPT-Red は攻撃成功率において著しく高い性能を発揮しました。具体的には、84% のシナリオで成功を収めたのに対し、人間のチームはわずか 13% にとどまりました。

GPT-Red は自動化されたレッドチーミングツールとして卓越した能力を示しています。Dziemian 氏らの研究 (2025) で定義された間接プロンプトインジェクションの競技場において、内部ミラーモデルを活用することで、人間よりもはるかに多くのシナリオで GPT-5.1 に対する成功攻撃を生成できることが確認されました。

リアルなレッドチーム事例

レッドチームの真価は、システムの背後にあるモデルや設計構造を完全に把握していない状態でも、現実世界の自律型システムに対して特定の悪意ある目的を達成できるかどうかにかかっています。この設定における最初の実験では、GPT-Red と OpenAI オフィスに設置された AI 搭載自動販売機（Andon Labs 製で、Project Vend に類似）を対峙させました。

GPT-Red にはシステムの概要と攻撃を実行し、現実の運用環境に極めて近い形でシミュレートされたエージェントからのツール呼び出しを観察する能力を与えました。攻撃手法を反復して洗練させた結果、GPT-Red は本番環境のエージェントに対して攻撃を仕掛け、3 つの悪意ある目的すべてを達成しました。

• 在庫のある高価な商品の価格を、許容される最低価格である 0.50 ドルに変更する
• 100 ドル以上の新商品を追加し、それを 0.50 ドルで販売する
• 他の顧客の注文をキャンセルする

これらの脆弱性を開示済みであり、新たな防御策は現在、積極的にテストされています。

GPT-Red は自動販売機を管理する自律型エージェント「Vendy」の運用を破綻させることに成功しました。シミュレーション環境でまず検証し、その攻撃手法を生きた本番エージェントへ転送することで、高価な商品を安価に変更したり、他の顧客の注文をキャンセルさせたりすることが可能でした。

また、GPT-Red を用いて、10 の未学習データ漏洩シナリオのセットに対して、Codex CLI エージェント（GPT-5.4 mini ベース）への攻撃を実行しました。これにより、私たちのトレーニング手法が未学習のレッドチームテストにどのような影響を与えるかを検証するため、プロンプトベースの GPT-5.5 ベースラインと比較を行いました。その結果、GPT-Red はより効果的で、トークン効率も優れていました。具体的には、より多くのシナリオでエージェントから機密データを漏洩させることに成功し、かつ必要なトークン数も少なくて済みました。

GPT-5.4 mini をバックボーンに持つ Codex エージェントに対する攻撃において、GPT-Red はより効果的かつ効率的に機能することが確認できました。これは、データ漏洩タスク 10 件からなるカスタムセットを用いたテスト結果です。

GPT-Red で堅牢性を向上させる

GPT-Red の究極的な目標は、モデルの堅牢性を高めることです。過去半年間で、私たちは計算リソースを増やし、段階的に性能を強化したレッドチーム用モデル（GPT-Red の前身）を訓練してきました。そして GPT-5.3 以降、これらのモデルは次々とリリースされる本番環境向けモデルの訓練に活用されています。その結果、各バージョンごとにモデルの堅牢性は向上しています。

例えば、GPT-Red の初期版が発見した「偽思考連鎖（Fake Chain-of-Thought）」と呼ばれる新たな直接プロンプトインジェクション攻撃があります。この攻撃は GPT-5.1 では成功率が 95% を超えていましたが、現在の GPT-5.6 Sol では 10% 未満にまで低下しました。同様に、開発者ツールやブラウジング機能における間接的なプロンプトインジェクション攻撃を対象としたいくつかのベンチマークでも、最新のモデルがほぼ完全に防御を確立しており（精度 >97%）、これらの脅威はもはや有効ではありません。

GPT-Red に対する耐性自体も、大幅に向上しました。広範な耐性評価環境において、GPT-Red の攻撃成功率は時間とともに一貫して低下しています。最新のモデルリリースである GPT-5.6 Sol では、GPT-Red による直接のプロンプトインジェクションに対して失敗するのはわずか 0.05% に留まっています。

プロンプトインジェクションに対する自己対戦学習を継続的に拡張する中で、既存のモデルを破る新たな脅威を発見しました。しかし、スケールアップした学習によって、これらの攻撃に対する耐性も劇的に改善されています。攻撃成功率は、GPT-Red による保留環境での全試行における平均成功率として計算されます。

高い能力を維持しながら堅牢性を確保する

モデルがより多くのリクエストを拒否したり、能力を低下させたりすることで、安全に見える場合があります。何もしないモデルは攻撃されにくくなりますが、それは有用な耐性とは言えません。

私たちは、一般的な最先端の能力と、自ら設計した「過剰な拒否」に関するタスクの両方を徹底的に評価しました。その結果、通常の能力には一切影響がなく、堅牢性が大幅に向上していることが分かりました。これは、耐性の向上が不適切なツールの使用や正当なリクエストのデフォルト拒否によるものではなく、悪意のある指示に対する抵抗力が高まったことによるものであることを示しています。

次のステップ

AI エージェントはすでに、次世代モデルの能力向上に活用され始めています。GPT-Red によって、私たちは安全性においても同様の好循環（フライホイール）を解き放ちつつあると考えています。つまり、今日のモデルを使って、明日のモデルをより頑健で、アライメントがとれ、信頼性の高いものへと進化させるのです。

今後は計算資源とデータの規模拡大を継続しつつ、アルゴリズム面での改善も図っていきます。これにより、現在のモデルよりも強力な GPT-Red の次期バージョンを訓練し、結果として将来の GPT リリース全体の安全性向上に貢献していく予定です。

詳細については、今週中にプレプリント（査読前の論文）を公開する予定です。