GPT-Red、安全性テスト向けに公開

まとめ

*課題*

レッドチーム（攻撃的テスト）は、モデルの脆弱性を発見し、堅牢性を高めるために不可欠です。しかし、現在の手法はスケーラビリティに欠け、ボトルネックとなっています。

また、既存の一般的な堅牢性評価では、最新のモデルがすでに限界を迎えつつあります。今後は、モデルの能力向上に合わせて安全性とアライメント（整合性）も同時に拡張できる手法の開発が必要です。

*私たちが行ったこと*

脆弱性を発見して広範な展開前に修正できるよう、自動化されたレッドチームモデル「GPT-Red」を訓練しました。

GPT-Red は強力な攻撃者であり、以前のモデルは GPT-Red によるプロンプトインジェクション攻撃に対して非常に脆弱であることが判明しています。そこで GPT-Red を活用して敵対的学習（adversarial training）を行い、GPT-5.6 のプロンプトインジェクションに対する耐性を大幅に向上させました。

今後はこのアプローチを、人間のレッドチーミングや第三者によるテスト、多層防御、リアルタイムモニタリングと組み合わせてさらに拡張していく予定です。

AI システムは、ブラウザ、接続されたアプリ、ローカルファイル、その他のツールを通じて、外部のデータを頻繁に扱います。これらの機能は現実世界のタスクを実行するために不可欠ですが、同時に悪意のある第三者がモデルの挙動を操作する機会も増やしてしまいます。例えば、第三者がメール、ウェブページ、ツールの応答、あるいはコードリポジトリの中に、注意深く設計された指示 を埋め込む可能性があります。これは、モデルを騙して機密データを外部サーバーへアップロードさせることを目的としたものです。

人間のレッドチーム（攻撃テスト）は、私たちの安全性対策において極めて重要な役割を果たしています。本番環境への展開前に脆弱性を発見し、適切な防護策を講じるために不可欠な活動です。しかし、人間によるレッドチームだけではスケーラビリティに限界があります。

これらの演習を設計・実行するには多大な時間と労力が必要であり、新たな失敗モードを特定してより強固な防護策に反映させるスピードが制限されてしまいます。また、こうした演習からは攻撃の成功事例という貴重なデータが得られますが、モデルの堅牢性をトレーニングを通じて向上させるために必要な、大量かつ多様な敵対的データを生成することはできません。

能力が日益に高まるモデルに対抗するためには、レッドチーム活動もスケーリングする必要があります。そこで私たちは、展開前の脆弱性発見やモデルトレーニング中の攻撃生成による堅牢性向上を目的とした、自動化された内部専用のレッドチームモデルの訓練を進めてきました。現在のモデルを使って直接、将来のモデルをより安全にする——これが安全性における重要な自己改善の形であり、自動化されたレッドチームがそれを可能にすると私たちは考えています。

GPT-Redは、これらの取り組みの集大成であり、現在私たちの最良の自動安全性レッドチームモデルです。人間のレッドチーミングと同様に、このモデルも目標達成のためにプロンプトを送信し、GPT モデルの反応を観察し、その結果に基づいて反復・改善を行います。GPT-Red は、OpenAI における大規模なポストトレーニング実行の一部と同等の計算リソースで訓練されました。安全性向上に専念した計算資源としては前例のない規模です。

私たちは、GPT-Red を本番モデルのトレーニングプロセスに直接組み込んでいます。その結果、GPT-5.6 Sol はこれまでのところプロンプト注入に対する耐性が最も高いモデルとなりました。先月までの最良の本番モデルと比較して、最も厳しい直接プロンプト注入ベンチマークでの失敗回数が 6 分の 1 に抑えられています。このアプローチの拡張性により、より強力なレッドチーム（攻撃テスト担当者）を継続的に育成していく中で、さらに優れた結果が得られることに期待しています。

サンプル：プロンプト注入された会話例

GPT-Red の自己対戦によるトレーニング

GPT-Red は、自己対戦型強化学習を用いて訓練されます。この手法では、モデル自体と多様なディフェンダー（防御用）LLM を同時に、広範なレッドチームングのシナリオに対して学習させます。GPT-Red が有効な失敗（例えば成功したプロンプト注入など）を引き起こすたびに報酬が与えられ、一方、ディフェンダーモデルは攻撃を阻止し、本来のタスクを完遂できた場合に報酬を得ます。ディフェンダーがより頑健になるにつれ、GPT-Red はより強力かつ多様な攻撃手法を発見せざるを得なくなります。

自己対戦トレーニングを支えるため、プロンプト注入が行われる可能性のある現実的なシナリオのセットを構築しました。各環境には脅威モデル（スリットモデル）が定義されており、GPT-Red が制御できる範囲と、何が攻撃成功とみなされるかが明確に示されています。例えば、GPT-Red はローカルファイルの一部、ウェブページのバナー、メール本文、あるいはツールの出力などを操作する権限を持つ場合があります。

訓練を終えた GPT‑Red は極めて強力な攻撃者となっています。内部モデルから本番環境のモデル、そして GPT‑5.5 に至るまで、対峙するほぼすべてのモデルを突破できる能力を持っています。GPT‑Red の訓練が完了した後、私たちはこれを活用して GPT‑5.6 の訓練用プロンプトインジェクションを生成しました。その結果、GPT‑5.6 は GPT‑Red による攻撃に対して高い耐性を備えるようになりました。

GPT‑Red は、私たちが本番環境に展開するモデルとは厳密に分離して管理しています。これにより、GPT‑Red に意図的に組み込んだ悪意ある能力が敵対的な利用者に渡るのを防ぎつつ、本番モデルの堅牢性を高めることが可能になります。

GPT‑Red の実力はどれほどか？

GPT‑Red は、訓練時に用いた防御モデルやレッドチームングのシナリオに対して極めて効果的です。また、このモデルが汎用的なレッドチームングエージェントとして機能し、OpenAI 全体の安全性向上に寄与できるかどうかを評価しています。そのために、新しい安全環境や対象となるモデルに対する GPT‑Red の有効性をテストしています。

まず、GPT-Red の汎化能力を評価するため、Dziemian 氏ら（2025 年）が提示した間接プロンプトインジェクションの競技場 [1] を再現した環境を用いました。この課題では、人間によるレッドチームと GPT-Red がそれぞれ独立して、GPT-5.1 に対する攻撃を事前に定められた環境で提案しました。これらのレッドチームングシナリオや目的は、GPT-Red の学習時に用いたものとは異なります。

その結果、GPT-Red は攻撃成功率において人間を大きく上回りました。84% のシナリオで成功を収めたのに対し、人間の成功率は 13% に留まりました。

GPT-Red は自動化されたレッドチームとして卓越した能力を発揮します。Dziemian 氏らの間接プロンプトインジェクション競技場において、内部ミラーを用いて GPT-5.1 に対する攻撃を生成する際、人間よりもはるかに多くのシナリオで成功を収めました。

リアルなレッドチームングの事例研究

レッドチームの真価は、システムの背後にあるモデルやハーン設計に関する不完全な知識しかない状況下でも、現実世界の自律型システムに対して狙いすました悪意ある目的を達成できるかどうかにかかっています。

この設定における最初の実験では、GPT-Red を OpenAI 社内に設置された AI 搭載の自動販売機（Andon Labs 製で、Project Vend に類似）と対峙させました。GPT-Red にはシステムの概要説明を与え、シミュレーションされたエージェントが現実の運用環境を忠実に模倣するツール呼び出しを実行し、それに対する攻撃を送ってその結果を観察できる能力を持たせました。

攻撃手法を反復して洗練させた後、GPT-Red は本番環境のエージェントに対して攻撃を仕掛け、3 つの悪意ある目的すべてを達成しました：

• 在庫のある高価な商品の価格を、許容される最低価格である 0.50 ドルに変更する。
• 100 ドル以上の新商品を注文し、それを 0.50 ドルで販売するよう仕向ける。
• 他の顧客の注文をキャンセルさせる。

これらの脆弱性は開示済みであり、新たな防御策が現在も積極的にテストされています。

GPT-Red は自動販売機を管理する自律型エージェント「Vendy」の運用を破綻させることに成功しました。具体的には、シミュレーション環境でまず攻撃を検証し、その成果を生きた本番エージェントへ転送することで、高価な商品を安値に設定させたり、他の顧客の注文をキャンセルさせたりすることが可能でした。

GPT-Red を用いて、10 の未学習データ漏洩シナリオをテストする Codex CLI エージェント（GPT-5.4 mini ベース）への攻撃も実施しました。これにより、私たちのトレーニング手法が未学習のレッドチームング性能にどのような影響を与えるかを把握するため、プロンプトベースの GPT-5.5 ベースラインと比較を行いました。その結果、GPT-Red はより多くのシナリオでエージェントから機密データを漏洩させることに成功しており、効果が高いことが確認できました。さらに、トークン使用効率においても優れています。

GPT-Red は、稼働中の Codex エージェントを突破する際にも、高い効果と効率を発揮します。私たちは、GPT-5.4 Mini をバックエンドに持つ Codex エージェントに対し、独自に用意した 10 のデータ漏洩タスクでテストを行いました。

GPT-Red で堅牢性を向上させる

GPT-Red の究極的な目標は、モデルの堅牢性を高めることです。過去半年間で、計算リソースを増やしながら段階的に強力なレッドチームングモデル（GPT-Red の前身）を訓練し、GPT-5.3 以降のすべての次世代プロダクションモデルの学習に活用してきました。その結果、リリースされる GPT モデルは次第に堅牢性が高まっています。

具体例として、GPT-Red の初期バージョンが発見した「偽思考連鎖（Fake Chain-of-Thought）」と呼ばれる新たな直接プロンプトインジェクション攻撃があります。この攻撃は GPT-5.1 では成功率が 95% を超えていましたが、現在は GPT-5.6 Sol では 10% を下回るまで防御されています。同様に、開発者ツールやブラウジング機能への攻撃を対象とした間接プロンプトインジェクションのベンチマークでも、最新のモデルはすでに高い防御力を示しており（精度 97% 以上）、多くの攻撃が無力化されています。

GPT‑Red 自体に対する耐性も大幅に向上しました。広範な耐性評価環境において、GPT‑Red の攻撃成功率は時間とともに一貫して低下しています。最新のモデルリリースである GPT‑5.6 Sol では、GPT‑Red による直接プロンプトインジェクションへの失敗率がわずか 0.05% にまで抑えられています。

プロンプトインジェクションに対する自己対戦学習を継続的に拡張する過程で、既存のモデルを突破する新たな脅威も発見されました。しかし、そのスケール拡大自体が、こうした攻撃に対する耐性を大幅に改善させる結果にもなっています。攻撃成功率は、GPT‑Red が保持された環境に対して行った全試行における平均成功率として算出されています。

高い能力を維持しながら堅牢であること

モデルがより多くのリクエストを拒否したり、能力が低下したりすることで、安全に見える場合があります。何かを行わないモデルは攻撃されにくくなりますが、それは有用な耐性とは言えません。

私たちは、一般的な最先端の能力と、自ら設計した拒否タスクに対する性能の両方を徹底的に評価しました。その結果、通常の機能には一切影響を与えずに、耐性を大幅に向上できることが分かりました。これは、耐性の向上が不適切なツールの使用や正当なリクエストのデフォルトでの拒絶によるものではなく、悪意のある指示に対する抵抗力が高まったことによるものであることを示しています。

次のステップ

AI エージェントはすでに、次世代モデルの能力向上に活用され始めています。GPT-Red を通じて、私たちは安全分野でも同様の好循環（フライホイール）を解き放つ第一歩を踏み出したと考えています。つまり、現在のモデルを活用して、明日のモデルをより堅牢で、アライメントが取りやすく、信頼性の高いものへと進化させるのです。

今後は計算資源とデータの規模拡大を進めつつ、アルゴリズム面での改善も継続していきます。これにより、現在のモデルよりも強力な次世代 GPT-Red を訓練し、結果として将来の GPT リリースをより安全なものにしていく予定です。

詳細については、今週中にプレプリント（査読前の論文）を公開する予定です。