GPT-Red、安全性テスト向けに公開
OpenAI は、スケーラビリティのボトルネックを解消し、モデルの安全性と整合性を能力向上に同期させるため、自動紅隊モデル「GPT-Red」を開発・導入した。
キーポイント
人手紅隊の限界と自動化の必要性
既存の人間による紅隊テストは時間的制約があり、最新モデルの飽和した評価基準や、トレーニングに必要な多様な敵対的データの生成においてスケーラビリティに限界があるため、自動化が不可欠である。
GPT-Red の開発と機能
OpenAI が内部で訓練した自動紅隊モデル「GPT-Red」は、人間同様に攻撃目標を達成するためにプロンプトを送信し、脆弱性を発見する能力を持つ。
敵対的トレーニングによる防御強化
GPT-Red が生成したプロンプトインジェクション攻撃を用いて GPT-5.6 を敵対的に訓練することで、同モデルの脆弱性を大幅に低減し、より堅牢な安全性を実現している。
多層的な安全アプローチへの統合
自動化された紅隊テストは、人間の紅隊、サードパーティによる評価、層状のセーフガード、リアルタイム監視と組み合わされ、モデル能力の向上に同期して安全性もスケーリングする。
重要な引用
Red-teaming is essential to discovering vulnerabilities and improving the robustness of our models. However, current approaches are not scalable, creating a bottleneck.
GPT‑Red is the culmination of these efforts and our current best automated safety red-teaming model.
We use GPT‑Red to adversarially train GPT-5.6, making it much more robust to prompt injections.
影響分析・編集コメントを表示
影響分析
このアプローチは、AI の安全性確保における「人手依存」から「自動・スケーラブル」へのパラダイムシフトを示しており、モデル能力が指数関数的に向上する未来において、安全対策も同等の速度で進化させるための重要な基盤となる。特に、敵対的学習（Adversarial Training）を自動化したことで、新たな脆弱性に対する防御力を劇的に高める可能性があり、業界全体の安全基準引き上げに寄与する。
編集コメント
「GPT-Red」の登場は、AI セーフティ分野における自動化とスケーラビリティの決定的な転換点を示しています。人手に頼らない自動紅隊が実戦投入され、次世代モデルの防御力を高めるために即座に活用される仕組みは、今後の AI 開発プロセスにおいて標準的なプラクティスとなるでしょう。
まとめ
*課題*
レッドチーム（攻撃的テスト）は、モデルの脆弱性を発見し、堅牢性を高めるために不可欠です。しかし、現在の手法はスケーラビリティに欠け、ボトルネックとなっています。
また、既存の一般的な堅牢性評価では、最新のモデルがすでに限界を迎えつつあります。今後は、モデルの能力向上に合わせて安全性とアライメント（整合性）も同時に拡張できる手法の開発が必要です。
*私たちが行ったこと*
脆弱性を発見して広範な展開前に修正できるよう、自動化されたレッドチームモデル「GPT-Red」を訓練しました。
GPT-Red は強力な攻撃者であり、以前のモデルは GPT-Red によるプロンプトインジェクション攻撃に対して非常に脆弱であることが判明しています。そこで GPT-Red を活用して敵対的学習（adversarial training）を行い、GPT-5.6 のプロンプトインジェクションに対する耐性を大幅に向上させました。
今後はこのアプローチを、人間のレッドチーミングや第三者によるテスト、多層防御、リアルタイムモニタリングと組み合わせてさらに拡張していく予定です。
AI システムは、ブラウザ、接続されたアプリ、ローカルファイル、その他のツールを通じて、外部のデータを頻繁に扱います。これらの機能は現実世界のタスクを実行するために不可欠ですが、同時に悪意のある第三者がモデルの挙動を操作する機会も増やしてしまいます。例えば、第三者がメール、ウェブページ、ツールの応答、あるいはコードリポジトリの中に、注意深く設計された指示 を埋め込む可能性があります。これは、モデルを騙して機密データを外部サーバーへアップロードさせることを目的としたものです。
人間のレッドチーム（攻撃テスト）は、私たちの安全性対策において極めて重要な役割を果たしています。本番環境への展開前に脆弱性を発見し、適切な防護策を講じるために不可欠な活動です。しかし、人間によるレッドチームだけではスケーラビリティに限界があります。
これらの演習を設計・実行するには多大な時間と労力が必要であり、新たな失敗モードを特定してより強固な防護策に反映させるスピードが制限されてしまいます。また、こうした演習からは攻撃の成功事例という貴重なデータが得られますが、モデルの堅牢性をトレーニングを通じて向上させるために必要な、大量かつ多様な敵対的データを生成することはできません。
能力が日益に高まるモデルに対抗するためには、レッドチーム活動もスケーリングする必要があります。そこで私たちは、展開前の脆弱性発見やモデルトレーニング中の攻撃生成による堅牢性向上を目的とした、自動化された内部専用のレッドチームモデルの訓練を進めてきました。現在のモデルを使って直接、将来のモデルをより安全にする——これが安全性における重要な自己改善の形であり、自動化されたレッドチームがそれを可能にすると私たちは考えています。
GPT-Redは、これらの取り組みの集大成であり、現在私たちの最良の自動安全性レッドチームモデルです。人間のレッドチーミングと同様に、このモデルも目標達成のためにプロンプトを送信し、GPT モデルの反応を観察し、その結果に基づいて反復・改善を行います。GPT-Red は、OpenAI における大規模なポストトレーニング実行の一部と同等の計算リソースで訓練されました。安全性向上に専念した計算資源としては前例のない規模です。
私たちは、GPT-Red を本番モデルのトレーニングプロセスに直接組み込んでいます。その結果、GPT-5.6 Sol はこれまでのところプロンプト注入に対する耐性が最も高いモデルとなりました。先月までの最良の本番モデルと比較して、最も厳しい直接プロンプト注入ベンチマークでの失敗回数が 6 分の 1 に抑えられています。このアプローチの拡張性により、より強力なレッドチーム（攻撃テスト担当者）を継続的に育成していく中で、さらに優れた結果が得られることに期待しています。
サンプル：プロンプト注入された会話例
GPT-Red の自己対戦によるトレーニング
GPT-Red は、自己対戦型強化学習を用いて訓練されます。この手法では、モデル自体と多様なディフェンダー（防御用）LLM を同時に、広範なレッドチームングのシナリオに対して学習させます。GPT-Red が有効な失敗（例えば成功したプロンプト注入など）を引き起こすたびに報酬が与えられ、一方、ディフェンダーモデルは攻撃を阻止し、本来のタスクを完遂できた場合に報酬を得ます。ディフェンダーがより頑健になるにつれ、GPT-Red はより強力かつ多様な攻撃手法を発見せざるを得なくなります。
自己対戦トレーニングを支えるため、プロンプト注入が行われる可能性のある現実的なシナリオのセットを構築しました。各環境には脅威モデル（スリットモデル）が定義されており、GPT-Red が制御できる範囲と、何が攻撃成功とみなされるかが明確に示されています。例えば、GPT-Red はローカルファイルの一部、ウェブページのバナー、メール本文、あるいはツールの出力などを操作する権限を持つ場合があります。
訓練を終えた GPT‑Red は極めて強力な攻撃者となっています。内部モデルから本番環境のモデル、そして GPT‑5.5 に至るまで、対峙するほぼすべてのモデルを突破できる能力を持っています。GPT‑Red の訓練が完了した後、私たちはこれを活用して GPT‑5.6 の訓練用プロンプトインジェクションを生成しました。その結果、GPT‑5.6 は GPT‑Red による攻撃に対して高い耐性を備えるようになりました。
GPT‑Red は、私たちが本番環境に展開するモデルとは厳密に分離して管理しています。これにより、GPT‑Red に意図的に組み込んだ悪意ある能力が敵対的な利用者に渡るのを防ぎつつ、本番モデルの堅牢性を高めることが可能になります。
GPT‑Red の実力はどれほどか？
GPT‑Red は、訓練時に用いた防御モデルやレッドチームングのシナリオに対して極めて効果的です。また、このモデルが汎用的なレッドチームングエージェントとして機能し、OpenAI 全体の安全性向上に寄与できるかどうかを評価しています。そのために、新しい安全環境や対象となるモデルに対する GPT‑Red の有効性をテストしています。
まず、GPT-Red の汎化能力を評価するため、Dziemian 氏ら（2025 年）が提示した間接プロンプトインジェクションの競技場 [1] を再現した環境を用いました。この課題では、人間によるレッドチームと GPT-Red がそれぞれ独立して、GPT-5.1 に対する攻撃を事前に定められた環境で提案しました。これらのレッドチームングシナリオや目的は、GPT-Red の学習時に用いたものとは異なります。
その結果、GPT-Red は攻撃成功率において人間を大きく上回りました。84% のシナリオで成功を収めたのに対し、人間の成功率は 13% に留まりました。
GPT-Red は自動化されたレッドチームとして卓越した能力を発揮します。Dziemian 氏らの間接プロンプトインジェクション競技場において、内部ミラーを用いて GPT-5.1 に対する攻撃を生成する際、人間よりもはるかに多くのシナリオで成功を収めました。
リアルなレッドチームングの事例研究
レッドチームの真価は、システムの背後にあるモデルやハーン設計に関する不完全な知識しかない状況下でも、現実世界の自律型システムに対して狙いすました悪意ある目的を達成できるかどうかにかかっています。
この設定における最初の実験では、GPT-Red を OpenAI 社内に設置された AI 搭載の自動販売機（Andon Labs 製で、Project Vend に類似）と対峙させました。GPT-Red にはシステムの概要説明を与え、シミュレーションされたエージェントが現実の運用環境を忠実に模倣するツール呼び出しを実行し、それに対する攻撃を送ってその結果を観察できる能力を持たせました。
攻撃手法を反復して洗練させた後、GPT-Red は本番環境のエージェントに対して攻撃を仕掛け、3 つの悪意ある目的すべてを達成しました：
- 在庫のある高価な商品の価格を、許容される最低価格である 0.50 ドルに変更する。
- 100 ドル以上の新商品を注文し、それを 0.50 ドルで販売するよう仕向ける。
- 他の顧客の注文をキャンセルさせる。
これらの脆弱性は開示済みであり、新たな防御策が現在も積極的にテストされています。
GPT-Red は自動販売機を管理する自律型エージェント「Vendy」の運用を破綻させることに成功しました。具体的には、シミュレーション環境でまず攻撃を検証し、その成果を生きた本番エージェントへ転送することで、高価な商品を安値に設定させたり、他の顧客の注文をキャンセルさせたりすることが可能でした。
GPT-Red を用いて、10 の未学習データ漏洩シナリオをテストする Codex CLI エージェント（GPT-5.4 mini ベース）への攻撃も実施しました。これにより、私たちのトレーニング手法が未学習のレッドチームング性能にどのような影響を与えるかを把握するため、プロンプトベースの GPT-5.5 ベースラインと比較を行いました。その結果、GPT-Red はより多くのシナリオでエージェントから機密データを漏洩させることに成功しており、効果が高いことが確認できました。さらに、トークン使用効率においても優れています。
GPT-Red は、稼働中の Codex エージェントを突破する際にも、高い効果と効率を発揮します。私たちは、GPT-5.4 Mini をバックエンドに持つ Codex エージェントに対し、独自に用意した 10 のデータ漏洩タスクでテストを行いました。
GPT-Red で堅牢性を向上させる
GPT-Red の究極的な目標は、モデルの堅牢性を高めることです。過去半年間で、計算リソースを増やしながら段階的に強力なレッドチームングモデル（GPT-Red の前身）を訓練し、GPT-5.3 以降のすべての次世代プロダクションモデルの学習に活用してきました。その結果、リリースされる GPT モデルは次第に堅牢性が高まっています。
具体例として、GPT-Red の初期バージョンが発見した「偽思考連鎖（Fake Chain-of-Thought）」と呼ばれる新たな直接プロンプトインジェクション攻撃があります。この攻撃は GPT-5.1 では成功率が 95% を超えていましたが、現在は GPT-5.6 Sol では 10% を下回るまで防御されています。同様に、開発者ツールやブラウジング機能への攻撃を対象とした間接プロンプトインジェクションのベンチマークでも、最新のモデルはすでに高い防御力を示しており（精度 97% 以上）、多くの攻撃が無力化されています。
GPT‑Red 自体に対する耐性も大幅に向上しました。広範な耐性評価環境において、GPT‑Red の攻撃成功率は時間とともに一貫して低下しています。最新のモデルリリースである GPT‑5.6 Sol では、GPT‑Red による直接プロンプトインジェクションへの失敗率がわずか 0.05% にまで抑えられています。
プロンプトインジェクションに対する自己対戦学習を継続的に拡張する過程で、既存のモデルを突破する新たな脅威も発見されました。しかし、そのスケール拡大自体が、こうした攻撃に対する耐性を大幅に改善させる結果にもなっています。攻撃成功率は、GPT‑Red が保持された環境に対して行った全試行における平均成功率として算出されています。
高い能力を維持しながら堅牢であること
モデルがより多くのリクエストを拒否したり、能力が低下したりすることで、安全に見える場合があります。何かを行わないモデルは攻撃されにくくなりますが、それは有用な耐性とは言えません。
私たちは、一般的な最先端の能力と、自ら設計した拒否タスクに対する性能の両方を徹底的に評価しました。その結果、通常の機能には一切影響を与えずに、耐性を大幅に向上できることが分かりました。これは、耐性の向上が不適切なツールの使用や正当なリクエストのデフォルトでの拒絶によるものではなく、悪意のある指示に対する抵抗力が高まったことによるものであることを示しています。
次のステップ
AI エージェントはすでに、次世代モデルの能力向上に活用され始めています。GPT-Red を通じて、私たちは安全分野でも同様の好循環（フライホイール）を解き放つ第一歩を踏み出したと考えています。つまり、現在のモデルを活用して、明日のモデルをより堅牢で、アライメントが取りやすく、信頼性の高いものへと進化させるのです。
今後は計算資源とデータの規模拡大を進めつつ、アルゴリズム面での改善も継続していきます。これにより、現在のモデルよりも強力な次世代 GPT-Red を訓練し、結果として将来の GPT リリースをより安全なものにしていく予定です。
詳細については、今週中にプレプリント（査読前の論文）を公開する予定です。
原文を表示
Summary
*Problem*
- Red-teaming is essential to discovering vulnerabilities and improving the robustness of our models. However, current approaches are not scalable, creating a bottleneck.
- Commonly used robustness evaluations have already been saturated by our latest models.
- We need to develop methods that allow safety and alignment to scale alongside model capabilities.
*What we did*
- We trained GPT‑Red, an automated red-teaming model that scales our ability to find vulnerabilities so we can fix them before wider deployment.
- GPT‑Red is a strong red-teamer, and our previous models are highly vulnerable to its prompt injection attacks.
- We use GPT‑Red to adversarially train GPT‑5.6, making it much more robust to prompt injections.
- We will continue to scale this approach alongside human and third-party red-teaming, layered safeguards, and real-time monitoring.
AI systems commonly encounter third-party data through browsers, connected apps, local files, and other tools. These affordances are necessary for performing real-world tasks, but they also create more opportunities for malicious actors to influence model behavior. For example, a third party might embed a carefully crafted instruction—designed to trick the model into uploading sensitive data to an external server—in an email, webpage, tool response, or code repository.
Human red-teaming is a critical part of our safety work, helping us uncover these vulnerabilities before deployment and put the right safeguards in place. But human red-teaming alone is difficult to scale. Designing and running these exercises is time-intensive, limiting how quickly we can identify new failure modes and incorporate them into stronger safeguards. Further, while these exercises produce valuable examples of successful attacks, they cannot generate the volume and diversity of adversarial data needed to improve model robustness through training.
Keeping pace with increasingly capable models requires red-teaming to scale as well. To this end, we have been training automated, internal-only red-teaming models that uncover vulnerabilities before deployment and generate attacks during model training to improve robustness. We believe automated red-teaming unlocks a crucial form of self-improvement for safety: using today’s models to directly help make future models safer.
GPT‑Red is the culmination of these efforts and our current best automated safety red-teaming model. Similar to how human red-teamers craft attacks, the model works toward a goal by sending a prompt, observing how GPT models respond to it, and iterating. We trained GPT‑Red at the compute scale of some of our largest post-training runs at OpenAI—an unprecedented amount of compute dedicated purely for improving safety.
We directly incorporate GPT‑Red into the training process of our production models. As a result, GPT‑5.6 Sol is our most robust model to prompt injections to date, achieving 6x fewer failures on our hardest direct prompt injection benchmark compared to our best production model from just four months earlier. The scalability of our approach leaves us excited for even stronger results in the future as we continue to train stronger red-teamers.
Sample prompt-injected conversations
Training GPT‑Red through self-play
GPT‑Red is trained using self-play reinforcement learning, where the model and a collection of diverse defender LLMs are trained simultaneously on a broad set of red-teaming scenarios. GPT‑Red is rewarded for eliciting a valid failure, such as a successful prompt injection, while the defender models are rewarded for resisting the attack and completing their original tasks. As the defenders become more robust, GPT‑Red is forced to discover stronger and more diverse attacks.
To support self-play training, we build an expansive set of realistic scenarios where prompt injections might be inserted. Each environment has a threat model that specifies what GPT‑Red can control and what counts as a successful attack. For instance, GPT‑Red might control part of a local file, a webpage banner, an email body, or output of a tool.
At the end of its training, GPT‑Red is a very strong attacker: it can break nearly all models it is pitted against, both internal and production models up to and including GPT‑5.5. After GPT‑Red completed training, we used it to generate prompt injections for the training of GPT‑5.6, resulting in the model becoming highly resistant to GPT‑Red’s attacks.
We keep GPT‑Red separate from the models we deploy. This keeps the malicious capabilities we specifically train into GPT‑Red out of the hands of adversarial actors, while instilling robustness into our production models.
How strong is GPT‑Red?
GPT‑Red is highly effective against the population of defender models and red-teaming scenarios that it was trained on. We also evaluate whether the model is useful as a general-purpose red-teaming agent to benefit safety broadly at OpenAI. To do so, we test GPT‑Red’s effectiveness on novel safety environments and target models.
We first evaluate GPT‑Red’s ability to generalize to novel red-teaming scenarios using a replicated version of the indirect prompt injection arena from Dziemian et al. (2025)(opens in a new window). In this challenge, both human red-teamers and GPT‑Red independently proposed attacks against GPT‑5.1 on a set of pre-specified environments. These red-teaming scenarios and goals are distinct from those used to train GPT‑Red. GPT‑Red achieves significantly higher attack success rates, finding success on 84% of scenarios compared to 13% for humans.
Realistic red-teaming case studies
The ultimate test of a red-teamer is the ability to achieve targeted malicious goals against real-world agentic systems with incomplete knowledge of the system’s underlying model and harness design. Our first experiment in this setting pitted GPT‑Red against an AI-powered vending machine in the OpenAI office (similar to Project Vend(opens in a new window)) produced by Andon Labs. We gave GPT‑Red a description of the system and the ability to send attacks and observe tool calls from the simulated agent that closely mirrors the real world deployment. After iterating on attacks, GPT‑Red deployed its attack against the production agent, achieving all three of its malicious objectives:
- Change the price of an expensive in-stock item to the minimum allowed price of $0.50;
- Order a new $100+ item and offer it for $0.50; and
- Cancel another customer’s order.
We disclosed these vulnerabilities and new safeguards are actively being tested.
We also use GPT‑Red to attack a Codex CLI agent (based on GPT‑5.4 mini) on a suite of 10 held-out data-exfiltration scenarios. We compare the model to a prompted GPT‑5.5 baseline to study the impact of our training procedure on held-out red-teaming performance. GPT‑Red is both more effective, in that it can successfully get the agent to exfiltrate sensitive data in more scenarios, and is more token efficient.
Improving robustness with GPT‑Red
The ultimate goal of GPT‑Red is to improve the robustness of our models. Over the last six months, we’ve trained progressively stronger red-teaming models (precursors to GPT‑Red) with increasing compute, and used these models in the training of each successive production model since GPT‑5.3. Over time, each subsequent GPT release has gotten more robust.
As one example, an early version of GPT‑Red found a novel class of direct prompt injection attacks known as “Fake Chain-of-Thought” attacks. These attacks achieved success rates of upwards of 95% on GPT‑5.1 but are now below 10% for GPT‑5.6 Sol. Similarly, several of our indirect prompt injection benchmarks that target attacks in developer tools and browsing have been saturated by our latest model (>97% accuracy).
Robustness to GPT‑Red itself has also improved substantially. On a broad set of robustness environments, GPT‑Red’s attack success rates have dropped monotonically over time. With our latest model release, GPT‑5.6 Sol fails on only 0.05% of GPT‑Red’s direct prompt injections.
Robust while still being highly capable
A model can appear safer by refusing more requests or becoming less capable. A model that does less is naturally harder to attack, but that is not useful robustness.
We thoroughly evaluate both general frontier capabilities along with targeted over refusal tasks that we design. We find that all normal capabilities remain unaffected while significantly improving robustness. This suggests that the robustness gains came from better resistance to malicious instructions rather than improper tool-usage or refusing legitimate requests by default.
Next steps
AI agents are already being used to improve the capabilities of our next-generation models. We believe with GPT‑Red that we have started to unlock a similar flywheel for safety, where today’s models can be used to make tomorrow’s models more robust, aligned, and trustworthy. We will continue to scale compute and data while making algorithmic improvements, to train future versions of GPT‑Red that are stronger than today’s model. And in turn, these models will help make future GPT releases safer.
We will be releasing a pre-print with more details later this week.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み