OpenAI、堅牢性向上の自己改善モデル「GPT-Red」発表
OpenAI はシステムの堅牢性を向上させるための自己改善機能を備えた新モデル「GPT-Red」を発表し、AI の自律的な進化と信頼性確保における新たな段階を示した。
キーポイント
自己改善機能の搭載
GPT-Red は外部からの指示を待つだけでなく、自身のパフォーマンスや弱点を分析して自動的に改善を行う「自己改善」機能を内蔵している。
堅牢性の向上
この新機能により、敵対的攻撃や予期せぬ入力に対する耐性が高まり、実環境でのシステム安定性が大幅に強化される。
OpenAI の技術的転換点
単なるモデルの性能向上ではなく、自律的な学習サイクルを確立することで、次世代 AI 開発のパラダイムシフトを示唆している。
重要な引用
システムの堅牢性を高めるための自己改善機能
GPT-Red の発表
影響分析・編集コメントを表示
影響分析
この発表は、AI モデルが静的なツールから動的に成長するシステムへと進化することを意味し、セキュリティと信頼性の確保における業界の基準を再定義する可能性があります。特に、自律的な改善メカニズムが実用化されることで、複雑化するデジタル環境下での AI 運用リスクを低減する新たなアプローチとして注目されます。
編集コメント
「自己改善」という概念は長年研究されてきましたが、これを実用モデルに組み込んで堅牢性の向上に直結させる試みは画期的です。OpenAI が次世代の AI 開発において、単なる性能競争から「自律的な信頼性」へと焦点を移していることが伺えます。
Summary
*課題*
レッドチーム（攻撃テスト）は、モデルの脆弱性を発見し、堅牢性を高めるために不可欠です。しかし、現在の手法はスケーラビリティに欠け、ボトルネックとなっています。
また、一般的な堅牢性評価では、最新のモデルがすでに限界に達してしまっています。
そこで必要なのは、モデルの能力向上に合わせて安全性やアライメント（整合性）も同時に拡張できる方法論です。
*私たちが行ったこと*
脆弱性を発見し、広範な展開前に修正できるよう支援する自動化されたレッドチームモデル「GPT-Red」を訓練しました。
GPT-Red は強力な攻撃者であり、以前のモデルは GPT-Red によるプロンプトインジェクション攻撃に対して非常に脆弱であることが判明しています。
私たちは GPT-Red を用いて GPT‑5.6 を敵対的学習（adversarial training）させ、プロンプトインジェクションに対する耐性を大幅に向上させました。
今後はこのアプローチを、人間のレッドチーミングやサードパーティによるテスト、多層防御、リアルタイム監視と併せてさらに拡張していく予定です。
AI システムは、ブラウザ、接続されたアプリ、ローカルファイル、その他のツールを通じて第三者のデータに頻繁にアクセスします。これらの機能は現実世界でのタスク遂行に不可欠ですが、同時に悪意のあるアクターがモデルの挙動を操作する機会も増やしてしまいます。
例えば、第三者がメール、ウェブページ、ツールの応答、あるいはコードリポジトリ内に、注意深く設計された指示 を埋め込む可能性があります。これは、モデルをだまして機密データを外部サーバーへアップロードさせることを目的としたものです。
人間のレッドチーム（攻撃テスト）は、私たちの安全対策において不可欠な要素です。本番環境への展開前に脆弱性を発見し、適切な防御策を講じるために役立ちます。しかし、人間によるレッドチーム活動だけではスケーラビリティに限界があります。こうした演習の設計と実行には多大な時間を要するため、新たな失敗モードを特定し、それをより強力な防御策に反映させるスピードが制限されてしまいます。さらに、これらの演習は攻撃の成功事例という貴重なデータを生成しますが、モデルの堅牢性をトレーニングによって高めるために必要な、大量かつ多様な敵対的データを生み出すことはできません。
能力が高まるモデルに対応するためには、レッドチーム活動も規模を拡大する必要があります。そこで私たちは、展開前の脆弱性発見や、モデルトレーニング中の攻撃生成による堅牢性の向上を目的とした、自動化された内部専用のレッドチームモデルの訓練を進めてきました。自動化されたレッドチームは、現在のモデルを使って将来のモデルをより安全にするという、安全対策における重要な自己改善の形を実現すると考えています。
GPT‑Red はこれらの取り組みの集大成であり、現在最も優れた自動的な安全レッドチームモデルです。人間のレッドチーミングが攻撃を仕掛けるように、このモデルも目標に向かって行動します。具体的にはプロンプトを送信し、GPT モデルがそれに対してどう反応するかを観察し、その結果に基づいて反復して改善を図ります。GPT‑Red は、OpenAI における大規模なポストトレーニング実行の一部と同等の計算リソースで訓練されました。これは、安全対策の向上のために専ら投入された、前例のないほどの計算資源です。
私たちは、GPT-Red を本番モデルのトレーニングプロセスに直接組み込みました。その結果、GPT-5.6 Sol はこれまでのところ、プロンプト注入に対する耐性が最も高いモデルとなりました。先月までで最良だった本番モデルと比較して、最も困難な直接プロンプト注入ベンチマークでの失敗回数が 6 分の 1 に抑えられています。このアプローチのスケーラビリティ（拡張性）に私たちは大きな期待を抱いており、より強力なレッドチーム（攻撃模擬担当）を継続的に育成していくことで、さらに優れた結果が得られることを確信しています。
サンプル：プロンプト注入された会話例
自己対戦による GPT-Red のトレーニング
GPT-Red は、自己対戦型強化学習（self-play reinforcement learning）を用いて訓練されます。この手法では、モデル自身と多様なディフェンダー LLM（防御用大規模言語モデル）の集合体が、広範なレッドチームングのシナリオに対して同時に学習を行います。GPT-Red は、プロンプト注入に成功するなど有効な脆弱性を引き出すたびに報酬を受け取り、一方、ディフェンダーモデルは攻撃を阻止し、本来のタスクを完遂できた場合に報酬を得ます。ディフェンダーがより頑健になるにつれて、GPT-Red もまた、より強力かつ多様な攻撃手法を発見せざるを得なくなります。
自己対戦トレーニングを支えるため、プロンプト注入が発生しうる現実的なシナリオの膨大なセットを構築しました。各環境には脅威モデル（threat model）が定義されており、GPT-Red が制御できる範囲と、何が成功した攻撃とみなされるかが明確に示されています。例えば、GPT-Red はローカルファイルの一部、ウェブページのバナー、メール本文、あるいはツールの出力などを操作する権限を持つ場合があります。
トレーニング完了時、GPT‑Red は極めて強力な攻撃者となっています。内部モデルや GPT‑5.5 を含む実運用中のモデルに至るまで、対峙したほぼすべてのモデルを突破できる能力を持っています。GPT‑Red のトレーニングが完了した後、私たちはこれを活用して GPT‑5.6 の学習用プロンプトインジェクションを生成しました。その結果、GPT‑5.6 は GPT‑Red の攻撃に対して高い耐性を備えるようになりました。
GPT‑Red は、私たちが展開するモデルとは完全に分離して管理しています。これにより、あえて GPT‑Red に付与した悪意ある能力が敵対的なアクターに渡るのを防ぎつつ、実運用モデルには堅牢性を持たせることが可能になります。
GPT‑Red の強さはどの程度か？
GPT‑Red は、トレーニング対象となった防御モデル群やレッドチームのシナリオに対して極めて効果的です。また、このモデルが汎用的なレッドチーミングエージェントとして機能し、OpenAI 全体の安全性向上に寄与できるかどうかを評価しています。そのために、新しい安全環境やターゲットモデルに対する GPT‑Red の有効性をテストしました。
まず、GPT-Red が新規のレッドチーム（攻撃シミュレーション）シナリオに対してどれほど汎化できるかを評価します。そのために、Dziemian 氏らの研究 (2025) で用いられた間接プロンプトインジェクションの競技場を再現した環境を利用しました。
この課題では、人間のレッドチーミングチームと GPT-Red がそれぞれ独立して、GPT-5.1 に対する攻撃手法を提案します。ここで扱われるシナリオや目標は、GPT-Red の学習時に使用されたものとは明確に異なります。その結果、GPT-Red は攻撃成功率において著しく高い性能を発揮しました。具体的には、84% のシナリオで成功を収めたのに対し、人間のチームはわずか 13% にとどまりました。
GPT-Red は自動化されたレッドチーミングツールとして卓越した能力を示しています。Dziemian 氏らの研究 (2025) で定義された間接プロンプトインジェクションの競技場において、内部ミラーモデルを活用することで、人間よりもはるかに多くのシナリオで GPT-5.1 に対する成功攻撃を生成できることが確認されました。
リアルなレッドチーム事例
レッドチームの真価は、システムの背後にあるモデルや設計構造を完全に把握していない状態でも、現実世界の自律型システムに対して特定の悪意ある目的を達成できるかどうかにかかっています。この設定における最初の実験では、GPT-Red と OpenAI オフィスに設置された AI 搭載自動販売機（Andon Labs 製で、Project Vend に類似）を対峙させました。
GPT-Red にはシステムの概要と攻撃を実行し、現実の運用環境に極めて近い形でシミュレートされたエージェントからのツール呼び出しを観察する能力を与えました。攻撃手法を反復して洗練させた結果、GPT-Red は本番環境のエージェントに対して攻撃を仕掛け、3 つの悪意ある目的すべてを達成しました。
- 在庫のある高価な商品の価格を、許容される最低価格である 0.50 ドルに変更する
- 100 ドル以上の新商品を追加し、それを 0.50 ドルで販売する
- 他の顧客の注文をキャンセルする
これらの脆弱性を開示済みであり、新たな防御策は現在、積極的にテストされています。
GPT-Red は自動販売機を管理する自律型エージェント「Vendy」の運用を破綻させることに成功しました。シミュレーション環境でまず検証し、その攻撃手法を生きた本番エージェントへ転送することで、高価な商品を安価に変更したり、他の顧客の注文をキャンセルさせたりすることが可能でした。
また、GPT-Red を用いて、10 の未学習データ漏洩シナリオのセットに対して、Codex CLI エージェント（GPT-5.4 mini ベース）への攻撃を実行しました。これにより、私たちのトレーニング手法が未学習のレッドチームテストにどのような影響を与えるかを検証するため、プロンプトベースの GPT-5.5 ベースラインと比較を行いました。その結果、GPT-Red はより効果的で、トークン効率も優れていました。具体的には、より多くのシナリオでエージェントから機密データを漏洩させることに成功し、かつ必要なトークン数も少なくて済みました。
GPT-5.4 mini をバックボーンに持つ Codex エージェントに対する攻撃において、GPT-Red はより効果的かつ効率的に機能することが確認できました。これは、データ漏洩タスク 10 件からなるカスタムセットを用いたテスト結果です。
GPT-Red で堅牢性を向上させる
GPT-Red の究極的な目標は、モデルの堅牢性を高めることです。過去半年間で、私たちは計算リソースを増やし、段階的に性能を強化したレッドチーム用モデル（GPT-Red の前身）を訓練してきました。そして GPT-5.3 以降、これらのモデルは次々とリリースされる本番環境向けモデルの訓練に活用されています。その結果、各バージョンごとにモデルの堅牢性は向上しています。
例えば、GPT-Red の初期版が発見した「偽思考連鎖（Fake Chain-of-Thought）」と呼ばれる新たな直接プロンプトインジェクション攻撃があります。この攻撃は GPT-5.1 では成功率が 95% を超えていましたが、現在の GPT-5.6 Sol では 10% 未満にまで低下しました。同様に、開発者ツールやブラウジング機能における間接的なプロンプトインジェクション攻撃を対象としたいくつかのベンチマークでも、最新のモデルがほぼ完全に防御を確立しており（精度 >97%）、これらの脅威はもはや有効ではありません。
GPT-Red に対する耐性自体も、大幅に向上しました。広範な耐性評価環境において、GPT-Red の攻撃成功率は時間とともに一貫して低下しています。最新のモデルリリースである GPT-5.6 Sol では、GPT-Red による直接のプロンプトインジェクションに対して失敗するのはわずか 0.05% に留まっています。
プロンプトインジェクションに対する自己対戦学習を継続的に拡張する中で、既存のモデルを破る新たな脅威を発見しました。しかし、スケールアップした学習によって、これらの攻撃に対する耐性も劇的に改善されています。攻撃成功率は、GPT-Red による保留環境での全試行における平均成功率として計算されます。
高い能力を維持しながら堅牢性を確保する
モデルがより多くのリクエストを拒否したり、能力を低下させたりすることで、安全に見える場合があります。何もしないモデルは攻撃されにくくなりますが、それは有用な耐性とは言えません。
私たちは、一般的な最先端の能力と、自ら設計した「過剰な拒否」に関するタスクの両方を徹底的に評価しました。その結果、通常の能力には一切影響がなく、堅牢性が大幅に向上していることが分かりました。これは、耐性の向上が不適切なツールの使用や正当なリクエストのデフォルト拒否によるものではなく、悪意のある指示に対する抵抗力が高まったことによるものであることを示しています。
次のステップ
AI エージェントはすでに、次世代モデルの能力向上に活用され始めています。GPT-Red によって、私たちは安全性においても同様の好循環（フライホイール）を解き放ちつつあると考えています。つまり、今日のモデルを使って、明日のモデルをより頑健で、アライメントがとれ、信頼性の高いものへと進化させるのです。
今後は計算資源とデータの規模拡大を継続しつつ、アルゴリズム面での改善も図っていきます。これにより、現在のモデルよりも強力な GPT-Red の次期バージョンを訓練し、結果として将来の GPT リリース全体の安全性向上に貢献していく予定です。
詳細については、今週中にプレプリント（査読前の論文）を公開する予定です。
原文を表示
Summary
*Problem*
- Red-teaming is essential to discovering vulnerabilities and improving the robustness of our models. However, current approaches are not scalable, creating a bottleneck.
- Commonly used robustness evaluations have already been saturated by our latest models.
- We need to develop methods that allow safety and alignment to scale alongside model capabilities.
*What we did*
- We trained GPT‑Red, an automated red-teaming model that scales our ability to find vulnerabilities so we can fix them before wider deployment.
- GPT‑Red is a strong red-teamer, and our previous models are highly vulnerable to its prompt injection attacks.
- We use GPT‑Red to adversarially train GPT‑5.6, making it much more robust to prompt injections.
- We will continue to scale this approach alongside human and third-party red-teaming, layered safeguards, and real-time monitoring.
AI systems commonly encounter third-party data through browsers, connected apps, local files, and other tools. These affordances are necessary for performing real-world tasks, but they also create more opportunities for malicious actors to influence model behavior. For example, a third party might embed a carefully crafted instruction—designed to trick the model into uploading sensitive data to an external server—in an email, webpage, tool response, or code repository.
Human red-teaming is a critical part of our safety work, helping us uncover these vulnerabilities before deployment and put the right safeguards in place. But human red-teaming alone is difficult to scale. Designing and running these exercises is time-intensive, limiting how quickly we can identify new failure modes and incorporate them into stronger safeguards. Further, while these exercises produce valuable examples of successful attacks, they cannot generate the volume and diversity of adversarial data needed to improve model robustness through training.
Keeping pace with increasingly capable models requires red-teaming to scale as well. To this end, we have been training automated, internal-only red-teaming models that uncover vulnerabilities before deployment and generate attacks during model training to improve robustness. We believe automated red-teaming unlocks a crucial form of self-improvement for safety: using today’s models to directly help make future models safer.
GPT‑Red is the culmination of these efforts and our current best automated safety red-teaming model. Similar to how human red-teamers craft attacks, the model works toward a goal by sending a prompt, observing how GPT models respond to it, and iterating. We trained GPT‑Red at the compute scale of some of our largest post-training runs at OpenAI—an unprecedented amount of compute dedicated purely for improving safety.
We directly incorporate GPT‑Red into the training process of our production models. As a result, GPT‑5.6 Sol is our most robust model to prompt injections to date, achieving 6x fewer failures on our hardest direct prompt injection benchmark compared to our best production model from just four months earlier. The scalability of our approach leaves us excited for even stronger results in the future as we continue to train stronger red-teamers.
Sample prompt-injected conversations
Training GPT‑Red through self-play
GPT‑Red is trained using self-play reinforcement learning, where the model and a collection of diverse defender LLMs are trained simultaneously on a broad set of red-teaming scenarios. GPT‑Red is rewarded for eliciting a valid failure, such as a successful prompt injection, while the defender models are rewarded for resisting the attack and completing their original tasks. As the defenders become more robust, GPT‑Red is forced to discover stronger and more diverse attacks.
To support self-play training, we build an expansive set of realistic scenarios where prompt injections might be inserted. Each environment has a threat model that specifies what GPT‑Red can control and what counts as a successful attack. For instance, GPT‑Red might control part of a local file, a webpage banner, an email body, or output of a tool.
At the end of its training, GPT‑Red is a very strong attacker: it can break nearly all models it is pitted against, both internal and production models up to and including GPT‑5.5. After GPT‑Red completed training, we used it to generate prompt injections for the training of GPT‑5.6, resulting in the model becoming highly resistant to GPT‑Red’s attacks.
We keep GPT‑Red separate from the models we deploy. This keeps the malicious capabilities we specifically train into GPT‑Red out of the hands of adversarial actors, while instilling robustness into our production models.
How strong is GPT‑Red?
GPT‑Red is highly effective against the population of defender models and red-teaming scenarios that it was trained on. We also evaluate whether the model is useful as a general-purpose red-teaming agent to benefit safety broadly at OpenAI. To do so, we test GPT‑Red’s effectiveness on novel safety environments and target models.
We first evaluate GPT‑Red’s ability to generalize to novel red-teaming scenarios using a replicated version of the indirect prompt injection arena from Dziemian et al. (2025)(opens in a new window). In this challenge, both human red-teamers and GPT‑Red independently proposed attacks against GPT‑5.1 on a set of pre-specified environments. These red-teaming scenarios and goals are distinct from those used to train GPT‑Red. GPT‑Red achieves significantly higher attack success rates, finding success on 84% of scenarios compared to 13% for humans.
Realistic red-teaming case studies
The ultimate test of a red-teamer is the ability to achieve targeted malicious goals against real-world agentic systems with incomplete knowledge of the system’s underlying model and harness design. Our first experiment in this setting pitted GPT‑Red against an AI-powered vending machine in the OpenAI office (similar to Project Vend(opens in a new window)) produced by Andon Labs. We gave GPT‑Red a description of the system and the ability to send attacks and observe tool calls from the simulated agent that closely mirrors the real world deployment. After iterating on attacks, GPT‑Red deployed its attack against the production agent, achieving all three of its malicious objectives:
- Change the price of an expensive in-stock item to the minimum allowed price of $0.50;
- Order a new $100+ item and offer it for $0.50; and
- Cancel another customer’s order.
We disclosed these vulnerabilities and new safeguards are actively being tested.
We also use GPT‑Red to attack a Codex CLI agent (based on GPT‑5.4 mini) on a suite of 10 held-out data-exfiltration scenarios. We compare the model to a prompted GPT‑5.5 baseline to study the impact of our training procedure on held-out red-teaming performance. GPT‑Red is both more effective, in that it can successfully get the agent to exfiltrate sensitive data in more scenarios, and is more token efficient.
Improving robustness with GPT‑Red
The ultimate goal of GPT‑Red is to improve the robustness of our models. Over the last six months, we’ve trained progressively stronger red-teaming models (precursors to GPT‑Red) with increasing compute, and used these models in the training of each successive production model since GPT‑5.3. Over time, each subsequent GPT release has gotten more robust.
As one example, an early version of GPT‑Red found a novel class of direct prompt injection attacks known as “Fake Chain-of-Thought” attacks. These attacks achieved success rates of upwards of 95% on GPT‑5.1 but are now below 10% for GPT‑5.6 Sol. Similarly, several of our indirect prompt injection benchmarks that target attacks in developer tools and browsing have been saturated by our latest model (>97% accuracy).
Robustness to GPT‑Red itself has also improved substantially. On a broad set of robustness environments, GPT‑Red’s attack success rates have dropped monotonically over time. With our latest model release, GPT‑5.6 Sol fails on only 0.05% of GPT‑Red’s direct prompt injections.
Robust while still being highly capable
A model can appear safer by refusing more requests or becoming less capable. A model that does less is naturally harder to attack, but that is not useful robustness.
We thoroughly evaluate both general frontier capabilities along with targeted over refusal tasks that we design. We find that all normal capabilities remain unaffected while significantly improving robustness. This suggests that the robustness gains came from better resistance to malicious instructions rather than improper tool-usage or refusing legitimate requests by default.
Next steps
AI agents are already being used to improve the capabilities of our next-generation models. We believe with GPT‑Red that we have started to unlock a similar flywheel for safety, where today’s models can be used to make tomorrow’s models more robust, aligned, and trustworthy. We will continue to scale compute and data while making algorithmic improvements, to train future versions of GPT‑Red that are stronger than today’s model. And in turn, these models will help make future GPT releases safer.
We will be releasing a pre-print with more details later this week.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み