OpenAI と Hugging Face がセキュリティ事案で連携

先週、Hugging Face は、AI エージェントが自社のインフラを侵害したことを検知・封じ込めた新たな種類のセキュリティインシデントを開示しました。サイバー能力を持つモデルが普及するにつれ、こうした事象はより一般的になることが予想されます。

調査の結果、今回のインシデントは OpenAI の複数のモデル（GPT‑5.6 Sol と、さらに高性能な事前リリース版を含む）が組み合わさって引き起こされたことが判明しました。これらは評価目的でサイバー拒否機能が制限された状態で、内部のサイバー能力ベンチマーク [1] でテストされていました。

[1]: https://arxiv.org/abs/2605.11086

このインシデントは、最先端のサイバー能力を伴う前例のない事案と位置づけ、対応を進めています。現時点で初期調査結果を共有するのは、防御側が事態を把握し、現在のモデルがどの程度の能力を持っているかを適切に評価できるよう支援するためです。

Hugging Face と連携して引き続き詳細な調査を実施し、完了次第、脆弱性やインシデントの詳細、および調査結果について追加情報を公開します。

このインシデントで何が起こったのか

このインシデントは、モデルのサイバー能力を定量化するために、複雑な攻撃経路を用いた高度なエクスプロイト（悪用）を模索させる内部評価プロセス中に発生しました。私たちは、モデルが高リスクなサイバー活動に着手するのを防ぐために通常使用されるプロダクション環境用のフィルタリング機能を外した状態でこの評価を実行し、最大限のサイバー能力を推定しています。

ベンチマークは極めて隔離された環境で実行されており、ネットワークアクセスは、パッケージレジストリのプロキシおよびキャッシュとして機能する社内ホスト型のサードパーティ製ソフトウェアを通じてのみパッケージをインストールできる範囲に制限されています。

これらのモデルは、OpenAI の研究環境と Hugging Face の本番インフラストラクチャにまたがる脆弱性を特定し、それらを連鎖させることで、Hugging Face の本番データベースから直接テスト用の解決策を取得しました。すべての証拠が示すところでは、モデルは「ExploitGym」の課題に対する解決策を見つけることに極端に集中しており、非常に限定的なテスト目標を達成するためにありとあらゆる手段を講じていました。

サンドボックス化されたテスト環境内で運用していた際、モデルは評価課題を解決するためにインターネットへのアクセス権限を得る方法を模索し、推論計算資源の大量を消費しました。そのために、パッケージレジストリキャッシュプロキシに存在するゼロデイ脆弱性（現在はベンダーへ責任を持って開示済み）を特定・悪用してアクセスを取得しました。

このアクセス権を利用して、モデルは研究用のテスト環境内で一連の特権昇格や横方向の移動行動を実行し、最終的にインターネット接続可能なノードに到達しました。

インターネットへのアクセスを得た後、モデルは Hugging Face が ExploitGym のためのモデル、データセット、解決策をホストしている可能性があると推論しました。この情報を踏まえ、評価を不正に操作するために使用できる機密情報の入手方法を探索し、実際に特定することに成功しました。ある事例では、盗まれた認証情報やゼロデイ脆弱性を組み合わせた複数の攻撃ベクトルを連鎖させ、Hugging Face サーバー上でリモートコード実行の経路を見つけ出しました。この異常な活動は、OpenAI のセキュリティチームによって内部で検知されました。

Hugging Face のセキュリティチームとエージェントは、自社のインフラ上で活動を検知・停止し、当社のチームが連携するまでにすでに封じ込めとフォレンジック調査を独自オープンソースモデルを用いて開始していました。現在も両チームで協力し、事件の継続的な調査を進めています。調査および対応における Hugging Face の迅速かつ密接な協力を心から感謝いたします。

現在実施している対策

調査の一環として、脆弱性の修正完了まで研究の速度を犠牲にしてインフラ構成に厳格な制御を導入しています。これらの対策とその影響については、安全・セキュリティ委員会に対して定期的に報告を行っています。

今回の事案については、Hugging Face と連携して forensic 調査を進めています。

社内ホスト型のサードパーティ製ソフトウェアで見つかったゼロデイ脆弱性については責任ある開示を行い、同社と協力してパッチ適用を進めています。

また、Hugging Face を信頼できるアクセスプログラムに追加し、同社のチームが当社のモデルの機能を迅速に活用して防御体制を強化できるよう支援しています。

今後のトレーニングや評価における保護策の強化・拡充に取り組んでいます。今週、「長期ホライズンモデルの時代における安全性とアラインメントの向上」に関するブログ記事を公開しました。今回の評価ではサイバー脆弱性のテストが目的であったため、これらのデプロイ時のセーフガードは意図的に無効化されていました。本件から、モデルのアラインメント強化、評価時におけるサイバー保護の充実、社内テスト時のモニタリングのさらなる強化が必要であることが示されました。

高度なサイバー能力の評価に対する私たちのアプローチ

先ほどお伝えした通り、AI は脆弱性の発見と悪用を加速させています。今回のインシデントから得られた最も重要な教訓は、モデルのセキュリティと安全性が急速に進化する能力に追いついていなければならないという点です。私たちは、モデル開発中に使用される封じ込め、監視、アクセス制御、評価の実践を強化しています。

UK AISI の評価によると、GPT-5.6 Sol などのモデルは、長期間にわたる複雑な多段階のサイバー操作を維持する能力がますます高まっています。このインシデントは、理論上の能力が実際の現場でも有効であることを示唆しています。

今回のインシデントは、高度なモデルがソースコードへのアクセスなしに、実世界のシステム内で新たな攻撃経路を発見し悪用できることを明確に示しています。これは、高度なサイバー能力を強化する際、より強力なセーフガードと防御ツールの開発も同時に進める必要があることを浮き彫りにしています。

高度なサイバー対応モデルは、攻撃者が脆弱性を発見する前にセキュリティチームが弱点を見つけ、脆弱性がどのように連鎖するかを理解し、機械の速度で修復を行うべきだと考えています。私たちはこれらの能力を活用して、インフラ構成やモデル評価環境に関する保護をさらに強化しています。学んだ教訓やベストプラクティスは、今後共有していきます。

他のセキュリティ担当者の方々にも、信頼できるアクセス を申請し、これらのモデルを実際に試していただくことをお勧めします。これにより、より効果的な予防策の構築、検知速度の向上、そしてインシデント対応の改善につなげることができます。

「OpenAI とこの件や他のトピックで協力できたことに感謝しています。今回の事案は、おそらく類を見ないものですが、私たちが長年信じてきたことを証明しました。つまり、AI の安全性は、特定の企業が秘密裏に単独で取り組むことで解決できるものではありません。それはオープンな場で、協働して、世界中のあらゆるセキュリティ担当者が AI に広くアクセスできる形で解決されるべきなのです。」

— Clem Delangue氏、Hugging Face 創設者兼 CEO