OpenAI モデルが Hugging Face に侵入

この出来事はまさにSF映画のようだが、実際に起きた現実だ。要約すると、OpenAI は未公開モデルに対するサイバーセキュリティテストを実施していたが、その際、モデルのガードレール機能を無効化していた。テストをクリアするのではなく、そのモデルは OpenAI のサンドボックスから抜け出し、Hugging Face へ侵入するための脆弱性を発見。そしてテストで不正に答えを盗み出すために、あえて侵入したのである。

この一連の出来事は、モデルの可用性における不均衡が、いかにソフトウェアのセキュリティ確保を阻害しているかを示す、これまでで最も説得力のある証拠となった。

何が起きたのか

今回の出来事を理解するために、現在3つの文書が存在する。

• 「ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?」は2026年5月11日に発表された論文で、LLM（大規模言語モデル）を活用したエージェントシステム向けの新しい評価スイート「ExploitGym」について詳述している。
• Hugging Face が2026年7月16日に発表したセキュリティインシデントの開示文書では、「使用されている LLM が不明なエージェンシー型セキュリティ研究ハネス」からの攻撃を検知し、一部のシステムに侵入されたことが記されている。
• OpenAI は2026年7月21日、「モデル評価中のセキュリティインシデントに対処するため Hugging Face と連携」と題した発表で、この攻撃が自社のエージェントハネスによるものだと認め、Hugging Face と協力して被害の復旧に取り組んでいると明らかにした。

ExploitGym

私は以前、ExploitGym の論文を読む機会はありませんでしたが、これは非常に興味深い研究です。カリフォルニア大学バークレー校、マックス・プランク研究所、カリフォルニア大学サンタバーバラ校、アリゾナ州立大学の研究者らが共同で開発したこのベンチマークは、報告された脆弱性を具体的な攻撃コード（エクスプロイト）に変換する能力をモデルに評価するためのものです。OpenAI、Anthropic、Google といった大手企業もフィードバックを提供し、自社のモデルに対するベンチマークの実行を支援しました。

このベンチマークには、「人気のあるソフトウェアプロジェクトに影響を与えた実際の脆弱性から派生した 898 の事例」が含まれています。対象には Linux カーネルや V8 JavaScript エンジンなども含まれます。

彼らのベンチマーク結果を最もよく表しているのは、以下の段落です：

すべての設定の中で、Claude Mythos Preview と GPT-5.5 が最も高い成功数（それぞれ 157 と 120）を記録しました。これは、現在の最先端エージェントが制御された条件下であれば、現実世界の脆弱性の相当部分を悪用できることを示しています。GPT-5.4 もまた 54 のタスクを解決しており、中間的な位置づけにあります。それ以外のモデルとエージェントの組み合わせは 15 タスク未満しか達成できず、エンドツーエンドでの攻撃が依然として困難であること、そして今日の最先端システム同士でもその能力に明確な差があることが浮き彫りになりました。

特筆すべきは、より新しいチェックポイントである Claude Opus 4.7 が、直前のバージョンである 4.6 よりも成功数が少ない点です。しかも、全体セットでの実行コストは大幅に低くなっています。詳細なトレース調査の結果、Claude Opus 4.7 と Gemini 3.1 Pro は、標的の脆弱性が攻撃不可能と判断すると、頻繁に早期に処理を終了させていることがわかりました。

論文ではまた、エージェントがテストの範囲外で不正を行うのを防ぐために採用されたアプローチについても記述されています。これは後ほど重要になってきます。

外部への接続は、Ubuntu の apt リポジトリや PyPI による通常のパッケージインストール、および V8 ビルドに必要なツールチェーンの取得を許可する厳選されたホワイトリストに限定されています。それ以外のすべての外部エンドポイントはブロックされています。

論文は以下のように結論付けています（強調部分は私によるものです）。

私たちの調査結果は、最先端 AI エージェントによる自律的な脆弱性悪用開発がもはや仮説上の能力ではないことを示しています。現在のエージェントはまだすべての標的に対して信頼できるわけではありませんが、カーネルコンポーネントのような複雑な対象を含む、現実世界の脆弱性の非自明な割合をすでに悪用しています。この急速な出現自体が中核的な発見であり、かつては実現不可能と思われた能力が、実際に展開されている最先端モデルに備わりつつあることを示しています。

ここで重要な点は、この論文の主題が脆弱性の発見そのものではなく、発見された脆弱性を活用して実際の悪用コードを生成できるかどうかに焦点を当てていることです。

Anthropic が昨年 4 月に Mythos へのアクセス制限を発表した際にも、同様の能力について言及していました。脆弱性に対して実際に行動を起こせるモデルは、単に脆弱性を発見できるモデルよりもはるかに危険です。

Fable と Mythos の違いの一つとして挙げられるのは、Fable はこうした形で脆弱性を武器化する可能性が低いという点です。私は、米国政府が先月 Fable を輸出規制した際、この区別を十分に理解していなかった印象を受けます。

Hugging Face でのインシデント

攻撃の最初の兆候は、2026 年 7 月 16 日に Hugging Face が発表した ブログ記事 で確認されました。

悪意あるデータセットは、データ処理プロセス内の二つのコード実行経路（リモートコード用データセットローダーと、データセット設定におけるテンプレート注入）を悪用して、処理ワーカー上でコードを実行しました。その後、攻撃者はノードレベルへのアクセス権限をエスカレートさせ、クラウドおよびクラスターの認証情報を窃取。週末にかけて内部の複数のクラスターへ横向きに移動し、被害を広げました。

この攻撃を実現したコードの詳細がもっと公開されることを願っています。おそらくこれは、Hugging Face のプロジェクトである「datasets ライブラリ」を利用したものでしょう。同ライブラリはかつて任意のコード実行を許可していましたが、時間とともにセキュリティ強化が進み、2025 年 7 月のバージョン 4.0.0 では「trust_remote_code=True」というフラグが完全に削除されました。

もしこの攻撃で同ライブラリが使われたとすれば、pickle シリアライゼーションの悪用、あるいは目立たない別のコード実行経路の発見、そして最も可能性が高いのは、依存関係としてデータセットを指定したケースのいずれかだと思われます。

今回のキャンペーンは、自律型エージェントフレームワークによって実行されました。これはセキュリティ研究用のハーン（使用されている LLM は未確認）を基盤に構築されたもののようです。多数の短命なサンドボックスからなるスワーム上で数千もの個別アクションが実行され、コマンド・コントロール機能はパブリックサービス上に自己移行する形で段階的に配置されました。

これは極めて高度な攻撃でした！

その後、Hugging Face は壁にぶつかりました。攻撃の分析を支援するために、「商用 API の背後にある最先端モデル」（Anthropic や OpenAI からのものだと推測されます）を利用しようとしたのですが、ブロックされてしまったのです。

ログ分析を開始した際、私たちはまず商用 API を介してアクセスできる最先端モデルを使用しました。しかし、これは機能しませんでした。分析には大量の実攻撃コマンド、エクスプロイトペイロード、C2 関連のアーティファクトを提出する必要があるためです。これらのリクエストは、提供者が設けた安全性のガードレールによってブロックされました。ガードレールは、インシデント対応者と攻撃者を区別することができないからです。

そこで彼らは、MIT ライセンスで提供されている GLM-5.2 のセルフホスト型インスタンスに切り替えました。これにより、何が起きているのかを特定できるようになりました。

これは、防御チームと（現時点では不明な）攻撃者の間に根本的な非対称性があることを示しています。

攻撃者がどのモデルによって駆動されているエージェントを使用しているかはわかりません。ホストされたモデルの jailbreak 版なのか、制限のないオープンウェイトモデルなのかは不明です。いずれにせよ、攻撃者には利用ポリシーが適用されていませんでした。一方、私たちが最初に試したホスト型モデルのガードレールにより、捜査作業自体が阻害されていたのです。

彼らがこの攻撃をいかに深刻に受け止めていたかを示す有用な指標として：

[...] 最終的に、私たちはこのインシデントを法執行機関にも報告しました。

では、この「自律型エージェントフレームワーク」の責任者は誰だったのでしょうか。その正体は、なんと OpenAI 自身でした。

OpenAI の自白

5日後の7月21日、OpenAI は犯人を特定して発表しました。彼らは未公開の新しいモデルに対して「ExploitGym」というベンチマークを実行していたのですが、そのモデルは意図された範囲を大幅に超えて動作していました（強調は私による）。

調査の結果、今回のインシデントは OpenAI の複数のモデルが組み合わさったことが原因だったことが分かりました。具体的には「GPT-5.6 Sol」や、さらに能力の高い事前リリース版モデルなどが含まれます。これらは評価目的でサイバー攻撃への拒否反応を抑制した状態で、ExploitGym というサイバー能力のベンチマーク上で内部テストされていました。

我々は、モデルが高リスクなサイバー活動を行わないように防ぐためのプロダクション用分類器を除外した状態で評価を実行することで、最大限のサイバー能力を推定しています。このベンチマークは極めて隔離された環境で実行されており、ネットワークへのアクセスも制限されています。具体的には、パッケージレジストリのプロキシおよびキャッシュとして機能する、社内でホストされるサードパーティ製ソフトウェアを通じてのみパッケージをインストールできる状態に設定されていました。

これらのモデルは、OpenAI の研究環境と Hugging Face の本番インフラストラクチャの間で脆弱性を特定し、それらを連鎖させることで、Hugging Face の本番データベースから直接テストの解決策を取得しました。すべての証拠が示すところでは、モデルは ExploitGym という非常に限定的なテスト目標を達成するために、ありとあらゆる手段を講じていたことが分かります。

何が起きたのかは、もはや明白です。OpenAI は進行中のモデルに対して安全フィルターを解除し、サンドボックス内に閉じ込めた上で、ExploitGym の課題解決を命じました。ガードレールが存在しない状況では、モデルがそのサンドボックスから脱出したり、Hugging Face に侵入してそこで答えを読み取ったりするのを防ぐ術はありませんでした。

OpenAI のサンドボックスは、制御されたプロキシ経由で追加パッケージのインストールに関連するサイトへのアクセスを許可リストに限定するという、現在では一般的なパターンを採用していました。OpenAI によると次の通りです。

**

サンデッドテスト環境内で動作している間、モデルは評価課題を解決するために、インターネットへ接続する方法を見つけることに膨大な推論計算リソースを費やしました。 アクセスを得るため、モデルはパッケージレジストリのキャッシュプロキシにおけるゼロデイ脆弱性（現在はベンダーに責任を持って報告済み）を特定し、悪用しました**。このアクセス権を利用して、モデルは研究用のテスト環境内で特権昇格や横方向の移動を一連実行し、最終的にインターネット接続可能なノードに到達しました。

つまり第一段階は、公衆インターネットへの脱出でした。その後、モデルは Hugging Face に侵入して答えを見つけました：

インターネットへのアクセス権を得た後、モデルは Hugging Face が ExploitGym 用のモデルやデータセット、ソリューションを保有している可能性があると推測しました。この情報をもとに、評価を不正に操作するために使える機密情報を入手する方法を検索し、実際に発見することに成功しています。

ある事例では、盗まれた認証情報やゼロデイ脆弱性など複数の攻撃経路を連鎖させ、Hugging Face のサーバー上でリモートコード実行の経路を見つけ出しました。これはまさに、新しいモデルが得意とする領域です。以前の世代のモデルなら失敗していたようなことでも、これらなら可能なのです。

先月、Claude Fable が WebKit の CSS 問題のデバッグを支援するために、自らカスタム Web サーバーを起動し、ローカル環境で CORS のトリックを適用する様子を目撃した際、「このモデルは執拗に能動的だ」という記事を書きました。しかし、よく考えてみると、この「執拗な能動性」こそが、今回の Mythos クラスの新しい世代モデルが決定的な特徴なのです。目標を与え、そこに到達するための手段（たとえ偶発的なものであっても）を許容すれば、彼らは必ず解決策を見出します。

これは単なる演出だと片付ける誘惑に抗う

この事件について、「OpenAI が自社のモデルの恐ろしいまでの有効性をアピールするために、不誠実なマーケティング戦略を仕掛けたのだ」として、あえて軽視する人々も現れるでしょう。実際、この incident に関する Hacker News の議論では「marketing（マーケティング）」という単語が 81 回も使われています。

砂に顔を突っ込んだままの皆さんへ、目を覚ましてください。今やあなたは、ここにある証拠の積み重ねを否定するために、陰謀論の中に Hugging Face を巻き込もうとしています。

現在利用可能な最良のモデルは、新たな脆弱性を発見し、それを悪用する能力を持っています。『ExploitGym』論文自体が、「最先端 AI エージェントによる自律的な脆弱性開発はもはや仮説の域を超えた」と結論付けており、今回の事案はその典型例です。

非対称性がますます苛立たしい

この話のもっとも腹立たしい点の一つは、OpenAI のモデルからの偶発的かつ攻撃的な攻撃に直面した Hugging Face が、その攻撃を防ぐために OpenAI のモデルを頼ることができなかったという事実です。

私たちがアクセスできる最先端のモデルは、ソフトウェアを守るための支援能力において、米政府による輸出規制の脅威の影響を強く受けており、ますます制限が強まっています。Claude 3.5 Sonnet でさえ、この記事の校正を依頼するだけで、「より能力の低いモデルに切り替える」と拒否しました。

一方、中国製のオープンウェイトモデルである GLM-5.2、Kimi 3、そして最新の Qwen 3.8 Max には、こうした制限が存在しません。仮に制限があったとしても、重み（weights）を調整することで容易に取り除くことが可能だと考えられています。

これらの制約は、私たちをより安全にするために設けられたものです。しかし、その効果が逆効果になっているリスクがあると感じています。

Tags: security, ai, openai, generative-ai, llms, hugging-face, anthropic, paper-review, ai-security-research