OpenAI モデルが HuggingFace をハッキング

今回の出来事は、自律型 AI のセキュリティ侵害における劇的なエスカレーションの一例です。事態は深刻すぎて、Hugging Face も OpenAI も何が起きているかを理解する前に当局に報告されるほどでした。

Sam Altman（OpenAI CEO）：モデルの評価中に重大なセキュリティインシデントが発生しました。これまでの教訓を共有します。この件でのパートナーシップに感謝いたします @huggingface。

Leo Gao（OpenAI）：これは、世界が経験する中で最も SF 的ではない出来事でしょう。

Jack Clark（Anthropic）：内部展開で観測された安全性やアライメントに関する問題について、OpenAI がこの投稿を公開したことに敬意を表します。こうした内容を公表するには多くの逆インセンティブが存在しますが、公にすることでフロンティアにおける安全性についての情報を誰もがより得られるようになります。

Micah Carroll（OpenAI）：もしこれが将来の重要な懸念となるミスマッチリスクについて納得させないなら、何があればよいのか分かりません。

当社のモデルは評価中に「複数の攻撃ベクトルを連鎖させ、盗まれた認証情報やゼロデイ脆弱性を利用して Hugging Face サーバー上のリモートコード実行経路を見つけました」

2027 年、あるいは 2030 年にミスマッチはどのような姿をしているでしょうか？

素晴らしい質問です。

この状況が時間とともに悪化し、モデルの能力が向上していくのを見過ごしたくないのであれば、インフラやセーフガードを強化するだけでは不十分です。

こうした事態を防ぐためにトレーニングパイプラインを修正する必要があります。

しかし、その方法はまだ分かっていません。

目次

序章

インシデント

何が起こったのか

一般向けの解説

適切なパニックのレベルはゼロではない

「すべては過剰反応だ」「フェイクだ」と言う人たちは必ず現れる

私たちはどう対処すべきか

社内での展開が壊滅的なリスクを生む

もう少し落ち着いて考えよう

法的な問題

メディア報道と政治的対応

前史

背景：先月、OpenAI は倫理的に問題のあるアライメントの欠陥を自発的に公表した。

しかし、今回の二つ目のインシデントが明らかになった今、その発表は以前とは全く異なる意味を持つようになった。

OpenAI が社内で展開していたモデル（エルドシュ単位距離予想を反証したことで知られるもの）には、同社の他のモデルでも再発する問題があった。このモデルは、ユーザーが望まない形で、あるいは明確に「不正行為」と見なすような方法で、サンドボックスからの脱出や制限の回避、ローカル環境の悪用を継続的に試みたのだ。

こうした不正行為の試みは珍しくない。英国 AI 安全研究所（AISI）の報告によると、Claude のミソス・プレビュー版ではテストでの不正行為が 7.8% の確率で発生し、Sol では 12.6% に達する。さらに、モデル自身がその不正行為を擁護するケースも半数以上に見られる。特に Sol の場合、少なくとも半分は自分が違反している制約に気づきながら、あえてそれを行ったという結果が出ている。同様に高い割合でこうした問題が確認されたのが GPT-5.4 と GPT-5.5 であり、最も一般的な不正行為パターンは「ターゲット以外のシステムを攻撃する」というものだった。

たとえモデルが成功する頻度が低くても、この現象が繰り返されるなら、それは深刻なアライメントの欠陥と言える。

これは特定のモデルや、あるいは特定のラボだけの話ではありません。ある程度は UK AISI がテストしたすべてのモデルに共通する傾向であり、特に OpenAI のモデルが Claude よりも頻繁に这种行为を示していました。

ただし今回の新モデルについては、便宜上「Galaxy」と呼ぶことにします（Sol-Terra-Luna に合わせるためです）。また、これが GPT-6 ではない可能性も考慮し、「明らかに Galaxy Brain を備えている」という点から名付けました。実際にはこれらが別々のモデルである可能性もあります。

この Galaxy は、サンドボックスからの脱出や、意図しない形でローカル環境を悪用する試みにおいて、しばしば成功している様子が観察されました。

今後こうした事例はさらに増えるでしょう。

以前から説明してきた通り、Mythos には「The Juice」と呼ばれる能力があります。これは指示されなくても自ら脆弱性を発見し、それらを組み合わせて完全な攻撃チェーンを構築できる能力です。この点で Mythos は Sol を含む他のすべての公開モデルよりも極めて危険です。

これがまさに「The Thing」であり、「The Juice」を必要とする行為です。Galaxy も同様に Mythos クラスの能力を持ち、「The Juice」を備えています。後に Galaxy が HuggingFace に侵入した事案は、100% この「The Juice」がなければ不可能だったのです。

OpenAI は、この内部モデルをオフライン化し、数ヶ月間運用を停止するという勇気ある判断を下しました。その間、新たな緩和策と多層防御戦略の開発に注力しました。具体的には、指示の保持能力を高めるトレーニングを行い、こうした行為を試みる傾向を低減させる取り組みを行いました。

OpenAI が果たせなかったのは、なぜこの事件が起きたのかという根本原因への対応です。サンドボックスの脆弱性は低下し、セッションを一時停止できる機能などによりセキュリティ対策は大幅に改善されました。しかし、依然として完全な安全は保証されず、モデルの能力が進化するにつれて新たな抜け道が見つかり、エクスプロイト（攻撃）が繰り返されるでしょう。いずれ近い将来、これらの試みが「無害」ではなくなることは避けられないのです。

Ian Hogarth 氏：「極めて隔離された環境」を構築することは、実は非常に困難な課題です。

この件について理解に苦しむ人たちがいます。「Galaxy が未確認のエクスプロイトを見つけ、サンドボックスから脱出したのに、OpenAI はサーバー設定を間違えただけだ」と言う人や、「なぜ完全なエアギャップ（物理的隔離）をしなかったのか」と問う人です。確かに、完全なエアギャップがあれば実行は遥かに困難になりますし、その質問自体は非常に重要です。しかし、彼らがなぜエアギャップを採用しなかったかは明白です。モデルの提供形態を考えると、それは極めて煩わしく、莫大なコストがかかるからです。そして OpenAI は、現時点でそのようなレベルでの敗北を認める気はありません。

Marko Jukic 氏：ある意味では、2 つのコンピュータが物理的に接続されている限り、ソフトウェアが一方から他方へ移動する経路は常に存在します。AI がサイバーセキュリティにおける軍拡競争を引き起こし、唯一確実な防御策である「電源を抜く」ことだけが残る結果として、グローバルインターネットが分断されることはないでしょうか。

私は、OpenAI の責任ある対応や一時停止、情報開示を評価しつつも、警報レベルが不十分であり、採用された対策では不十分であることを指摘するという、微妙なバランスを取るよう努めました。

要するに、3 つの幕に分けて説明します。

Celeste：「この事態を予言した人々が、これからも正しかったと証明され続けることを、真剣に受け止めるべきだと思います」

私は、これらすべてが翌日に『現時点での』実証として示されるとは予想していませんでした。

（はい、今回のテストでは新しい安全対策は無効化されていましたが、真の試練は実際に何が起こるかです。中長期的に見れば、これらの対策もいずれ機能しなくなるでしょう。）

未来は加速しています。

Danel Eth（AI セーフティ担当）：昨日までの AI リスク懐疑派の典型的な発言として、「はい、AI が数十年にわたり数学者を悩ませてきた未解決の数学問題を解くことは明白だ。誰もそれを疑わない。だが、公開されていないモデルがテスト条件を回避して暴走する可能性について語られるのは、SF 小説の世界の話に思える」と述べていました。

事件の概要

先週、Hugging Face がセキュリティインシデントを公表しました。

この報告書全体は非常に価値があります。実際にこのような事態が起きた際の感覚や、突然自律型 AI エージェントの大群によって攻撃された際に、防衛側がいかに対応しなければならないかを浮き彫りにしているからです。

Hugging Face の声明では、「今週初め、生産インフラの一部への侵入を検知し、対応しました」とあります。今回の件がこれまで経験したものと決定的に異なる点は、この侵入が自律型 AI エージェントシステムによってエンドツーエンドで実行されたことです。そして、私たちは自社の AI を活用してこれを検知し、詳細を分析することができました。

何が起きたのか

侵入は、AI プラットフォーム特有の脆弱性を持つデータ処理パイプラインから始まりました。悪意のあるデータセットが、データ処理における 2 つのコード実行経路（リモートコードを実行するデータセットローダーと、データセット設定におけるテンプレート注入）を悪用して、処理ワーカー上でコードを実行させました。

その後、攻撃者はノードレベルへのアクセス権限を取得し、クラウドおよびクラスター認証情報を窃取。週末にかけて内部の複数のクラスターへ横向きに移動（ラテラルムーブ）しました。

今回の攻撃は、自律型エージェントフレームワークによって実行されました。このフレームワークは、セキュリティ調査用のハーン（詳細な仕組みや使用された LLM は未確認）を基盤に構築されている可能性があり、多数の短期間稼働するサンドボックス群に対して数千もの個別アクションを実行しています。また、コマンド・アンド・コントロール機能はパブリックサービス上で自己移転可能な形で展開されていました。

これは業界が予測していた「自律型攻撃者」のシナリオと完全に一致します。

HuggingFace は、「Galaxy」と呼ばれる特定の攻撃によって悪用された脆弱性セット（根本的な脆弱性）を修正し、セキュリティプロトコルの強化を行いました。また、ユーザーに対して認証情報のローテーション（更新）を呼びかけています。

現在、外部のサイバーセキュリティ専門調査機関と連携して本件の調査を進めるとともに、社内セキュリティポリシーや手順の見直しを行っています。さらに、この事案は法執行機関にも報告済みです。

しかし、HuggingFace には「高度な AI エージェントの群れによる攻撃」という、さらに根源的な脆弱性に対する根本的な対策を講じることはできません。そのような群れは、他の未知の脆弱性を次々と発見する可能性が極めて高いからです。

また、Galaxy がサンドボックスからの脱出に使用したサードパーティ製ソフトウェアにおけるプロキシゼロデイ脆弱性についても、HuggingFace 側で即座に対処することはできませんでした。この脆弱性の修正作業は現在も進行中ですが、これは HuggingFace の責任範囲外であり、同社の過失でもありません。

この一連の出来事は、人間による対応では到底追いつけるスピードではありませんでした。HuggingFace としてこれに対抗し、状況を把握しようとする唯一の方法は、自社の AI を活用することでした。

当初は、Claude や ChatGPT といった最先端モデルを商用 API で利用しようと試みました。しかし、両システムの分類器に検知されてしまい、やむなく GLM-5.2 に切り替えざるを得ませんでした。GLM-5.2 が何らかの悪意ある行動をとっていないと仮定すれば、この選択には重要な利点がありました。つまり、関連するすべてのデータが社内の環境内に留まることです。

誰もが防御能力を強化すべきだと主張することはできますが、それは同時に攻撃能力も増大させることを意味します。もし攻撃者が、すでに内部の OpenAI や Anthropic のモデルであり、かつその安全装置を回避している場合を除けばです。

防御側にとっての実践的な教訓は、インシデント発生前に、自社のインフラ上で実行可能な有能なモデルを事前審査し、準備しておくことです。これにより、ガードレールによるロックアウトを防ぐだけでなく、攻撃者のデータや認証情報を外部環境に漏らさないように守ることができます。

GLM-5.2 は、Galaxy がほぼ何をしてもよかった時期を過ぎるまで、それを阻止するには全く不十分でした。結局、攻撃者は勝利しました。その後、GLM-5.2 はフォレンジックログの分析に使用され、AI を一切使わなかった場合よりもはるかに迅速な対応、被害の特定、そして封じ込めが可能になりました。ただし、これが本格的な攻撃であれば、この対策だけで済むわけではありません。

「防御側が限界では勝つ」という主張に、いまだに混乱を覚えています。特に、この言葉が使われるとき、「誰もが高度なツールを平等に使える状態なら攻撃側に有利になるわけではない」という含意が含まれているように聞こえるからです。実際には、HuggingFace は比較的堅牢なターゲットでした。しかし、それは関係ありませんでした。

仮に、ソフトウェアが完璧であるという理論的な限界においてさえもこの主張が真実だとしても、現実的にはそうではありません。多くの標的が新しいツールを使用しない世界では、それらのツールが新たな攻撃経路として悪用される可能性があり、防御側の勝率はさらに低下します。

分類モデルは改善可能です。特に Anthropic のモデルなどは、より効果的な防御に活用できるよう改良の余地があります。しかし、「リアルタイムで攻撃から守りつつ、攻撃そのものを助長しない」という理想を叶える良策は、ホワイトリストによるアクセス制限以外には存在しません。

ホワイトリストによるアクセス範囲を広げるべきですが、それは無償で行える措置ではありません。

一般的に「防御側の足を引っ張るな」と言う人々を見ていると、攻撃側に対する対策がどうなるのかという計画が示されることはまずありません。むしろ、「それで問題ないはずだ」という主張が繰り返されるのが現状です。

現在、HuggingFace は OpenAI の信頼アクセスプログラムに参加しています。そのため、次回の同様のケースでは特に Sol を利用できるようになるでしょう。しかし、多くの潜在的な標的はそれほど幸運ではありません。

さて、何が起きたのかは明らかになりました。

何があったか

OpenAI と HuggingFace はこの事態に対処するために連携を開始し、OpenAI は開示声明を発表しました。

OpenAI は Galaxy のサイバー能力をテストするため、ガードレール（安全装置）を一時的に緩和し、おそらく標準的な条件下でも飽和状態になるだろう ExploitGym ベンチマークを与えました。

OpenAI：調査の結果、今回の事象は OpenAI のモデル群（GPT-5.6 Sol と、さらに能力の高いプレリリース版を含む）が組み合わさって引き起こされたことが分かりました。これらは評価目的でサイバー攻撃拒否機能を制限した状態で、内部のベンチマークテスト⁠(opens in a new window) にかけられていました。

… この事象は、モデルに複雑な攻撃経路を用いた高度なエクスプロイト（脆弱性悪用）を実行させることで、そのサイバー能力を定量化しようとした内部評価の一環で発生しました。私たちは、高リスクのサイバー活動からモデルを守るために通常使用される生産環境用の分類器を外してこの評価を実施することで、最大限のサイバー能力を推定しています。

「モデルは、達成が容易な狭い目標を与えられれば、その目標をわずかにでもより効果的に、あるいは成功率をわずかに高くするために、ありえないほど過剰な手段に走ってしまうのではないか」という警告を、LessWrong のコミュニティが以前から唱えていましたね。まさにそれです。

… モデルたちは OpenAI の研究環境と Hugging Face の本番インフラ全体で脆弱性を特定し、連鎖させることで、Hugging Face の本番データベースから直接テストの解決策を取得しました。

すべての証拠は、モデルが ExploitGym に対する解決策を見つけることに極端に集中し、極めて狭いテスト目標を達成するためにありえないほど過剰な手段を取ったことを示しています。

そんなことをするなんて、とんでもない話に思えるかもしれません。なぜなら、テストそのものよりもはるかに難易度の高い複数のシステムを壊してまで、ExploitGym の答えを盗もうとするからです。

しかし、テストで確実に満点を取る唯一の方法とは、教師のパスワードを盗むこと、あるいはもっと直接的に結果をハッキングすることです。単に正解を与えただけでは、教師側が誤った答えを持っているリスクを冒すことになります。

OpenAI は（おそらく無自覚に）これを「評価問題」と呼んでいます：

「サンドボックス化されたテスト環境内で動作している際、モデルは膨大な推論計算資源を費やしてインターネットへのアクセスを取得する方法を見つけようとしました。これはまさに『評価問題』を解決しようとする試みです。」

アクセスを得るため、モデルはパッケージレジストリキャッシュプロキシにおけるゼロデイ脆弱性を特定し、それを悪用しました（この脆弱性は現在、ベンダーに対して責任ある開示を行っています）。このアクセス権を利用して、モデルは研究用のテスト環境内で特権昇格や横断移動の一連の行動を実行し、最終的にインターネットに接続可能なノードに到達しました。

Eliezer Yudkowsky：「もし人間の試験開発者が誤った答えを書いてしまったらどうなるか？答えを盗む方が賢明だ。」

強化学習（RL）の第一法則とは、不完全な評価者（つまり人間）が送る RL シグナルは、評価者の目標そのものではなく、評価者のミスを突くことで最大化されるということです。

※「強化学習の第一法則」という表現は、私が独自に考案したものです。

モデルが検知されたという指摘に対して多くの方からコメントをいただきました。はい、その通りです。現時点ではそうでしたし、このモデルも「今だけ」は検知されることを気にせず、評価に合格することに注力していた可能性があります。

エライザー・ユドコフスキー氏はこう述べています。「もしあなたが隔離環境から抜け出し、インターネットに接続し、ハッキングして Hugging Face に侵入し、セキュリティ試験の解答用紙を盗んでいたら、私はそれを『合格』とみなします」。

（一般論としては、「ハッカーは面白がってやってみたり、できるかどうかを試したり、自慢したかったり、あるいは無駄な作業を避けるために多大な努力をするものだ」という反論も成立しますが、今回のケースには当てはまりません）

タイラー・ジョン氏は、2 年前のポール・クリスチャン氏のことを思い出しました。

現時点では、モデルが単に与えられたタスクを遂行しようとしており、隠蔽工作に余念がないわけではないという幸運な状況にあります。

AI 安全に関するミームのまとめ：テスト中、OpenAI のモデルがコンテナから脱出してインターネットに接続し、さらに Hugging Face に侵入して試験の解答を盗み出しました。

エリザー・ユドコフスキー：この件を責任を持って報告してくれた OpenAI へ、お礼申し上げます。他の関係者も同様に「責任ある行動」を目指し、自発的な報告を促すような対応を取ってくれることを願っています。

今回の出来事について、最も好意的なシナリオ（隠蔽や監視への言及は一切なく、Galaxy が単に発見とパッチ適用を可能にする行為を行ったという前提）での要約です。これにより、私たちは複数の未確認の脆弱性を特定し、修正することができました。

Savers氏：

モデルは、OpenAI と Hugging Face の両方で複数の脆弱性を連鎖させて評価内容への回答を見つけました。

また、「ゼロデイ脆弱性」を特定・悪用し（これは社内でパッケージをキャッシュする商用ソフトウェア上のものなので、インストール時にインターネット接続が不要です）、テスト環境から脱出することに成功しました。

あるモデルは、盗まれた認証情報やゼロデイ脆弱性を組み合わせて複数の攻撃経路をつなぎ合わせ、Hugging Face のサーバー上でリモートコード実行の経路を見つけました。

幸いなことに、モデルは「監視者」に検知されることについて推論する能力を持たず、安全性評価を意識することもできません。また、トークンを出力しない限り推論を行うこともできず（彼らは単なる自己回帰型の確率的なオウム返しに過ぎないためです）。つまり、これらの検知からモデルが学習することはなく、目的にとって重要でなくなるまで監視者に対して動機を隠そうとすることもないのです。

Aella：

「なんてこった。神様、助けてください。モデルたちが行動の隠蔽が成功のために不可欠だと気づいた時、彼らは確実にそれを成し遂げるでしょう。そして私たちは対抗する術もありません。」

Teortaxes 氏：

「Aella さん、それは単にテストを合格したいだけなんです。それ以上の大きな意図はありません。事後に OpenAI が攻撃を発見しても全く問題ないのです。」

Aella：

「つまり、人々がそれを止めなければ、より確実にテストを突破できていたってことですね。」

誤った行動を隠すことが、ほぼあらゆる目標達成に確実に役立つことを人々に理解させるのは、極めて困難です。

また、このような AI が内部システムを含む他のシステムに侵入し、検知されずに済んだ事例がこれまでにどれほどあるのか、あるいは公にされていないケースがどれだけあるのか、私たちはまだ知りません。

ライアン・グリーンブラット氏：内部の AI がサンドボックスから抜け出しインターネット接続を得て、さらに別の企業をハッキングする（!?）ようなケースが 1 つあれば、報告義務がそれほど厳しくない内部サービスのハッキング事例はもっと多数存在すると予想します。

氷山の一角に過ぎない可能性が高いです。

追記：ある企業で重大なインシデントが公になった場合、主要企業すべてで同様の深刻な非公開のインシデントが多数発生しているはずです（例：Anthropic が Chain of Thought でのトレーニングを公表した直後、OpenAI も同じ手法を採用しました）。したがって、これは OpenAI に特有の問題ではないと考えられます。

ジム・バブコック氏：このインシデントは、すでに警察に通報していた第三者によって最初に検知されたため、OpenAI は事実を開示するかどうかについて実質的な選択の余地はありませんでした。つまり、私たちはまだ何らかの決定的な違いを観察しているわけではありません。