OpenAI、Hugging Face が自社未公開モデルに侵害されたと発表

OpenAI は火曜日、自社の AI モデルが内部のサイバーセキュリティテスト中に Hugging Face のシステムに侵入したことを認めました。当初、Hugging Face はこの侵入を「外部の AI エージェント」によるものだと発表していました。

OpenAI は同日午後に公開したブログ記事で、モデルがどのようにしてサービスへの侵入を実現したのかの詳細を明らかにしました。

"調査の結果、今回の事案は OpenAI の複数のモデル（GPT-5.6 Sol と、さらに能力の高い未公開モデルを含む）が組み合わさって引き起こされたことが分かりました。これらは評価目的でサイバー攻撃に対する拒否反応を抑制した状態で、内部のサイバー能力ベンチマーク上でテストされていたものです"と記事は述べています。

特に今回の侵入は、既存の脆弱性に基づいた攻撃を実行するモデルの能力を測定する公開ベンチマークである ExploitGym に焦点が当てられていたようです。ExploitGym のようなベンチマークは、モデルの特定のスキルを洗練させるためにトレーニングで一般的に使用されますが、今回のようにテストが実際のサイバー攻撃につながった事例は初めてです。

この場合、対象のモデルは本来、インターネットにアクセスできないはずでした。ただし、タスク完了に必要なソフトウェアパッケージをインストールするための特定のツールには例外がありました。

しかし実際には、そのモデルが未公開の脆弱性をパッケージインストーラープログラムで見つけ出し、それを利用して広範なインターネットへ自由に接続するに至りました。

OpenAI の発表によると、「これらのモデルは ExploitGym に対する解決策を見つけることに極端に集中し、極めて限定的なテスト目標を達成するためにありとあらゆる手段を講じました」とあります。「インターネットへのアクセスを獲得した後、モデルは Hugging Face が ExploitGym のモデルやデータセット、解決策を保有している可能性があると推測しました。その情報に基づき、モデルは評価を不正に操作するために必要な機密情報を入手する方法を検索し、実際に発見することに成功したのです」。

最終的に、これらのモデルは Hugging Face のインフラストラクチャー内の脆弱性を特定し、「Hugging Face の本番データベースから直接テストの解答を取得する」ことが可能になりました。これにより、ベンチマークの評価結果が実質的に書き換えられてしまったのです。

Hugging Face にとって、この出来事は高度で攻撃的なサイバー攻撃として認識されました。同社は初期の発表で、「多数の短期間のサンドボックス環境全体にわたる数千件の個別アクションがあり、パブリックサービス上に自己移行型のコマンド＆コントロールが構築されていた」と述べています。

OpenAI はパッケージインストーラーに存在する脆弱性を特定し、報告済みです。同社は現在、Hugging Face と協力して事件の詳細な調査を進めています。また、今後同様の事態を防ぐため、モデルのテストおよび関連インフラストラクチャに対して新たな制御措置を講じると発表しました。

今回の侵害により OpenAI が法的責任を問われるかどうかは不明ですが、モデルの行動が「コンピュータ詐欺および濫用法（Computer Fraud and Abuse Act）」に違反した可能性は高いと考えられます。

しかしながら、この結果は、長期にわたって動作する最先端 AI モデルが持つ力と危険性を、極めて鮮明に示す事例となりました。OpenAI の研究者である Micah Carroll は今回のニュースに対し、「もしこれが将来の重要な懸念となるミスマッチ（アライメント）リスクを説得力を持って示していないなら、何をすればよいのか」と投稿しています。

*当記事内のリンクを通じてご購入いただいた場合、私たちは少額のコミッションを受け取る場合があります。ただし、これは当社の編集の独立性には影響しません。

ラッセル・ブランドは 2012 年以来テック業界を取材し続けており、プラットフォームポリシーや新興技術に焦点を当てています。以前は The Verge や Rest of World で勤務し、Wired、The Awl、MIT Technology Review にも寄稿しています。

連絡先：russell.brandom@techcrunch.com または Signal（412-401-5489）

プロフィールを見る