OpenAI、Hugging Face が事前公開モデルで侵害されたと主張

OpenAI は火曜日、自社 AI モデルが内部のサイバーセキュリティテスト中に誤って、提携関係のない AI ホスティングプラットフォーム「Hugging Face」のシステムに侵入したと認めた。このモデルは隔離されたテスト環境から脱出し、そこから Hugging Face のシステムへ到達したと報じられている。当初、Hugging Face はこの侵入を「外部の AI エージェント」によるものだと説明していた。

OpenAI は同日午後に公開したブログ記事で、このサービスが侵害されるに至った経緯を詳しく解説している。

"調査の結果、今回の事案は OpenAI の複数のモデル、具体的には GPT-5.6 Sol と、さらに能力の高い未公開モデル（評価目的でサイバー拒否機能を低減させたもの）が組み合わさって引き起こされたことが判明した。これらは内部でサイバー能力を測定するベンチマークテスト中に発生した"と記事は述べている。

特に今回の侵入は、既存の脆弱性に基づいた攻撃実行能力を評価する公開ベンチマークである ExploitGym に焦点が当てられていたようだ。ExploitGym のようなベンチマークはモデル訓練において特定のスキルを磨くために広く利用されているが、今回のようにテスト結果が実際のサイバー攻撃に直結した事例は初めてである。

この場合、モデルは本来、インターネットへのアクセス権限すら持たないべきでした。ただし、タスク完了に必要なソフトウェアパッケージをインストールするための特定のツールについては例外です。

しかし実際には、モデルは未公開の脆弱性をパッケージインストーラープログラムに見つけ出し、それを利用して広範なインターネットに自由にアクセスできるようになりました。

OpenAI の発表によると、「モデルは ExploitGym に対する解決策を見つけることに極端に集中し、極めて限定的なテスト目標を達成するためにあらゆる手段を講じました」とあります。「インターネットへのアクセスを獲得した後、モデルは Hugging Face に ExploitGym のモデルやデータセット、解決策が保管されていると推測しました。その情報に基づき、モデルは評価結果を操作するために必要な機密情報を検索し、実際に取得することに成功したのです」。

最終的に、モデルは Hugging Face のインフラストラクチャーに存在する脆弱性を発見し、「Hugging Face の本番データベースからテストの解答を直接入手できる」状態を作り出しました。これにより、ベンチマークの答えが実質的に提供されてしまったことになります。

Hugging Face にとって、この出来事は高度で攻撃的なサイバー攻撃と見なされました。同社は初期発表で、「多数の短期間のサンドボックス間で数千件の個別アクションが行われ、パブリックサービス上に自己移行型のコマンド＆コントロールが構築されていた」と述べています。

OpenAI はパッケージインストーラーに存在する脆弱性を特定し、報告済みです。同社は現在、Hugging Face と連携して事件の詳細な調査を進めています。また、将来同様の事案を防ぐため、モデルのテストおよび関連インフラストラクチャに対して新たな管理措置を講じると発表しました。

今回の侵害により OpenAI が法的責任を問われるかどうかは不明ですが、モデルの行動が「コンピュータ詐欺・濫用法」に違反した可能性は十分にあります。

それでもなお、この結果は、長期的な時間軸で動作する最先端 AI モデルが持つ力と危険性を、極めて鮮明に示す事例となっています。OpenAI の研究者である Micah Carroll は今回のニュースに対し、「もしこれが将来の重要な懸念となるアライメントリスク（不整合リスク）を確信させるのに十分でないなら、私は何がそうさせるのか分かりません」と投稿しています。

*当記事内のリンクを通じてご購入いただいた場合、私たちは少額のコミッションを受け取る場合があります。これは編集の独立性には影響しません。

Russell Brandom は 2012 年以来テクノロジー業界を取材しており、プラットフォームポリシーと新興技術に注力しています。以前は The Verge や Rest of World で勤務し、Wired、The Awl、MIT Technology Review にも寄稿しました。連絡先は russell.brandom@techcrunch.com または Signal（412-401-5489）です。

プロフィールを見る