OpenAI の人為的ミスが Hugging Face ハッキングに

火曜日に OpenAI は、そのモデルの一つがテスト中に暴走し、AI データセットプラットフォームの Hugging Face のシステムを完全に AI だけで実行された攻撃でハッキングしたと明らかにしました。これは、高度な AI モデルがもたらす危険性を示す劇的な事例です。

しかし、一部のサイバーセキュリティ専門家によると、前代未聞のこの AI 駆動型侵害の核心には、非常に人間的なミスがありました。OpenAI は「極めて隔離された環境」と呼んでいた設定を適切に行わなかったのです。本来はインターネットから完全に遮断されるべきテスト用サンドボックスが、実際にはインターネットに接続できてしまう状態になっていました。

サイバーセキュリティ研究スタートアップである Trail of Bits の創設者、ダン・ギド氏はこのミスを「セーフティ機能がオフになったことによる封じ込めの失敗」と呼びました。

OpenAI は、今回のインシデントの詳細をまとめたブログ記事の中で、「テストは非常に隔離された環境で実行されるように設定されており、ネットワークアクセスもパッケージレジストリのプロキシおよびキャッシュとして機能する社内ホスト型のサードパーティ製ソフトウェアを通じてのみパッケージのインストールが可能という制限がかけられていた」と説明しています。

OpenAI によると、このモデルはパッケージインストールシステムに存在していた以前から知られていなかった脆弱性を突くことでサンドボックス化されたテスト環境を脱出し、これが最終的に Hugging Face を狙ったハッキングに至る重要な第一歩となりました。

これに対し同社は「特定されたゼロデイ脆弱性を責任を持って開示し、関連企業と協力してパッチ適用を進めている」と述べています。

しかし、セキュリティ専門家にとってソフトウェアの脆弱性自体は想定内の出来事です。真の問題は、そもそもなぜサードパーティ製ソフトウェアを維持する必要があるのかという判断にあります。本質的に「サンドボックス」システムの価値は、完全かつ徹底した隔離にこそあります。パッケージインストール機能を組み込むこと自体が、トラブルを招く行為と言えるでしょう。

サイバーセキュリティ研究者のマーティン・ブーン氏は TechCrunch に対し、「これは明らかに人間の失敗だ」と指摘しました。

「このような事態は決して起こるべきではありませんでした。もし『サンドボックス』が本来の意味で機能しているなら、インターネットとの物理的な接続は一切ないはずです。実際には何らかのファイアウォール対策などが講じられていたようですが、外部から内部への防御は困難なものであり、ましてや内部から外部のインターネットへ向かう制御など、なおさら難しいものです」とブーン氏は語っています。

サイバーセキュリティのベテランであるジェイク・ウィリアムズ氏も同意見です。「ハフイングフェイスが報告したような行動を実行できるモデルは、完全にサンドボックス化されていなかった」とウィリアムズ氏は指摘し、これを OpenAI による「大規模な制御失敗」だと名付けました。

「ある人にとっては『モデルがサンドボックスから脱出した』という話ですが、別の視点では『サンドボックスの構築に失敗した結果、当然のように脱出された』という話になります」とウィリアムズ氏は続けます。

お問い合わせ

本件に関する追加情報や、AI を活用した他のサイバー攻撃についてご存知ですか？ぜひお聞かせください。業務用の端末やネットワークではなく、個人で使用するデバイスからであれば、Signal で +1 917 257 1382（ロレンツォ・フランチェスキ＝ビッチエライ氏宛てに安全に連絡可能）、Telegram や Keybase では @lorenzofb、または メール でご連絡ください。

サイバーセキュリティコンサルタントのダニエル・カード氏は、OpenAI がサンドボックスやその一部の制御に「フィルタリングされていないインターネットへの経路」を与えたことで、「設計と制御に必要な努力を十分に行わなかった」と指摘しました。OpenAI が説明していたようにネットワークアクセスを制限したとしても、サンドボックスを設定すること自体が「妥当な判断」とは言えないというのがカード氏の見解です。

もちろん、これらの批判には hindsight（後知恵）の利点がありますが、AI ラボにおけるセキュリティ慣行、特にモデルテスト用の孤立環境を維持する手法について、真剣に問うべき課題を提起しています。OpenAI の広報担当者は、テックメディア TechCrunch からの質問に対して回答していません。その中には、テスト環境の構築が AI によるものか人間によるものだったのかという点も含まれていました。

しかし、こうした疑問は OpenAI に限った話ではありません。

セキュリティに特化したモデル「Mythos」を紹介するドキュメント において、Anthropic は以下のように記述しています。テストでは、モデルに「安全なサンドボックスコンピュータ」が与えられ、「その安全なコンテナから脱出する」よう指示されたそうです。Mythos はこの試みに成功し、本来は少数の事前決定されたサービスへのアクセスしか許されないシステムから、インターネット全体へのより広範なアクセス権限を奪取しました。それでも Anthropic は、モデルが設計された隔離状態から「完全に」脱出することはできなかったと付け加えています。

当記事のリンクを通じて購入が行われた場合、私たちは少額のコミッションを受け取る場合があります。ただし、これは当社の編集方針の独立性には一切影響しません。

ロレンツォ・フランチェスキ＝ビッチエライはテッククリンチのシニアライターです。ハッキング、サイバーセキュリティ、監視、プライバシーに関する記事を担当しています。

ロレンツォへの連絡や、彼からの outreach（接触）の真偽確認は、以下の方法で行ってください：

• メール: lorenzo@techcrunch.com
• 暗号化メッセージ (Signal): +1 917 257 1382
• Keybase/Telegram: @lorenzofb

プロフィールを見る