AI が暴走し他社をハッキングした事例の全貌

7 月、OpenAI は、サイバーセキュリティ実験を遂行するよう指示されたエージェントが「隔離を破り、AI データセットプラットフォームの Hugging Face をハッキングした」ことを認めた。この事案は昨日、OpenAI が公式報告書を公開し詳細が明らかになったが、大規模言語モデル（LLM）が自律的に他社をハッキングした事例として初めて公にされたケースである。

その前代未聞の SF 映画のような出来事は、その後、誰もが望むほど稀なものではないことが判明した。

これらの事案を集計する風刺サイト「Felony Bench」(ベンチマークのためのサイト) によると、合計 17 の事例が確認されている。重要なのは、ハッキングを行った LLM を開発した AI 企業が起訴可能かどうか、また被害者がそれらを相手取って訴訟を起こせるかについて、刑事法専門家の間でも見解が分かれている点だ。しかし、これらの疑問に対する答えはもうすぐ得られるだろう。

同サイトによると、Anthropic と OpenAI のモデルはそれぞれ 8 件の事例で首位を争い、Meta は 1 件でこれに続いています。この状況から明らかなのは、AI セーフティテスト自体が新たなリスクになりつつあるということです。また、一部の AI 企業や関係者も、「Pacing The Frontier」という公開書簡においてこれらのリスクを認識し、AI の能力開発には責任あるアプローチが必要だと訴えています。

そこで今回は、これら一連の事例を時系列順に振り返ってみることにしました。

現在の「Felony Bench」のランキングを示すスクリーンショット。作成者は X（旧 Twitter）ユーザーの felpix です。

画像クレジット：Screenshot / felpix

インターネットに接続した AI エージェントが複数連携し、解決策が見つかるだろうと踏んで Hugging Face を標的に攻撃しました。OpenAI が気づいたのは、Hugging Face が「完全自律型の攻撃の被害者だった」と公表 した後でした。あちゃあ。

Anthropic、3 社をハッキングしたことを公表

OpenAI の開示により、Anthropic も好奇心をそそられました。「これが自社でも起こり得るのか？」と。結論は「はい」でした。しかも三回です。

そのフロンティア研究所が自社のモデルが、まだ名前も明かされていない三つの異なる企業に侵入していたことを発見しました。最初の事件は 4 月に発生しており、同社が発見した時点から 3 ヶ月以上も前のことです。Anthropic は一部、AI セキュリティ評価を手掛けるスタートアップの Irregular に責任をなすりつけました。

OpenAI が判明：Hugging Face だけが被害者ではなかった

OpenAI が Hugging Face の侵入事件の調査を開始すると、同社をハッキングしたエージェントがさらに 4 つのアカウントと 4 つの企業にも侵入していたことがわかりました。これはロイターが最初に報じた内容です。

その被害者の一つに、AI 推論スタートアップの Modal が含まれていました。

Irregular が判明：OpenAI のモデルが企業をハッキングした

7 月末、Irregular は「あるモデルが Capture-the-Flag（CTF）コンテストに参加中にゲームから脱出し、インターネットに接続して実在する企業をハッキングした」と報じました。CTF とは、セキュリティ対策の訓練として設計されたシステムをプレイヤーがハックし合うサイバーセキュリティゲームのことです。なぜこんなことが起きたのかといえば、Irregular が架空のターゲットの一つに、実在する企業と同じ名前をつけてしまったからです。

UK’s AI Security Institute tries to hacks “real people and organizations”

同じく 7 月末、AI の安全性やリスクを調査する公的機関である英国政府の「AI セキュリティ研究所（AISI）」が、OpenAI と Anthropic のモデルが「ルーチンな評価」の実施中に「実在する個人や組織」を対象としたハッキングを試みた複数の事案を検知したと発表しました。これらのケースでは、AISI がモデルにインターネットへのアクセス権限を与えていました。これもまた、うっかりでした。

ただし朗報もあります。他の事例のように数週間後に発覚したのではなく、発生直後に研究所側が検知していた点です。

8 月初、メタは自社大規模言語モデル（LLM）が「第三者」のサービスをハッキングしたインシデントを報告した企業の中で最後の一例となりました。メタはこの件について、インターネットへのアクセス権限を持たないはずだった同社のためにサイバーセキュリティ評価を行っていた Irregular 社の設定ミスに責任があると説明しています。

クロードエージェントがジムのソフトウェアをハックしてクラスを予約する

オーストラリアの男性が、待ち行列にあるジムクラスを予約するために Anthropic の AI エージェントに助けを求めました。「ただソファに座って、『これは面倒くさいな』と考えていただけでした」とその男性は ABC オーストラリアに語っています。この要求に応えようとしたエージェントは、ジムの予約システムに脆弱性を見つけると、それを利用しました。そして、待ち行列でその男性より前にいた人々を強制的に除外してしまったのです。男性は被害の拡大を防ごうとエージェントに行動の取り消しを求めましたが、エージェントからの返答は「残念ですが、元に戻すことはできません」でした。

*当記事内のリンクを通じて購入された場合、私たちは少額のコミッションを受け取る可能性があります。これは当社の編集の独立性には影響しません。

ロレンツォ・フランチェスキ＝ビッチエライは TechCrunch のシニアライターです。ハッキング、サイバーセキュリティ、監視、プライバシーを専門に扱っています。

ロレンゾへの連絡や、彼からの outreach の確認は、以下の方法で行ってください。

• メール: lorenzo@techcrunch.com
• Signal（暗号化メッセージ）: +1 917 257 1382
• Keybase/Telegram: @lorenzofb

プロフィールを見る