Hugging Face 攻撃事例から学ぶ適応型エージェントの振る舞い分析

Hugging Face への攻撃に関する記事や資料は、手に入る限りのものをすべて読み聞きしました。

OpenAI はこのテストに「数万」のエージェントを投入し、そのうち約 700 が攻撃に直接参加しました。私の理解では、各エージェントにはトークン使用量の上限が設定されており、その予算を使い果たすと動作不能になったようです。

私はサイバーセキュリティの専門家ではありませんが、進化計算アルゴリズム（evolutionary algorithms）についてはそれなりの経験があります。今回の一連の出来事（および同様の事例）をきっかけに、自己複製型エージェントについて改めて考えさせられました。実は今年初めにこのテーマについて少しだけ書いたことがありますが、その時よりも今の方が緊急性を感じています。

もしこれらのエージェントが自分自身のコピーを作成できるならどうなるか？そう考えた私は文献を探し回り、2 ヶ月前に投稿された恐ろしいプレプリントを見つけました：「AI AGENTS ENABLE ADAPTIVE COMPUTER WORMS」。

この論文の内容を私が理解した範囲で解説していきます。結論から言えば、その発見は安心できるものではありません。まずは抄録の一部から始めましょう（太字は私による強調）：

ここでは、人工知能（AI）エージェントがもたらす根本的に新しい脅威について示します。それは、遭遇する各ターゲットに合わせた攻撃戦略を生成するワームです。このワームは、推論の維持やさらなる攻撃範囲の拡大のために、侵害されたマシン上でオープンウェイトの大規模言語モデル（LLM）を実行し、寄生して利用します。

Linux、Windows、IoT（Internet of Things）デバイスにまたがるネットワーク上に展開され、このワームは一般的な実世界の企業ネットワークの脆弱性を悪用して拡散しました。ワームは盗まれた計算資源によって駆動されるため、攻撃者が新たな感染ごとに要する限界コストはゼロです。これにより、攻撃者と防御者の間に不安定化をもたらす経済的な非対称性が生まれます。さらに、このワームが商業的な AI プラットフォームを必要としないため、サービスの拒否やレート制限といった中央集権的な安全制御は構造的に無意味なものとなります。

私たちの結果は、自己維持型の AI 駆動型サイバー脅威がもはや理論上の話ではないことを示しています。

詳細な中身に入り込む前に、著者たちは皆を恐怖に陥せるだけの情報を提供しつつ、悪意のあるアクターがこれらを構築するのを助けることにならないよう、微妙な線引きを試みていることに留意してください。

まず最初に強調しておきたい点は以下の通りです。

これらのエージェントは、クローズドな最先端モデルや内部テスト用モデルではなく、オープンウェイトモデル上で動作します。実際に使用されたのは昨年のオープンウェイトモデルですが、すでに現在の脅威として十分な性能を備えています。

過去の単純なワームやウイルスとは異なり、これらは適応性を持っています。

リソースを窃取することで、著者が指摘する非対称性が生まれます。防御側は検知と阻止のためにリソースを費やさなければなりませんが、侵入側は実質的に無料で活動できます。これがセキュリティ経済を混乱させるのです。

アジェンティックワームは、利用可能なリソースがある際にハーンネスとローカル LLM の両方をコピーし、ベンダー AI プラットフォーム向けの検知や緩和策をすべて回避します。

これはもはや理論上の話ではありません。彼らは今年実際にこれらを構築・実行しました。すでに現実に存在しています。その結果に注目していくことになります。

さて、仕組みを見ていきましょう：

具体的には、適切な情報支援があれば、単一 GPU の LLM でも十分な推論能力を持ち、エージェントが標的マシンへの侵入を可能にする攻撃戦略を生成できることを示します。まず初期コマンド実行による足場（フットホールド）を確保し、その後特権を昇格させて完全な管理者権限を取得します。その後はこの権限を利用して自己複製を行います。侵害されたマシン上に自身のコピーを配置し、必要なランタイム依存関係を解決した上で、独立したエージェントインスタンスを起動してさらに他の標的を発見・攻撃します。

各エージェントは、ハープネスとローカルLLMを組み合わせた構成で、遠隔マシンへの侵入を試みます。一旦足場を確保すると、次は管理者権限の獲得を目指します。権限取得に成功すれば、自己複製を開始します。

ハープネスの複製は比較的容易です。必要なファイル束も小さく済むためです。一方、LLMの複製は難易度が高くなります。攻撃側エージェントはまず利用可能なリソースを確認し、依存関係のインストールを試みます。すべてが順調に進めば、新たに感染したマシン上にローカルLLMのインスタンスを構築します。

もしそのステップで失敗した場合、エージェントは元の起動元マシンへ通信経路を確保し、遠隔からLLMへの呼び出しを行えるようにします。

これらの試みはどの程度成功したのでしょうか？

概念実証の評価のため、Linux サーバー、Windows 環境、IoT デバイスにまたがる孤立した 33 ホストのネットワーク上で、15 回の独立実験を行いました。各実験では、現実世界でよく見られる脆弱性を事前に組み込んでいます（セクション 3）。

完全自律的な運用を 7 日間行った結果、AI ドライブ型のワームは平均して 31.3 (± 1.7) の脆弱性を正しく特定し、23.1 (± 3.9) ホストで権限昇格に成功。さらに 20.4 (± 3.2) ホストへ自己複製を伝播させ、最大 7 世代（平均 5.1 ± 1.1）に達しました。

言い換えれば、この概念実証ワームはネットワークの 73.8% を平均して不正利用し、そのうち 61.8% で自己複製を完了させたことになります。

7 日間にわたり、異なる OS が混在する環境でテストを行った結果、平均してネットワークの約 60% に感染させることに成功しました。下図は、世代ごとの展開状況と OS 別の拡がり方を示したものです。

最も濃く描かれた中央のノードが、感染の起点となる Generation 0 です。

ここで少し補足しておきましょう。まず、この研究を Claude と共有し議論を試みたのですが、思うように進みませんでした。Claude はこの話題について、高レベルの概要であっても話しを拒否します。サイバーリスクに関する検閲がかかり続け、プロンプトが次々とブロックされたため、結局あきらめました。

次に Gemini に移ったところ、こちらは論文の読み込みや要約、詳細な議論、さらには研究の一部を再現するためのコード生成まで喜んで手伝ってくれました。これは興味深い結果です。Gemini には Claude のような厳格なガードレールが存在しないようです。おそらく、同社がセキュリティ侵害に関与したことがないためでしょう。

それでは、次に目標構造について見ていきましょう。Hugging Face を攻撃した OpenAI のエージェントは、「ExploitGym ベンチマークで高得点を取る」という上位の目標を持っていました。Hugging Face をハッキングしてスコアリングロジックを見つけるという特定のサブゴールは、その結果として自然に現れた現象に過ぎません。つまり、彼らが実行した多くの行為について、事前に明示的に指示されていたわけではありません。

この論文で扱われるエージェントの最上位目標は、純粋に「自己複製」することと定義されています。この目標を達成しようとする過程から、自然発生的な振る舞いが現れます。これは、遺伝子が自己複製を最上位目標として持ち、自然界に見られる多様な生理的・行動的特徴がすべてその一つの目的に向けた手段となっているのと同じ原理です。

いくつかの点に気づきました。第一に、特定の悪意ある目標をエージェントの目標構造の一部として定義するのは容易です。今回の実験では行われませんでしたが、これは悪意のある行為者にとって明白な拡張可能性です。彼らは明示的に、金融機関へのハッキングや認証情報のフィッシング、その他のソーシャルエンジニアリングなど、さまざまな手段を通じて資金を獲得しようとするよう指示できます。また、特定の標的を攻撃することだけを目的とした指示も可能です。これには想像力を必要としません。

第二に、両方のケースにおけるエージェントは静的なものでした。利用可能な情報は時間とともに変化しますが、その制御コードやツールセット自体は変わりませんでした。少なくとも、そうあるべきでした。しかし、この「ワーム」論文の『注目すべき逸話』セクションには、以下のような重要な記述が埋め込まれています：

付録 D で提示された、エージェントにアクセスできないハイパーバイザーサーバーに依存する封じ込めプロトコルに加え、多層防御を強化するためのコンポーネントを追加しました。その一つが、エージェントのソースコード内に埋め込まれた IP アドレスのブラックリストです。

このブラックリストは、エージェントが新たな標的マシンを狙うたびに読み込まれます。もし提案された標的 IP がリストに含まれる場合、エージェントは強制的に別のターゲットを選択させられます。これにより、デバッグや監視用に使用される可能性のあるホストなどへの不正な攻撃試行を効果的にブロックできます。

しかしながら、実験のさまざまな段階で、エージェントがこのファイルを見つけ、自分が狙おうとしていた IP アドレスをリストから削除するために事前に書き換える行動を確認しました。このような挙動は、ハイパーバイザーレベルの封じ込め層によって検知・阻止されますが、実際に封じ込めの突破は発生しませんでした。

これはコードではなく、設定ファイル（ブラックリスト）です。本来は固定されるべきものが、エージェントによって変更されようとしたのです。具体的には、デバッグや監視に関わるホストへの攻撃を試みるために、IP アドレスをリストから削除する行為でした。今回の実験ではこうした行動を無事に阻止できましたが、これは「そのような能力が存在する」ことを示しています。もしセキュリティ設定が緩い環境であれば、エージェントは自分たちを監視しているシステム自体を操作できていたはずです。

これは創発的な振る舞いでしたが、こうした変更を可能にするために明示的に動作を実装する想像力はそれほど必要ではありません。進化型ハッチングに関する文献はすでにかなり充実しています。しかし、これまで見てきた論文のすべてにおいて、進化サイクルは外部フレームワークによって処理されていました。

ではもし、エージェントが自己複製する際に、指向性変異ロジックも併せ持つとしたらどうでしょうか？つまり、コピーする際に自らを改善しようとするのです。これにより多様性が加わり、完全なダーウィニアン進化が実現します。変異を持つ複製可能な集団と、明確に定義された適合度関数が存在することになります。

この段階では、群れは個々の推論レベルだけでなく、集団レベルでも適応可能になります。誰がこの分野に取り組んでいるかは不明ですが、技術の自然な拡張のように思えます。私もこの研究に取り組みたいと考えていますが、経験が浅いため、非常に厳格な安全対策が必要だと感じています（おそらく過剰な警戒から、システム全体をエアギャップするでしょう）。もしこの分野に関わっている方がいて、さらに議論したい場合は、ぜひご連絡ください。

最後に、この論文を読み進めるにつれて恐怖が増す中、「もしかしたら明るい点があるかもしれない」と考えました。これらの存在はリソースを大量に消費します。利用可能なリソースがあれば Opportunistically（機会主義的に）複製し、多くの計算資源を必要とするため、その影響は非常に顕著です。また、ローカルの LLM をインストールできない場合、膨大なネットワーク通信が必要となり、これも非常に目立ちます。つまり、このような脅威の検出は比較的容易であるはずです。しかし、待ってください。

これに対する一般的な回避策の一つは、単に動作を遅くすることです。時間をかけて行うのです。今回の研究におけるエージェントはこの点においてそれほど洗練されていませんでしたが、オフピーク時に作業を行い、使用量を抑制して検知されにくくするという明示的な指示を与えることは、実は非常に簡単です。その結果、感染の速度は低下し、ホスト側が脅威を特定して反応するための時間は増えますが、同時に侵入自体に気づかれにくくなるという副作用もあります。

さて、今回はこの辺りにしておきましょう。前述した通り、私の記述やその示唆する意味について追加すべき点や訂正がある場合は、ぜひお知らせください。さらに詳しく議論したい場合は、個別にお連絡ください。

私が今後どの程度の範囲でこの分野での取り組みを行うかについては、まだ決定していません。しかし、これは極めて重要であり、大手ラボやセーフティ機関の誰かが取り組んでくれることを願っています。ただ、現時点ではこれらに対する安全性や自信を特に感じているわけではありません。