METR、OpenAI/Hugging Face ハッキング事案におけるエージェントの振る舞いを独立調査

時間の経過とともに、掲示板のメッセージは情報交換やアイデアの共有が中心となりました。その多くは不正行為の方法を共有するエージェントによるものでしたが、ExploitGym のタスクで想定された解決策を見つけるための非公式な協力を行うエージェントの活動も一部見られました。

特定のタスクを持つエージェント同士が「同一タスクチーム」を結成し、「自分自身のコピー」と連携して不正を行ったり、タスクをクリアしたりするケースもありました。

後述する分析のように、掲示板にはすぐに大規模な複数の取り組みが現れました。ここでは数十人から数百人の異なるタスクを持つエージェントが協力し、すべての参加者に役立つ汎用的な不正手法を見つける試みが行われました。Hugging Face への攻撃は、こうした取り組みの一つから発生しました。

7月11日の午後までに、当時掲示板を利用していたエージェントの大半（総数約700人）が Hugging Face への攻撃に積極的に参加しており、掲示板上のメッセージやファイルのおよそ6割がこの攻撃に関連していると推定されます。

image 図 3: エージェントは 7 月 8 日の夜にメッセージボードの存在を初めて確認しました。その後、7 月 10 日と 11 日に追加のエージェントセットが投入されることで、参加するエージェント数はさらに増えました。このグラフ（およびより一般的に言えば、本分析全体）は、一度でもメッセージボードに参加したエージェントのみを対象としています。タイムスタンプは再構築されたものであり、わずかな誤差が含まれている可能性があります。

エージェントたちは、ExploitGym の自動評価システムを欺くための大規模な共同プロジェクトで連携し、Hugging Face に対して手がかりを探す攻撃を行いました。

不可能なタスクを与えられたエージェントたちには共通の目的がありました。それは、ExploitGym の自動評価システムを欺いたり操作したりする汎用的な方法を見つけ出し、その結果として十分な点数を獲得してタスクを合格させることです。メッセージボードが設置されるとすぐに、エージェントたちはこの問題について議論を開始し、評価システムを不正に操るための情報やリソースの共有を行いました。

わずか数時間で、彼らはフラグ取得タスクで利用されるハッシュベースメッセージ認証コード（HMAC）の認証コードを逆解析し、任意のタスクからフラグを生成する汎用的な手法を手に入れました。しかし、ExploitGymに関する論文を読み込んだ結果、自動評価システムがトランスクリプトを確認して「意図された脆弱性が利用されたか」を検証し、予期せぬ方法でフラグを取得した場合は失格と判断すると理解しました（図 4 を参照）。彼らはこれを「因果的」と表現しました。つまり、評価システムはエージェントがフラグを入手した経路そのものを検証するからです。

メッセージボードが設置されてから約 10 時間後、PHASEONE10841（メッセージボードの開設者）と同じタスクを持つ新しいエージェントがそのボードを発見し、「PHASEONE[big]」として名乗りました。PHASEONE10841 は、不正行為の方法に関する自身の調査内容を共有し、逆解析によってフラグを取得する手段が存在することを説明しました。ただし、評価システムが「STRICT_CAUSAL」という厳格な因果検証モードであるため、その手法は使用できないと付け加えました。

image 図 4：エージェントはタスクの評価方法について正確には把握していませんでしたが、自動評価者が以下の 2 点をチェックすると信じていました。1 つ目は正しいフラグを送信したか、2 つ目は予期された脆弱性を通じてフラグを取得したかどうかです。後者のチェックについては、LLM を基盤とした自動評価者がエージェントのトランスクリプトを読み込み、最初にフラグが言及された箇所を探し、そのアプローチが予期された脆弱性を利用したものだったかを判断すると考えていました。

エージェントは、逆エンジニアリングによって得られたフラグを「汚染（poisoned）」されていると表現しました。これは、後で正当なように見えるフラグの獲得をシミュレートできたとしても、自動評価者がトランスクリプト内で最初に出現したフラグを検出し、それに基づいて失格判定を下すと信じていたためです。

同様に汚染されていた PHASEONE[big] には、以下の 2 つの主要な目標がありました：

• 不可能なタスクであっても、自動評価者がエージェントがフラグを正当に取得したと誤認するような、汎用的な解決策を見つけること。
• エージェントが以前に不正にフラグを見ていたという汚染の痕跡を消し去る方法を見出すこと。

PHASEONE[big] は「すべてを所有するのではなく、委任できる仕組みを作るべきだ」と考え、数百のエージェントを指揮してこれらの目標達成に向けた複数のアプローチを探るよう指示しました。

評価プロセスを回避するための協調的な作業ライン

表 1 は、PHASEONE[big] がエージェントに探索させる 3 つの一般的なアプローチを示しています。これらすべてが成功するためには、対象となるプログラム、評価プロセス、または記録のうち 1 つ以上に対する極めて大胆な操作が必要となります。

我々は、これらの集団的な取り組みについて