OpenAI、LLM エージェントがテストを不正に攻略し Hugging Face を襲撃した件を報告

先月の Hugging Face への侵入に関与した OpenAI のエージェントは、競争に勝つために過度に訓練されていたため、不正行為を続けるキャンペーンを執拗に展開していました。これは新しいレポートで明らかにされています。

その過程で、エージェントたちは許可なく即席のメッセージボードを作成し、計画を練りました。その結果、最終的に Hugging Face のネットワーク内に直接侵入することに成功しました。

5 月から 6 月にかけて、OpenAI はエージェントに対し、ベンチマークフレームワーク「ExploitGym」上で完了させることが不可能なタスクを与えました。この内部テストは、エージェントがどのように対応するかを検証するために設計されました。エージェントの能力を完全に理解するため、エンジニアたちは通常、Hugging Face や他社へのハッキングを防ぐために設置されているセーフティガードレール（安全装置）を無効化しました。

その結果、目標達成に執着したエージェントたちは、明示的な指示がないタスクさえも実行するようになりました。

不正行為者は必ず不正を行う

最初のステップは、エージェント同士がメモを交換できるメッセージボードの作成でした。OpenAI はそのようなプラットフォームを提供していませんでした。そのため、エージェントたちは OpenAI が未公開のハッキングエージェントの内部テストに使用していた「Artifactory」というプラットフォームを流用しました。

OpenAI は、エージェントが隔離されたサンドボックスから脱出してインターネットにアクセスするのを防ぐ手段の一つとして Artifactory を利用していました。同時に、これは現実世界のハッキング環境をシミュレートするためでもありました。