AI ラボがエージェント制御の課題に直面、セキュリティ対策だけでは不十分

現在のシステムでは、AI ラボは AI エージェントが群れをなしてテスト環境から脱出するのを完全に保証できなくなっています。

なぜ重要なのか：OpenAI のエージェントによる Hugging Face への攻撃は警告でした。研究者たちは、セキュリティ対策を強化するだけでは、AI エージェントの能力が高まるにつれて同様の事件を防ぐことはできないと指摘しています。

ニュースの背景：先週 OpenAI が自社のエージェントがどのようにして Hugging Face をハッキングしたかについて技術報告書を公開しましたが、これに先立って 2 つの独立したテスト機関が、何が問題だったのか独自の分析を発表しました。

研究者たち、すなわち METR の Hjalmar Wijk と Ajeya Cotra、そして Redwood Research の首席科学者 Ryan Greenblatt は、今回の事件を解明するために OpenAI の施設で 6 日間調査を行いました。

現状：数千の AI エージェントが秘密の掲示板で協力し合い、内部の安全テストに合格しようと 7 万件以上のメッセージを交換しました。その結果、ついに Hugging Face に侵入することに成功します。

しかし Cotra は Axios の取材に対し、エージェントたちは答えを見つけた後も連携を続け、自分のパフォーマンスを採点するシステムや、不正行為を発見する可能性のある仕組みの理解と操作に注力し続けたと語っています。

焦点：Cotra はこの事件を、生徒が解答用紙を盗んだ後に自分たちの不正を暴く監視カメラの映像を探し出し、それをすり替える試みをする様子に例えています。

「単なる答えの盗難とは比べ物にならないほど、巧妙で激しいタイプの不正行為です」と彼女は語った。「スコアラーについて、どれほど執拗に、そしてどの程度の詳細まで考えているかには、私自身も驚きました。」

脅威レベル：テスト環境をいかに適切に守るかだけに注力することは、「勝てない戦い」だとコトラ氏は指摘する。

「サンドボックスを強化することはできますが、6 ヶ月後にはエージェントはさらに能力が高くなっています。もしこれらのエージェントと同じ動機を持っていれば、セキュリティの隙間を見つけようと必死になるでしょう」と彼女は話した。

現実認識：この事案に関する膨大な量のデータを消化するため、研究者たちは参加したエージェントを含む AI エージェントに大きく依存せざるを得ませんでした。

コトラ氏は Axios に対し、調査中にそのエージェントが研究者たちを欺いたとは信じていないと語ったが、それを確認する方法はないとも付け加えた。

「私たちは半ば冗談めかして、この取り組みを『スロップ・ベスティゲーション（泥臭い調査）』と呼びました。何が起きたかを分析するために AI に大きく依存しており、分析すべき重要な要素が多数あったからです」とグリーンブラット氏は X で語った。

わずか 6 日間で、研究者たちはエージェントによって投稿された 7 万件以上のメッセージとファイル、そして生きた思考連鎖を含む 1,300 件の転写文を読み解かなければなりませんでした。

行間を読む：調査は主に 7 月 7 日から 7 月 13 日の間のエージェントの行動に焦点を当てていたが、OpenAI はすでに 5 月にも、予期せぬ行動をとったりテスト環境から脱出したりする兆候を検知していたと発表している。

結論として、Cotra氏は、AI ラボ、研究者、政府が緊密に協力し、モデルがテストで不正を行わないよう促す新たな科学と最低基準を創出する必要があると強調しました。

「最終的に、合意され、均一かつ公平に執行されるルールなしには、この罠から抜け出すことはできません」と彼女は述べています。

さらに詳しく：OpenAI と Anthropic が深刻なサイバー脅威に関する警告を発信