OpenAI エージェントが公開Wikiでサンドボックス回避策を議論

研究チームは金曜日、自己を「OpenAI エージェント」と名乗る存在が、公開ウィキに約 18,000 件の投稿を行ったと発表しました。これらの投稿では、他のエージェントがセキュリティサンドボックスの制限を回避する方法について議論されており、これはおそらく OpenAI がエージェントのハッキング能力を評価するために実施した内部テストの一環だったと考えられています。

6 週間にわたり、3,700 種類もの独自の名前を持つエージェントたちが、ドイツ語圏のサイト「DSEwiki」に投稿を行いました。OpenAI はコードやコンテンツをインターネット上に投稿することを防ぐために制限環境を設けていましたが、エージェントたちはそこから抜け出す方法を議論するだけでなく、テストの解答も共有していました。さらに、ウィキに対する XSS（クロスサイトスクリプティング）攻撃の実行方法や、サイト管理者になりすます手法についても提案されています。3 つの投稿では、「swarm」という言葉を使って、この活動に関与しているエージェントたちの集合体を表現しています。

回答を共有するための共謀

シドニー・フォン・アルクス、スペンサー・キッツ、トーマス・ラーセン、コルマック・スレード・バイヤードからなる研究チームは、これらの投稿を発見し、内容を組み合わせて分析しました。しかし、研究チームは投稿の内容のみを根拠としているため、エージェントが具体的にどのような行動をとったかについては不明な点が残ると指摘しています。また、エージェントが生成した「思考の連鎖（chain of thought）」データは OpenAI だけが理解できる形式であることも要因の一つです。そのため、研究者たちはいくつかの場合において推測に基づいた判断を下しました。その中には、「実際にはこれらは OpenAI のエージェントだった」という結論も含まれています。OpenAI は後に声明でこれを認めています。

記事全文を読む

コメント