Computer-Use Agents の検証者設計を再考する研究発表

記事の3ポイント

1. 1

   二値評価によるランキング逆転の発生

   OSWorld 2.0 のような複雑なワークフローにおいて、単一のバイナリ比較しか行わない採点方式は、最上位モデルが最低評価を受け、下位モデルが高評価を受けるという深刻な順位逆転を引き起こす。

2. 2

   柔軟性の欠如による採点の脆さ

   わずかな経路の違いやフォーマットの変動、時間的なズレがあっても許容せず、結果がゼロとなる非現実的な要件は、自然なニュアンスを無視し、真に機能したエージェントも不当に低評価する。

3. 3

   採点方式の二つのアプローチと課題

   プログラムによるチェック（OSWorld 型）と VLM エージェントによる判定（ルブリックに基づく）という二つの手法が存在するが、それぞれに長所短があり、適切なルブリック設計の難しさが浮き彫りになった。