ブラウザ使用評価基準の設計思想と、評価者（Judge）の一貫性確保について

記事の3ポイント

1. 1

   ベンチマーク構成要素の再定義

   ベンチマークはタスクとそれを判定する「ジャッジ」の二要素から成り立ち、多くの場合後者が軽視されているが、これが数値を決定し、弱点があれば報酬ハックが可能になると指摘している。

2. 2

   評価者（Judge）の一貫性要件

   整合性の取れた評価者には、同じ実行結果でのスコア再現性、タスク間での基準の統一、異なるモデルやハッチングに対する同等の評価、そしてランダムな順位変動の排除という4つの条件が求められる。

3. 3

   ノイズの二重構造と対策

   スコア変動要因は「エージェントノイズ（Web 環境やモデルの不確実性）」と「ジャッジノイズ（同一実行結果での判定不一致）」に分類され、後者は排除可能であると主張している。