METRと共同開発、長期間コーディングタスク評価ベンチマーク「MirrorCode」公開

記事の3ポイント

1. 1

   長期ホライズンタスクへの焦点

   既存ベンチがバグ修正や単一機能の実装に偏る中、MirrorCode はソースコードなしでプログラム全体を再実装する長期的な課題に特化している。

2. 2

   スケール対応型評価の導入

   人間が数週間かかるような複雑なタスクに対しても、AI に十分な推論予算（例：単一実行で 2,600 ドル）を提供し、真剣な挑戦を可能にする。

3. 3

   不正防止と公平性の確保

   インターネット接続やオリジナルコードへのアクセスを遮断し、未知のテストケースを用いることで、AI が学習データに依存してごまかすことを防いでいる。