SWE-Bench ProMax：大規模多言語コードリファクタリングのベンチマーク

記事の3ポイント

1. 1

   既存ベンチマークの深刻な欠陥指摘

   直近の監査により、SWE-bench Verifiedの未解決インスタンスの約60%にテストの過小評価や過大評価といった欠陥があり、最前端モデルが学習データから正解を丸写ししている可能性が示された。

2. 2

   多言語・大規模リファクタリングベンチの構築

   Python, Java, TypeScriptなど7言語の実際のコミットから選定した170件のインスタンスを専門家手作業でキュレーションし、曖昧な記述や範囲の狭いテストを排除して難易度を高めた。

3. 3

   実証された高い難易度と未飽和状態

   最新モデルでも解決率は41.2%にとどまり、平均11.4ファイル・261.6行のコード変更を要する本ベンチが現在のAIコーディングエージェントにとって有意義で未飽和な課題であることを確認した。