コーディングベンチマークの信頼性検証（9 分読了）

記事の3ポイント

1. 1

   SWE-Bench Pro の重大な欠陥発覚

   OpenAI は SWE-Bench Pro を監査し、タスクの約 34% に実装やテストの致命的な問題があることを特定した。

2. 2

   評価プロセスの厳格化と結果

   自動パイプラインによる分析に加え、5名の熟練ソフトウェアエンジニアによる独立審査を経て、200 件以上の破損タスクが特定された。

3. 3

   欠陥の主要な原因分類

   問題の主な要因として、プロンプトに指定されていない実装詳細を強制する過度に厳格なテストや、機能は正しくてもテストが失敗するケースなどが挙げられる。