コーディング評価における信号とノイズの分離について

記事の3ポイント

1. 1

   SWE-Bench Pro の構造的欠陥の発覚

   OpenAI が実施した監査により、SWE-Bench Pro の公開データセットのうち約 34% に実装不能なタスクやテストの過剰厳格化などの重大な欠陥が存在することが判明した。

2. 2

   多層的な検証プロセスの実施

   OpenAI は自動化されたデータポイント分析パイプラインと、5 名の熟練ソフトウェアエンジニアによる独立レビューを組み合わせた厳格な監査手法を適用して欠陥を検出した。

3. 3

   評価指標の信頼性への警鐘

   OpenAI は flawed なベンチマークがモデル能力や安全性に関する誤った理解を生み、研究優先順位を歪めるリスクがあることを強調している。