OpenAI、AIコーディングベンチマークの引退を提案
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
The Decoder
OpenAIは、AIのコーディング能力を評価するために広く使われているSWE-benchベンチマークの引退を提案。より実践的な評価基準への移行を目指す。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
OpenAI、AIコーディングベンチマークの引退を提案
OpenAIは、SWE-bench Verifiedプログラミングベンチマークが、AIのコーディング能力を意味ある形で測る指標としての価値を失ったと述べています。同社は主に二つの問題点を指摘しています。第一に、ベンチマークのタスクの少なくとも59.4%に欠陥があり、特定の実装詳細を強制したり、タスクで説明されていない関数をチェックしたりするため、正しい解決策を却下してしまうことです。
また、多くのタスクとその解決策が主要モデルの学習データに漏洩しています。OpenAIの報告によると、GPT-5.2、Claude Opus 4.5、Gemini 3 Flash Previewは、一部のオリジナルの修正を記憶から再現できたとのことです。これは、ベンチマークの進歩が、モデルがどれだけ上手くコードを書くかではなく、何を見てきたかをますます反映するようになっていることを意味します。OpenAIは代わりにSWE-bench Proを推奨しており、自社では非公開のテストを構築中です。
ここには戦略的な思惑も考えられます。「汚染された」ベンチマークは、競合他社、特にオープンソースモデルをより良く見せ、順位を歪める可能性があるからです。SWE-bench Verifiedは長らくAIコーディング評価のゴールドスタンダードであり、OpenAI、Anthropic、Google、そして多くの中国のオープンウェイトモデルが僅差のリードを争ってきました。AIベンチマークは有用な指標を提供できますが、その実世界での価値は依然として限られています。
誇大広告なしのAIニュース – 人間によるキュレーション
THE DECODERの購読者になると、広告非表示での閲覧、週刊AIニュースレター、年6回の限定レポート「AI Radar」フロンティアレポート、コメントへのアクセス、完全なアーカイブを利用できます。
原文を表示
OpenAI wants to retire the AI coding benchmark that everyone has been competing on
OpenAI says the SWE-bench Verified programming benchmark has lost its value as a meaningful measure of AI coding ability. The company points to two main problems: at least 59.4 percent of the benchmark's tasks are flawed, rejecting correct solutions because they enforce specific implementation details or check functions not described in the task.
Many tasks and solutions have also leaked into leading models' training data. OpenAI reports that GPT-5.2, Claude Opus 4.5, and Gemini 3 Flash Preview could reproduce some original fixes from memory, meaning benchmark progress increasingly reflects what a model has seen, not how well it codes. OpenAI recommends SWE-bench Pro instead and is building its own non-public tests.
There's a possible strategic angle here: a "contaminated" benchmark can make rivals—especially open-source models—look better and skew rankings. SWE-bench Verified was long the gold standard for AI coding evaluation, with OpenAI, Anthropic, Google, and many Chinese open-weight models competing for small leads. AI benchmarks can provide useful signal, but their real-world value remains limited.AdDEC_D_Incontent-1Ad
AI News Without the Hype – Curated by Humans
As a THE DECODER subscriber, you get ad-free reading, our weekly AI newsletter, the exclusive "AI Radar" Frontier Report 6× per year, access to comments, and our complete archive.
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み