ウィンドサーフアリーナモードリーダーボード：人々が求めるのはスピード

私たちが [Wave 14 アップデート](https://windsurf.com/blog/windsurf-wave-14) で予告した通り、本日 Windsurf Arena Mode リーダーボードの初期結果を発表します：[https://windsurf.com/leaderboard](https://windsurf.com/leaderboard) ![image](https://cdn.sanity.io/images/2mc9cv2v/production/69e2171c63404a759a5e211b55fdad922005b798-2100x1103.png) Arena Mode の紹介で述べた通り、**従来の Web ベースのアリーナと同じ結果を期待しないでください**。実際、初期ランキングにはいくつかの驚くべき結果があります。Arena Mode は、[CopilotArena](https://openreview.net/forum?id=9bYOqwtAud) が史上初であることに敬意を表しつつも、大規模に数百万人のユーザー向けに展開された初の製品内アリーナであり、意図的な設計上の違いがあります： - IDE 内で実行されるため、Arena Mode は現代の IDE エージェントが利用されるすべての機能（コードベースへの質問応答、バグ発見、ターミナルコマンドの実行、MCP と Skills の活用など）を直接テストするという点で、タスク配分が完全に異なります。平均会話長は 3〜6 ターンであり、雰囲気重視の捨ててしまうフロントエンド専用アプリ作成といった「バイブコーディング」への比重は大幅に低くなっています。 - ユーザー層と対象オーディエンスも異なります（定量化は困難ですが、Web ベースのアリーナ利用者と製品内アリーナ利用者の重複部分は小さいと考えています）。 - 最も重要なのは、当社の Arena Mode が「速くて十分」というモデルを罰しない点です。まだタスクやユーザーの構成比を公開していないため、この最後の点がリーダーボードの結果を理解する上で最も重要なポイントとなります。 従来のアリーナは出力品質のみを評価することに焦点を当てているため、完全に盲検化された実験設計を提供するために、遅い方のモデルが完了するまで速いモデルの結果を保留します。Cognition では、速度と品質の**トレードオフ**に関心があり、Windsurf を**AI を活用してユーザーをフロー状態に保ち、[半同期の死の谷](https://cognition.ai/blog/swe-grep)から逃がすこと**に注力しています。そのため、**Arena Mode では、モデルが最初に完了し、かつ十分であれば投票が可能**となります。 言い換えれば、**私たちはモデルに、思考の各トークンを重要視させるよう強制しています**。多くの学術的評価では、レイテンシやトークンコストを考慮しておらず、一部のモデルが同僚よりも最大 10 倍も非効率的な思考（[up to 10x more inefficient thinking](https://www.youtube.com/watch?v=sRpqPgKeXNk&t=431s)）を行うことで、わずかに高い出力品質を達成し、意図的または無意識にシステムを操作できてしまいます。これは発表された結果には素晴らしいことですが、ユーザーにとっては望ましくありません。 1 週間で 40,000 票を集めた私たちの結果は、業界で主張されている事象（例えば、Claude Opus 4.6 が統計的有意性を持って Opus 4.5 を上回るなど）を独立して裏付けています。しかし、おそらくより注目すべきは、私たちがデータで見つけた「番狂わせ」であり、これらはそのまま報告します： - Gemini 3 Flash と Grok Code Fast の両方が Gemini 3 Pro を上回りました - Claude Haiku 4.5 が GPT 5.2 に勝利しました - Kimi K2.5 は Claude Sonnet 4.5 を下回りませんでした - 最後に、当社の SWE 1.5 が Claude Haiku を上回りました。 **当社の最高ランクのモデルは、速度と品質の両方で完璧な成績を収めています。** テストでは、Claude Opus 4.6 がより多くの思考時間を要する小規模モデルを上回るケースが複数回ありました。しかし、タスクの大きなセクション、おそらく大多数のタスクにおいて、最初の回答が十分良好で速度が決定的要因となったか、あるいは低速なモデルの回答が、小規模/高速モデルによる勝利から生じる Elo 値の低下を相殺する十分な品質を提供していなかったかのいずれかが見られました。その結果、「Gemini 3 Pro Low が High を上回る」「GPT 5.2 Low が Medium を上回る」といった「奇妙な」結果が生まれました。結果について慎重に検討し、再確認を行った際、当社のプロダクトマネージャーである Theo は単にこう結論付けました：**「人々は速度を求めている」**。 自社のモデルが当社のリーダーボードで特に有利に評価されている様子が、どのように見えるかはご存知の通りです。とりわけ「Speed」タブに切り替えた際にはその傾向が顕著になりますが、この速度に関する詳細は [私たちの SWE-1.5 記事](https://cognition.ai/blog/swe-1-5) で解説しています。私たちは Arena.ai の [公開されたアリーナランク手法](https://arena.ai/blog/arena-rank/) を採用しており、信頼区間も公表済みです。そのため、ランキングがさらに変動する余地は十分にあります。実際、[Arena.ai](https://arena.ai/) の CEO であるアナスタシオス氏と会話を行いました。彼は「Cognition がアリーナランク手法を活用してリーダーボードを構築していることを嬉しく思います。今後も一流のリーダーボードが登場することを期待しています」と述べてくれました。私たちは私たちのアプローチと結果に自信を持っており、これ以上の解説を加えずにそのまま公開することで、皆様にご自身で判断していただくことにしました。 興味深いのは、**どのモデルも勝率が 80% を超えることがない**という点です。私たちのテストでは、特定のタスクにおいて、ランキングが低いモデルでも SOTA（State-of-the-Art：最先端）モデルに勝利するケースが見つかりました。アリーナモードが成熟するにつれて、これらの事例をより詳細に研究することに興奮しています。明らかにタスクの多様性を理解し、まだ限界がある領域を把握することが、次世代のコーディングモデルを構築するすべての人にとって有益です。 ![image](https://cdn.sanity.io/images/2mc9cv2v/production/e1d28899200649dcdea56f7bdccbf845f3f373a0-1766x1682.jpg) 定性的にも、モデル内での盲検テストを有効にしたことで、モデルに対する印象は変化しています。CTO のスティーブンが述べたように、「アリーナモードは、公開評価では感じられないモデル間の違いについて何かを感じさせてくれます。どのモデルが最良かという意見形成には通常、確認バイアスが強く働きますが、アリーナモードは評価において客観性と功績主義を強制します」。 ![image](https://cdn.sanity.io/images/2mc9cv2v/production/bfea2865c3ef40c755bb8bdaf296013902808aa4-1134x409.png) アリーナモードのリーダーボードは、コミュニティへの文献貢献です。GPT-5.3-Codex のローンチ結果を間もなく更新し、より先端的な評価を通じてコミュニティに引き続き貢献していく所存です。

ウィンドサーフアリーナモードリーダーボード：人々が求めるのはスピード

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト