Cursor Router、新設定でコスト削減と性能向上
本文の状態
日本語全文を表示中
詳細モードで約11分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Cursor Research
Cursor は Router の新機能「Auto Intelligence」と「Auto Balance」の改善結果を発表し、それぞれ Fable や Opus 4.8 を下回るコストで同等以上の性能を達成したと報告している。
AI深層分析を開く2026年8月6日 22:59
AI深層分析
キーポイント
パフォーマンスとコストの劇的改善
Auto Intelligence は Fable レベルのユーザー満足度を維持しつつコストを68%削減し、Auto Balance は Opus 4.8 を下回るコストで性能を向上させた。
ベンチマークに依存しないデータ駆動型アプローチ
モデル選定はベンチマークスコアではなく、実際の開発者の作業や会話履歴といったリアルな生産トラフィックから学習して決定される。
2段階のルーティング機構
まず「Compass」という複雑度予測器でタスクの難易度を判断し、必要に応じてタスク分類を用いて最適なフロンティアモデルを選定する。
Compassによる複雑度の予測
Compassはユーザーの満足度を予測することでタスクの複雑度を推定し、そのスコアに基づいて価格効率の良いモデルと最先端モデルを切り分ける。評価結果では、成功確率が高いと判断されたターンで96%が実際に成功信号を示した。
ドメイン別モデルの強み
各モデルは全てのタスクで優れているわけではなく、特定の領域やタスクタイプにおいて他社を凌駕する性能を発揮する。例えばGrokはGitコマンドやデータベース操作などの汎用的な作業に、Solは計画立案やコードベースの理解にそれぞれ強い値を示す。
重要な引用
Auto Intelligence delivers above Fable-level user satisfaction at 68% lower cost
model selection should be learned from how models perform on real developer work, rather than inferred from benchmark scores
We're working towards a Cursor Router that improves alongside the model frontier
Turns that Compass rated as most likely to succeed received a positive performance signal 96% of the time, while turns it rated as least likely to succeed received one 71% of the time.
編集コメントを表示
編集コメント
ベンチマークスコアに頼らない実運用データに基づくルーティングは、AI ツールの実用化において極めて重要な転換点である。開発者がコストと性能のトレードオフを気にせず作業に集中できる環境が整いつつあると言える。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
7 月 22 日、私たちは「Cursor Router」を「Auto Intelligence」と「Auto Balance」の 2 つの新構成でリリースしました。それ以来、新しいモデルが登場し、ルーティングシステムがより多くの実運用データから学習するにつれて、両方のモードは継続的に改善されています。
現在、Auto Intelligence は Fable レベルを上回るユーザー満足度を実現しながら、コストを 68% 削減しています。これはリリース時からのさらに 18% の低下です。一方、Auto Balance は Opus 4.8 を上回りながら、コストは 41% 低く抑えられています。この期間にさらに 8% コストが下がり、ユーザー満足度も 3% 向上しました。
私たちは、モデルの最先端技術の進化に合わせて Cursor Router も改善し続けることを目指しています。この記事では、現在のシステムの仕組みについて解説します。
データ駆動型のルーティングアプローチ
Cursor Router の根底にある考え方は、モデル選択はベンチマークスコアから推測するのではなく、実際の開発者の作業におけるモデルのパフォーマンスから学習すべきだというものです。
ルーティングは、現在のターンと直近の会話状態からのシグナルに基づいて決定されます。これには、タスクカテゴリといった構造化された特徴や、直近のツール呼び出し、そして作業全体の文脈が含まれます。
その上で、ルーティングは 2 つの部分に分けて行われます。
まず、現在のターンが価格効率の高いモデルで処理できるほど単純かどうかを判断する必要があります。この決定を下すのが、複雑さを予測する「Compass」です。
次に、タスクの難易度が高い場合は、どの最先端モデルがその種の作業に最も適しているかを判断する必要があります。その判断を下すために、実際の開発者からのトラフィックから学習したタスク・ドメイン・修飾子の分類体系を用いて、各ターンを分類します。
データセットの構築
ルーティングシステムを開発するためには、まず本番環境で遭遇する状況を反映したデータセットが必要です。私たちは Cursor のライブトラフィックからこのデータセットを構築しました。これにより、開発者のタスクの実際のミックス、各ターンの周囲のコンテキスト、モデル間の切り替えによる影響がそのまま保持されます。
常に通りですが、このプロセス全体を通じてユーザーのプライバシーモードとデータ保持設定は尊重されました。
このデータセットには、さまざまなモデルにわたってサンプリングされた数十万のターンが含まれています。各データポイントには、ルーティングシステムが利用可能な会話信号に加え、ルーティングの選択を比較するために使用する 2 つの結果が含まれます。
- パフォーマンス: ユーザーの次の行動からパフォーマンスを推測します。次のタスクに進むことは強いポジティブシグナルであり、エージェントの修正を行うことは強いネガティブシグナルです。
- コスト: API の価格とそのターンのトークン使用量からコストを計算します。データはライブトラフィック由来のため、ベンチマークでは見逃されがちなコストも捉えています。これには、モデル間の切り替えによって引き起こされるキャッシュミスによるコストも含まれます。
Compass は、ユーザーが Cursor の回答に満足するかどうかを予測することで、各タスクの複雑さを推定します。このモデルは、前述のパフォーマンス信号を用いて訓練されています。
得られた予測値を複雑さの代理指標として利用しています。これは、コミット作成のような単純な作業ではユーザーが修正を求めることがほとんどない一方、より複雑な作業では追加の要望が出やすいという事実に基づいています。
オンライン評価により、Compass のスコアがユーザー満足度の強力な予測因子であることを確認しました。Compass が成功確率が高いと判定したタスクは 96% の場合で肯定的なパフォーマンス信号を受け取り、逆に成功率が低いと判定されたタスクでも 71% の場合に同様の信号が得られています。
実際には、Compass は各タスクに対して 0 から 1 の間の連続的な複雑さスコアを付与します。この範囲内で閾値を設定し、どのタスクを価格効率の高いモデルで処理するか、どのタスクを最上位モデルへアップグレードするかを決定しています。閾値を低く設定すればより多くのトラフィックが価格効率モデルに留まりますが、高く設定すればアップグレードの頻度が増加します。
モデルの強みを学習する
Compass によって、最上位モデルの使用が正当化されるほど複雑なタスクであることが判明した後、次に問われるのは「どの最上位モデルを選ぶか」です。
これに答えるため、実際の開発者からのトラフィックに基づき、各タスクを 3 つの次元で記述する分類体系を構築しました:
- ドメイン:作業が行われる領域(バックエンド、データベーススキーマ、フロントエンド)
- タスク:開発者が実行したい内容(バグ修正、コマンドの実行、テスト作成)
「修飾子」はドメインやタスクを横断する特性を捉えますが、どのモデルが最も性能を発揮するかという点に影響を与える可能性があります。具体的には、「範囲限定の編集」「製品に関する質問」「視覚的な要素が強い変更」などが該当します。
その後、これらのカテゴリ間での各モデルのパフォーマンスを比較しました。その結果、あらゆる種類の作業で単一のモデルが支配しているわけではなく、それぞれに得意なカテゴリがあることが分かりました。
- Grok は広範で日常的な作業において高い価値を発揮します。 推論コストが低いため、Git コマンドや一般的なデータベース操作などのカテゴリで特に効果的でした。
- Sol はプランニングとコードベースの理解において特に優れた結果を示しました。 また、他の最先端モデルと比較してより低いコストで、いくつかの実装タスクでも強力な成果を収めています。
- Opus は実行中心の作業に強みを持っています。 DevOps、データベースクエリ、パフォーマンス最適化において特に顕著な能力を発揮しました。
- Fable はデバッグと視覚的な実装において卓越しています。 複雑なタスクにおいては品質向上が著しく、その高いコストに見合う価値がありました。
Cursor Router はこれらの違いを活用し、各ターンに対して最も適したモデルを割り当てます。
アルゴリズムへの統合
Compass と分類体系(taxonomy)は補完的な役割を果たします。Compass はモデルに依存しないタスクの複雑さを推定し、そのスコアをルーティング閾値と比較します。スコアの位置に応じて、推論コストが低い Grok にタスクを転送するか、あるいはその種の作業において観測されたパフォーマンスが最も高い最先端モデルを特定するために分類体系を使用します。
Compass がタキソノミールーターにターンを送信する際、モデル選択は以下の 2 つのルールに従います。
- パフォーマンスが明確に優れている場合のみルーティングする。候補モデルが対象となるのは、そのタスクラベルにおける観測パフォーマンスが、価格効率の高いモデルに対して片側 75% の向上閾値をクリアした場合に限られます。つまり、改善が実際に起こっていると 75% の確信を持つ必要があるということです。
- 予算内で最適な組み合わせを選択する。対象となる候補の中から、1 ターンあたりの平均コストがモードの予算内に収まりつつ、最大の性能向上をもたらすと期待されるトラフィック加重の組み合わせをオプティマイザーが選択します。
このように、Compass の閾値とタスクルーターのコスト予算によって、各モードのパフォーマンス対コスト曲線上での位置が決まります。Auto Balance では価格効率の高い経路に多くのトラフィックを割り当て、タスクルーターの予算は小さめに設定されます。一方、Auto Intelligence では、期待される性能向上がコストに見合う場合、タスクルーターが最先端モデルを選択できる余地をより多く与えます。
本番環境でのパフォーマンス評価
ルーティングポリシーの評価は 2 つの段階で行いました。まず、特定の分割に過学習しないよう、クロスバリデーションを用いて Compass の閾値と最適化予算を調整しました。その後、トレーニング時に使用しなかったホールドアウトテストセット上で、選択されたポリシーを実際に評価しました。
これにより、各ポリシーが新しいトラフィックでどのように機能するかをより信頼性の高い推定値として把握できます。これによって、展開前に弱体な候補を排除し、予想されるコストとパフォーマンスを比較することが可能になります。ただし、オフライン分析だけでは本番環境での実際の挙動を完全に捉えることはできず、ベンチマークも同様の理由で限界があります。最も代表的なテストとなるのは、実際の開発者トラフィックです。
次に、本番環境の条件下で各ポリシーを実際のトラフィック上でテストしました。これにより、ユーザー満足度と、各ターンにおける実際のコストを測定できます。これはオフラインではモデル化が難しい効果、つまりトークン使用量、キャッシュの効果、およびモデル間の切り替えコストなどを捉えるものです。
本番導入前には、両方のモードを実際のトラフィックでテストしました。その結果、個別の最先端モデルと比較して、それぞれがコストとパフォーマンスのトレードオフを改善することが確認できました。Auto Balance は Opus 4.8 よりも高い満足度を実現しながら低コストで動作し、Auto Intelligence も Fable レベルの満足度に近づきつつ、はるかに低いコストで運用されました。
その後、ルーティングシステムや利用可能なモデルが改善されるにつれて、このプロセスを繰り返してきました。その結果、両方のモードはさらにコストパフォーマンスのフロンティアを超えて進化しました。
モデルの最先端に追いつくために
Cursor Router の導入以来、Opus 5 をルーティング対象に追加し、Compass の予測精度も向上させました。これにより、Router は選択できるモデルのセットが強化され、どのモデルをいつ使用すべきかを判断するためのより良いシグナルを得ています。
将来的には、ルーターが各モデルの期待される品質とコストを予測し、実運用の結果から学習して継続的に更新することで、より適応的なものへと進化していくことを目指しています。システムが改善されるにつれ、Cursor ユーザーは必要な場面で最先端モデルを活用できるようになりながら、すべての操作で高額な料金が発生することなく恩恵を受けることができます。
詳細は ドキュメント でご覧ください。
原文を表示
On July 22, we launched Cursor Router with two new configurations, Auto Intelligence and Auto Balance. Since then, we have continued improving both modes as new models have arrived and our routing system has learned from more production traffic.
Today, Auto Intelligence delivers above Fable-level user satisfaction at 68% lower cost, a further 18% reduction since its launch. Auto Balance outperforms Opus 4.8 at 41% lower cost, a further 8% reduction over the same period, while further increasing user satisfaction by 3%.
We're working towards a Cursor Router that improves alongside the model frontier. This post explains how the current system works.
A data-driven approach to routing
Cursor Router is built around the idea that model selection should be learned from how models perform on real developer work, rather than inferred from benchmark scores.
The router makes each decision using signals from the current turn and recent conversation state. These include structured features such as the task category, along with recent tool calls and the broader context of the work.
From there, routing happens in two parts.
First, we need to decide whether a turn is simple enough for a price-efficient model. Compass, our complexity predictor, makes this decision.
Second, if the turn is more demanding, we need to decide which frontier model is most likely to perform well on that kind of work. To make that decision, we classify the turn using a taxonomy of tasks, domains, and modifiers learned from real developer traffic.
Building a dataset
To develop the routing system, we first needed a dataset that reflected the conditions it would encounter in production. We built it from live Cursor traffic so it would preserve the actual mix of developer tasks, the context surrounding each turn, and the effects of switching between models.
As always, we respected users' privacy mode and data retention settings throughout this process.
The dataset contains hundreds of thousands of turns sampled across a range of models. Each datapoint includes the conversation signals available to the router, along with two outcomes we use to compare routing choices.
- Performance. We infer performance from what the user does next. Moving on to the next task is a strong positive signal, while correcting the agent is a strong negative one.
- Cost. We calculate cost from API pricing and token usage for that turn. Because the data comes from live traffic, it also captures costs that benchmarks often miss, including cache misses caused by switching models.
Predicting complexity with Compass
Compass estimates the complexity of each turn by predicting whether the user will be satisfied with Cursor's response. We train it on the performance signal mentioned above.
We use the resulting prediction as a proxy for complexity. This works because users rarely ask for corrections after simple tasks, like making a commit, while they're more likely to make follow-up requests when the work is more complex.
We evaluated Compass online and confirmed that its scores are strong predictors of user satisfaction. Turns that Compass rated as most likely to succeed received a positive performance signal 96% of the time, while turns it rated as least likely to succeed received one 71% of the time.
In practice, Compass assigns each turn a continuous complexity score between 0 and 1. We set a threshold within that range to determine which turns stay on a price-efficient model and which are upgraded to a frontier model. Lower thresholds keep more traffic on the price-efficient model, while higher thresholds upgrade more often.
Learning model strengths
After Compass tells us when a turn is complex enough to justify using a frontier model, the next question is which frontier model to use.
To answer it, we built a taxonomy from real developer traffic that describes each turn across three dimensions:
- Domains identify where the work happens: backend, database schemas, frontend
- Tasks identify what the developer wants done: fixing bugs, running commands, writing tests
- Modifiers capture characteristics that cut across domains and tasks, but may change which model performs best: bounded edits, product questions, visual-heavy changes
We then compare how different models perform across those categories. We found that no model dominates every kind of work, and each has categories where it outperforms:
- Grok offers strong value across broad, routine work. Its low inference cost made it especially effective for categories such as Git commands and general database operations.
- Sol performs especially well on planning and codebase comprehension. It also delivered strong results across several implementation tasks at a lower cost than other frontier models.
- Opus performs well on execution-heavy work. It showed particular strengths in devops, database queries, and performance optimization.
- Fable excels at debugging and visual implementation. Its quality gains were most valuable on complex tasks where they justified its higher cost.
Cursor Router uses those differences to match each turn to the model best suited to it.
Combining into an algorithm
Compass and the taxonomy play complementary roles. Compass estimates the model-agnostic complexity of the turn and compares that score with a routing threshold. Depending on where the score falls, we either send the turn to Grok, given its low inference cost, or use the taxonomy to identify the frontier model with the strongest observed performance on that kind of work.
When Compass does send a turn to the taxonomy router, model selection follows two rules:
- Only route when performance is clearly better. A candidate model becomes eligible only when its observed performance on that task label clears a one-sided 75% uplift threshold against the price-efficient model. Roughly, this means we need 75% confidence that the improvement is real.
- Choose the best mix within the budget. From the eligible candidates, the optimizer chooses the traffic-weighted combination expected to deliver the largest performance gain while keeping the average cost per turn within the mode's budget.
Together, the Compass threshold and the task router's cost budget define each mode's position on the cost-performance curve. Auto Balance keeps more traffic on the price-efficient path and gives the task router a smaller budget. Auto Intelligence gives the task router more room to select frontier models when the expected performance gain justifies the cost.
Evaluating performance in production
We evaluated our routing policies in two stages. First, we used cross-validation to tune the Compass thresholds and optimization budgets without overfitting to a particular split. We then evaluated the selected policies on a held-out test set that had not been used during training.
This gives us a more reliable estimate of how each policy should perform on new traffic. It helps us eliminate weak candidates and compare expected cost and performance before deployment. But offline analysis still cannot fully capture how a policy will behave in production, and benchmarks are limited for the same reason. Live developer traffic remains the most representative test.
We then tested the policies on live traffic, where we could measure user satisfaction and the actual cost of each turn under production conditions. This captures effects that are difficult to model offline, including token usage, caching, and the cost of switching between models.
Before launch, we tested both modes on live traffic and found that each improved the cost-performance tradeoff relative to individual frontier models. Auto Balance delivered higher satisfaction than Opus 4.8 at lower cost, while Auto Intelligence approached Fable-level satisfaction at a much lower cost.
We have since repeated this process as the routing system and available models have improved, moving both modes further beyond the cost-performance frontier.
Keeping pace with the model frontier
Since launching Cursor Router, we've added Opus 5 to the routing mix and improved Compass's predictions. That gives the router both a stronger set of models to choose from and a better signal for deciding when each one is worth using.
Over time, we want the router to become more adaptive by predicting each model's expected quality and cost, learning from production outcomes, and updating continuously. As the system improves, Cursor users will be able to benefit from frontier models where they're needed most, without paying frontier-model prices on every turn.
Read more in our docs.
関連記事
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み