Cursor、低コスト・高品質なコーディング用ルーティングシステム発表

記事の3ポイント

1. 1

   コスト削減と品質維持の両立

   同社によると、このシステムは単純なタスクには低価格モデルを割り当て、複雑な問題には最上位モデルを使用することで、オンライン A/B テストで最大 60% のコスト削減を実現した。

2. 2

   高度な分類アルゴリズム

   Cursor Router はクエリ、コンテキスト、タスクの複雑さ、ドメインの 4 つの入力を分析し、60 万件以上の生データで学習させた classifiers が各リクエストを判断する。

3. 3

   キャッシュ無効化コストの考慮

   会話中にモデルを切り替えるとプロンプトキャッシュが無効化される実害を認識し、同社はトレーニングと評価の両方でこの「キャッシュミス」のコストを含めて最適化を行った。