Together AI、DeepSeek V4 Pro と GPT-5.6 Sol の DeepSWE ベンチ比較
本文の状態
日本語全文を表示中
詳細モードで約15分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Together AI Blog
DeepSeek V4 Pro 0813 をまず実行し、失敗した場合に GPT-5.6 Sol にエスカレートするカスケード構成が、単体モデルよりも高い成功率とコスト効率を実現した。
AI深層分析を開く2026年8月18日 16:27
AI深層分析
キーポイント
ハイブリッド戦略による最適化
DeepSeek V4 Pro 0813 をまず実行し、失敗した場合に GPT-5.6 Sol にエスカレートするカスケード構成が、単体モデルよりも高い成功率とコスト効率を実現した。
各モデルの特性と役割分担
GPT-5.6 Sol は初回試行での精度（72.7%）に優れるが、DeepSeek V4 Pro 0813 は複数回の試行でより多くのタスクを解決する能力を持ち、価格差は 35 倍である。
コスト対効果の劇的差異
100 ドルあたりの解決タスク数は DeepSeek V4 Pro 0813 が 261 件に対し、GPT-5.6 Sol は 9 件であり、カスケード構成により全体のコストを大幅に削減できる。
パス率の逆転現象
単発試行では GPT-5.6 Sol が優位だが、複数回実行（best-of-k）すると DeepSeek V4 Pro の成功率が逆転し、4 回目には 88.5% で Sol の 85.8% を上回る。
コストと速度のトレードオフ
DeepSeek V4 Pro は Sol よりも 35 倍安価で価値が高いが、処理ステップ数や出力トークン数が多く、実行に要する時間が長い。
重要な引用
Pro first, Sol on failure, 83.0% at $3.35 a task.
The price gap is 35x. Per $100 spent, Pro solves 261 tasks and Sol solves 9.
at four attempts Pro's 88.5% pass@4 passes Sol's 85.8%. The lower-cost model has the wider reach; it needs more than one attempt, and its attempts are nearly free.
Sol is the precision corner: 84.5% reliability and 61 tasks solved four-for-four... DeepSeek V4 Pro 0813 trades to the other axis: wider coverage (88.5% vs 85.8%) but far lower reliability (71.0%) and fewer solid tasks (35 vs 61).
編集コメントを表示
編集コメント
単一モデルの性能比較を超え、複数のモデルを組み合わせることでコストと精度のバランスを最適化する手法が実証された点は非常に示唆に富む。開発現場では、単純な精度競争ではなく、タスクフローに応じた柔軟なリソース配分が今後の標準となる可能性がある。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
904 回の DeepSWE ロールアウトを実施しました。勝者は単独のモデルではありませんでした。DeepSeek V4 Pro 0813 をまず試し、テスト失敗時に GPT-5.6 Sol にエスカレートする戦略が採用され、タスクあたりのコストは 3.35 ドルで成功率 83.0% を達成しました。
主な知見
どちらか一方を選ぶのではなく、DeepSeek V4 Pro 0813 を最初に実行し、テスト失敗時に GPT-5.6 Sol に切り替えるカスケード方式が有効です。この組み合わせにより DeepSWE のタスクを 83.0% 解決でき、コストは 8.37 ドルに抑えられます。成功率は 10 ポイント向上し、費用は 60% 削減されました。
- Sol が初期の試行で勝利します。pass@1 で 72.7%、pass@2 でも 81.0% とリードを維持しています（対する Pro はそれぞれ 62.8%、78.5%）。
- Pro が最後の試行で逆転します。4 回のトライで pass@4 を達成した割合は 88.5% で、Sol の 85.8% を上回っています。安価なモデルほど 4 回の機会の中でより多くの課題を解決できることがわかります。
- 価格差は 35 倍です。100 ドルあたりの解決タスク数は、Pro が 261 件に対し Sol はわずか 9 件です。
- Sol の処理速度と安定性は優れています。ロールアウトあたり平均 17 分・58 ステップ（Pro は 35 分・146 ステップ）で、4 回連続成功したタスク数は Sol が 61 件、Pro が 35 件です。
- Sol の失敗はより複雑です。20% のケースで既に合格していたテストが再び失敗する（回帰問題が発生する）一方、Pro は 11% です。Sol の出力には回帰チェックを適用する必要があります。
DeepSeek V4 Pro 0813 と GPT-5.6 Sol を DeepSWE で比較した結果、このベンチマークは多様なタスク種別とプログラミング言語にわたってモデルのソフトウェアエンジニアリング能力を評価するものです。GPT-5.6 Sol は単発での実装において最も優秀なエンジニアですが、DeepSeek V4 Pro 0813 のコストはその 1/35 です。重要なのは「どちらが初回で正確か」（明らかに Sol）ではなく、この 35 倍の価格差が実際に何をもたらすか、そして低コストモデルの性能上限が追いつくかどうかです。
DeepSWE · ハード対ハード
DeepSeek-V4 Pro 0813 vs GPT-5.6 Sol 概観
| モデル | Pass@1 | 平均コスト | $100 あたり解決数 | 出力トークン数 | ステップ数 |
|---|---|---|---|---|---|
| gpt-5.6-sol [max] | 72.7% ± 2.2% | $8.37 | 9 | 59k | 53 |
| deepseek-v4-pro-0813 [max] | 62.8% ± 3.1% | $0.24 | 260 | 101k | 146 |
DeepSWE の全 113 タスクにおいて、DeepSeek V4 Pro 0813 (max) と GPT-5.6 Sol (max) を比較検証しました。各モデルとも 4 回ずつ試行し、公開された試行記録に基づき合計 904 回のロールアウト（内訳は各 452 回）を行いました。
Sol は精度を重視したフラッグシップモデルですが、Pro はコストパフォーマンスに優れた逸脱型モデルです。以下の数値はいずれも今回の検証結果に基づくものであり、他の公開データやスコアカードとは異なる可能性があります。
DeepSWE スコアボード：pass@1 と pass@k の比較
一度の試行（single shot）に限れば、Sol が明確にリードしています。公式スコアリングによると、Sol は 72.7% の pass@1 を達成した一方、Pro は 62.8% です。
しかし、再試行を重ねるごとに両者の差は縮まり、最終的には逆転します。2 回目の試行では Pro がすでに Sol に肉薄し（Pro: 78.5% vs Sol: 81.0%）、4 回目になると Pro の pass@4 は 88.5% に達し、Sol の 85.8% を上回ります。
コストの低いモデルの方が、より広い範囲で成功を収めることができます。ただし、そのためには複数回の試行が必要であり、Pro の場合、追加試行のコストはほぼゼロに等しいのです。もしあなたのワークフローが「best-of-k」方式（複数試行の中から最良の結果を採用する手法）に対応しているなら、Sol に対する精度の優位性はもはや大きな意味を持ちません。
コスト比較：DeepSeek V4 Pro 0813 と GPT-5.6 Sol の価格
DeepSeek V4 Pro 0813 は、1 回あたりの実行コストが 0.24 ドルで、Sol（8.37 ドル）の約 35 分の 1 です。価値換算では、100 ドルあたりで Sol が 9 件のタスクを解決できるのに対し、Pro は 260 件を処理可能です。
ただし、低価格が即座に「速度」や「簡潔さ」につながるわけではありません。Pro の中央値は 146 ステップ、35 分、出力トークン数 10.1 万です。一方、Sol は 53 ステップ、17 分、5.9 万トークンと非常にコンパクトに収まります。
Sol は高速で簡潔なスペシャリストですが、Pro はより広範囲をカバーする代わりに時間がかかります。人間が待機している状況では、レイテンシの短さだけで Sol の高価格に見合う価値があります。一方、予算制約やキュー待ちの状況であれば、Pro を上回る選択肢はほぼ存在しません。
カバレッジと信頼性：精度 versus 網羅性
pass@1 を「カバレッジ（網羅範囲）」と「信頼性」に分解すると、両者の明確な違いが見えてきます。
Sol は「精度」の極致です。信頼性は 84.5% で、61 タスク中すべてを 4 回連続で解決するタスクが 61 件あります。これは、触れた課題を確実に完遂できるモデルの特徴です。
一方、DeepSeek V4 Pro 0813 は「網羅性」の軸へシフトしています。カバレッジは Sol（85.8%）を上回る 88.5% ですが、信頼性は大幅に低い 71.0% です。また、確実に解決できるタスク数も 35 と Sol の 61 を下回ります。
これは pass@4 のクロスオーバーを横から見たような現象です。Pro は Sol よりもベンチマークの広範囲に触れますが、1 回の試行あたりの成功率は低くなっています。
失敗モード：各モデルがどのように間違えるか
両者の失敗パターンは明確に異なります。Sol は失敗時の 20% で既存のテストスイートを破綻させ、これは GPT ファミリー特有の回帰現象です。一方、DeepSeek V4 Pro 0813 はより保守的で失敗率は 11% に留まります。Pro が失敗する場合でも、通常はわずかなミスで済み、ベースラインは維持されます。つまり、コストが安いモデルほど、レビューなしで採用する際のリスクも低いのです。Sol の差分を適用する前には完全な回帰テストゲートを設ける必要がありますが、Pro にはそのガードレールをそれほど厳しくする必要はありません。
タスク別でどちらが優位か
Sol の品質面での優位性は広範囲に及びます。8 つのドメインのうち 6 つで勝利しており、特にデータモデリングとシリアライゼーションでは 92%（Pro よりも 28 ポイント上）を記録しています。その他、クエリ/設定（80）、並行処理（72）、ビルド/運用（73）、プログラム解析（64）、プロトコル適合性（59）でも Sol がリードしています。Sol が勝てなかったのは 2 つの狭い領域だけです。言語とランタイム内部については 75-75 の引き分け、そして DeepSeek V4 Pro 0813 がわずかに優位な「状態保持リアクティブ性」で 66%（対 Sol は 64%）となり、これが Pro の唯一の勝利ドメインです。タスクが厳密なシリアライゼーション契約を要求する場面では、Sol が大きく引き離します。
プログラミング言語別：DeepSeek V4 Pro 0813 と GPT-5.6 Sol の比較
GPT-5.6 Sol は Python (74)、Go (79)、TypeScript (66)、JavaScript (75) の 4 つの言語で DeepSeek V4 Pro 0813 を上回っており、特に Python と Go ではその差が顕著です。例外は Rust で、DeepSeek V4 Pro 0813 が 65 対 60 でわずかにリードしています。Sol がクラス平均を下回った唯一の言語であり、Pro が明確に勝利した唯一の言語です。
もしあなたの技術スタックが Python または Go なら、Sol の圧勝です。一方、Rust を使う場合、Pro はわずかに性能が高く、コスト面では圧倒的に有利です。
DeepSeek V4 Pro 0813 と GPT-5.6 Sol、どれほど異なるのか？
中程度の違いです。タスクごとの相関関係は 0.54 で、DeepSeek のプロシリーズ間では最も高い数値です。
両モデルとも 90 タスクを解決していますが、Pro が独自に解決したのは 10 タスク、Sol は 7 タスクでした。また、両者ともに失敗したタスクが 6 つあります。両者の解決能力を合わせると、全 113 タスクのうち 107 (94.7%) をカバーできます。
ポートフォリオ構築において重要なのは非対称性です。DeepSeek V4 Pro 0813 は、Sol が完全に失敗したタスクを一つも解決していません。一方、Sol は「pebble-durability-wait-apis」や「textual-kitty-key-phases」といった、Pro が一度も解決できない 2 つのタスクで完璧なスコア (4/4) を記録しています。
つまり、Pro は Sol のカバー範囲を大幅に広げるわけではありません。Pro が追加する価値は、共有されたタスクを最小限のコストでクリアできる点にあります。
両モデルの使い分け：ポートフォリオ戦略
まさにその理由から、カスケード方式が勝利します。まず DeepSeek V4 Pro 0813 を実行し、テストスイートで回答が却下された場合のみ Sol にエスカレートさせます。この構成では、タスクあたりの解決率が 83.0%、コストは 3.35 ドルです。これは Sol 単独の 72.7% よりも 10 ポイント高く、Sol のタスクあたり価格（8.37 ドル）の半分以下で実現しています。
最初の段階がほぼ無料に近い状態で処理できるため、キューの大半をクリアできます。その結果、Sol の高価な料金が適用されるのは困難な残りタスクのみとなり、Sol に到達したタスクには、追加で独立した 2 回目の試行機会も与えられます。
このカスケード方式は、完璧な一発判定ルーター（80.8%）さえも上回ります。なぜなら、2 回の独立した試行の方が、1 回の完璧な選択よりも優れているからです。どちらのモデルを先頭にするかで精度に差はありませんが、Pro を先に使う方が圧倒的に安価です（3.35 ドル対 8.44 ドル）。したがって、常に低コストのモデルから始めるべきです。
何が示唆されているか
正答性とレイテンシの両方が最初の試行で重要となる場合、GPT-5.6 Sol は単一モデルとしての最適解です。Pass@1 が最も高く、信頼性も抜群で、処理が最速かつ簡潔であり、8 つのドメインのうち 6 つをカバーしています。ただし、その性能を得るには DeepSeek V4 Pro 0813 の約 35 倍のコストがかかります。また、20% に及ぶ回帰（性能低下）リスクへの対策も必要です。
一方、DeepSeek V4 Pro 0813 はコストパフォーマンスに優れ、「Best-of-k」アプローチに適したモデルです。フラッグシップ並みのカバー範囲を持ち、4 つの試行における最高値を記録できる可能性が高く、失敗のパターンも明確で、ロールアウトあたりのコストはわずか$0.24 です。
しかし、この 2 つのモデルを最も効果的に組み合わせる方法は、どちらか一方を使うことではありません。DeepSeek V4 Pro 0813 を GPT-5.6 Sol のフロントエンド（前段）として活用するのが最善策です。低コストで第一段階を処理し、多くのタスクをここで解決することで、Sol は本当に必要なケースにのみ投入されます。これにより、Sol の半額以下の費用で、フラッグシップモデルを超えるカバー範囲を実現できます。
| 指標 | deepseek-v4-pro-0813 [max] | gpt-5.6-sol [max] |
|---|---|---|
| pass@1 (公式スコアリング) | 62.8% | 72.7% |
| pass@1 (エラーを失敗としてカウント) | 62.8% | 72.3% |
| pass@2 / pass@4 | 78.5 / 88.5% | 81.0 / 85.8% |
| カバレッジ / 信頼性 | 88.5 / 71.0% | 85.8 / 84.5% |
| 堅牢 (4/4) / 壁 (0/4) | 35 / 13 | 61 / 16 |
| ロールアウトごとのコスト / 合計 | 109 | 3,783 |
| $100 あたり解決数 | 261 | 9 |
| 中央値分 / ステップ数 | 35 / 146 | 17 / 53 |
| 中央値ピークコンテキスト / 出力トークン数 | 232k / 101k | 177k / 59k |
| 失敗の解剖 (直近 / 回帰) | 66% / 11% | 54% / 20% |
| 獲得ドメイン数 (8 件中) | 1 (ステートフル) | 6 (引き分け 1) |
| 獲得言語数 | 1 (Rust) | 4 |
| インフラエラー | 0 | 2 |
| タスクごとの相関 / 併合数 | 0.54 / 113 中 107 (94.7%) | |
| Oracle 1-shot ルーター | 80.8% | |
| Cascade Pro から Sol への転送 (精度 / コスト) | 83.0% / $3.35 (Sol 単独の場合 72.7% / $8.37) |
FAQ
DeepSeek V4 Pro 0813 と GPT-5.6 Sol、どちらが優れているのか？
評価指標によります。DeepSWE ベンチマークでは、GPT-5.6 Sol が単発での成功率（pass@1）で 72.7% を記録し、DeepSeek V4 Pro 0813 の 62.8% を上回っています。また、4 回の試行すべてでタスクを解決したケースも GPT-5.6 Sol が 61 件と DeepSeek V4 Pro 0813 の 35 件を大きく引き離しており、ロールアウトあたりの処理速度も圧倒的に速いです。
一方、DeepSeek V4 Pro 0813 は pass@4（4 回試行した際の成功率）で 88.5% を達成し、GPT-5.6 Sol の 85.8% を上回っています。さらに重要なのは、ロールアウトあたりのコストが約 35 分の 1 という圧倒的な安さです。大量の処理や、再試行を前提としたエージェントワークロードにおいては、DeepSeek V4 Pro 0813 がより高い価値を持つ選択肢と言えます。
DeepSeek V4 Pro 0813 は GPT-5.6 Sol よりどれくらい安いのか？
今回のテストでは、最大限の努力を払った場合、GPT-5.6 Sol のロールアウトあたりコストは 8.37 ドルに対し、DeepSeek V4 Pro 0813 はわずか 0.24 ドルでした。これは約 35 倍の違いです。
タスク解決数で換算すると、100 ドルあたりの成功件数は DeepSeek V4 Pro 0813 が 260 件に対し、GPT-5.6 Sol はわずか 9 件。つまり、同じ金額で得られる実働成果は約 30 倍も違うことになります。
コーディングタスクにおいて、DeepSeek V4 Pro 0813 と GPT-5.6 Sol のどちらが優れているか？
言語別・ドメイン別の性能を見ると、GPT-5.6 Sol は Python（74）、Go（79）、TypeScript（66）、JavaScript（75）で高いスコアを記録し、8 つのタスクドメインのうち 6 つで勝利しています。特にデータモデリングとシリアライゼーション分野では 92% の成功率を誇ります。
一方、DeepSeek V4 Pro 0813 は Rust（65 vs 60）で GPT-5.6 Sol を上回り、ステートフルなリアクティブ処理（66 vs 64）でもわずかにリードしています。GPT-5.6 Sol がロールアウトあたりの速度では優位ですが、DeepSeek V4 Pro 0813 は複数回の試行を通じてより広いカバレッジを獲得できるという特徴があります。
DeepSeek V4 Pro 0813 と GPT-5.6 Sol の使い分け（ルーティング）はすべきか？
結果の検証が可能であれば、ぜひ推奨します。まず DeepSeek V4 Pro 0813 を実行し、テストスイートで出力が拒否された場合にのみ GPT-5.6 Sol にエスカレーションする戦略をとると、タスクあたりのコスト 3.35 ドルで 83.0% の成功率を達成できます。これは GPT-5.6 Sol 単独（72.7% / 8.37 ドル）や、完璧な一発判定オラクル型ルーター（80.8%）を上回る結果です。
両モデルを組み合わせることで、113 件のタスクのうち 107 件をカバーすることが可能になります。
DeepSWE における pass@k とは？
pass@k は、タスクに対して k 回試行したうち、少なくとも 1 回が非公開のテストスイートを通過するかどうかを測定する指標です。pass@1 は初回の試行で正解することを評価し、k の値が大きくなるほど、複数回の試行を経て最終的に解決策に到達できるモデルを高く評価します。DeepSeek V4 Pro 0813 の優位性は、k が大きくなるほど顕著になります。
原文を表示
We ran 904 DeepSWE rollouts. The winner was neither model on its own: Pro first, Sol on failure, 83.0% at $3.35 a task.
Key Takeaways
Don't pick one. Run DeepSeek V4 Pro 0813 first, escalate to GPT-5.6 Sol when the tests fail. That cascade solves 83.0% of DeepSWE tasks at 8.37. Ten points better, 60% cheaper.
- Sol wins the early attempts. 72.7% pass@1 vs 62.8%, and it holds the lead at pass@2 (81.0% vs 78.5%).
- Pro wins the last one. 88.5% pass@4 vs 85.8%. Given four tries, the cheap model finds more of the board.
- The price gap is 35x. 8.37. Per $100 spent, Pro solves 261 tasks and Sol solves 9.
- Sol is faster and steadier. 17 minutes and 53 steps per rollout vs Pro's 35 and 146, and 61 tasks solved four-for-four vs 35.
- Sol's failures are messier. 20% of them break tests that already passed, vs 11% for Pro. Gate Sol's output on regressions.
In our DeepSeek V4 Pro 0813 vs GPT-5.6 Sol comparison on DeepSWE, a benchmark that tests a model's software engineering ability across many task types and programming languages, GPT-5.6 Sol is the best single-shot engineer on the board, and DeepSeek V4 Pro 0813 costs one-thirty-fifth as much. The interesting question is not which is more accurate on the first try (Sol, clearly) but what that 35x price gap actually buys, and whether the lower-cost model's ceiling closes it.
DeepSWE · Head to Head
DeepSeek-V4 Pro 0813 vs GPT-5.6 Sol at a glance
| Model | Pass@1 | Avg cost | Solves / $100 | Out tok | Steps |
|---|---|---|---|---|---|
| gpt-5.6-sol [max] | 72.7% ± 2.2% | $8.37 | 9 | 59k | 53 |
| deepseek-v4-pro-0813 [max] | 62.8% ± 3.1% | $0.24 | 260 | 101k | 146 |
We ran DeepSeek V4 Pro 0813 (max) against GPT-5.6 Sol (max) on all 113 DeepSWE tasks, four trials each, from the published per-trial records: 904 rollouts in total (452 each). Sol is the precision flagship; Pro is the value outlier. Every figure below comes from this run, so it can differ from other public DeepSeek V4 Pro 0813 vs GPT-5.6 Sol scorecards.
The DeepSWE scoreboard: pass@1 and pass@k
Single shot, Sol leads clearly: 72.7% pass@1 to Pro's 62.8% (official scoring). But the gap narrows with every retry and then inverts: at two attempts Pro is already close (78.5 vs 81.0), and at four Pro's 88.5% pass@4 passes Sol's 85.8%. The lower-cost model has the wider reach; it needs more than one attempt, and its attempts are nearly free. If your workload lets you run best-of-k, the accuracy argument for Sol largely disappears.
Cost comparison: DeepSeek V4 Pro 0813 vs GPT-5.6 Sol pricing
At $0.24 a rollout, DeepSeek V4 Pro 0813 is 35x cheaper than Sol ($8.37), which in value terms is 260 solves per $100 against Sol's 9. What the lower price does not buy is speed or brevity: Pro takes a median 146 steps and 35 minutes and emits 101k output tokens, versus Sol's tight 53 steps, 17 minutes, and 59k tokens. Sol is the fast, concise specialist; Pro reaches similar coverage the long way around. If a human is waiting, Sol earns its premium on latency alone; if a budget or a queue is waiting, nothing here is close to Pro.
Coverage vs reliability: precision vs reach
Decompose pass@1 into coverage and reliability and the split is clean. Sol is the precision corner: 84.5% reliability and 61 tasks solved four-for-four, the marks of a model that nails what it touches. DeepSeek V4 Pro 0813 trades to the other axis: wider coverage (88.5% vs 85.8%) but far lower reliability (71.0%) and fewer solid tasks (35 vs 61). That is the pass@4 crossover seen from the side: Pro touches more of the benchmark than Sol but converts each touch less often per shot.
Failure modes: how each model gets it wrong
The failure profiles differ sharply. Sol breaks the repository's existing test suite in 20% of its failures, the GPT-family regression signature. DeepSeek V4 Pro 0813 is far more conservative at 11%; when it fails, it usually fails with a near miss and the baseline intact. So the cheaper model is also the safer one to accept unreviewed: put a full regression gate around Sol before you take its diff, and Pro needs that guardrail less.
Where each wins, by task type
Sol's quality edge is broad: it wins 6 of 8 domains, led by data modeling and serialization at 92% (28 points over Pro), plus query/config (80), concurrency (72), build/ops (73), program analysis (64), and protocol conformance (59). The two it does not take are narrow: language and runtime internals is a 75-75 tie, and DeepSeek V4 Pro 0813 edges stateful reactivity (66 vs 64), its one domain win. Everywhere the task demands nailing an exact serialization contract, Sol pulls away.
DeepSeek V4 Pro 0813 vs GPT-5.6 Sol by programming language
Sol sweeps four of five (Python 74, Go 79, TypeScript 66, JavaScript 75), and the margins are wide on Python and Go. The exception is Rust, where DeepSeek V4 Pro 0813 edges ahead 65 to 60: the one language Sol underperforms its class and the one Pro wins outright. If your stack is Python or Go, this is Sol's board by a comfortable margin; if it is Rust, Pro is fractionally better and vastly cheaper.
How different are DeepSeek V4 Pro 0813 and GPT-5.6 Sol?
Moderately. Per-task correlation is 0.54, the closest of the DeepSeek-Pro pairings. They both solve 90 tasks; Pro alone gets 10, Sol alone gets 7, and 6 defeat both. Their union covers 107 of 113 (94.7%). One asymmetry matters for a portfolio: DeepSeek V4 Pro 0813 sweeps no task that Sol misses entirely, while Sol goes four-for-four on two tasks that Pro never solves (pebble-durability-wait-apis, textual-kitty-key-phases). So Pro does not add much new reach on top of Sol; what it adds is the ability to clear the shared tasks at minimal cost.
Routing between them: the portfolio play
Which is exactly why the cascade wins. Run DeepSeek V4 Pro 0813 first and escalate to Sol only when your test suite rejects the answer: 83.0% solved at $3.35 per task. That is ten points above Sol alone (72.7%) for less than half of Sol's own per-task price ($8.37). The near-free first stage clears most of the queue, so Sol's premium price applies only to the hard remainder, and the tasks that reach Sol get a second independent attempt on top. The cascade even beats a perfect one-shot oracle router (80.8%), because two independent attempts beat one perfect pick. Accuracy is the same whichever model leads, but Pro-first is far cheaper ($3.35 vs $8.44), so always lead with the lower-cost model.
What it means
GPT-5.6 Sol is the single-model pick when correctness and latency both matter on the first try: highest pass@1, highest reliability, fastest and most concise, and six of eight domains. You pay 35x DeepSeek V4 Pro 0813 for that, and you must guardrail its 20% regression rate. DeepSeek V4 Pro 0813 is the value and best-of-k pick: near-flagship coverage, the higher four-shot ceiling, a cleaner failure profile, at $0.24 a rollout. But the sharpest use of the pair is neither alone, it is Pro as Sol's front-end. A low-cost first stage that clears most of the work turns Sol into a cost you only pay on the tasks that need it, and buys flagship-beating coverage for under half of Sol's price.
Data table: DeepSeek V4 Pro 0813 vs GPT-5.6 Sol, full results
DeepSWE · Full results
| Metric | deepseek-v4-pro-0813 [max] | gpt-5.6-sol [max] |
|---|---|---|
| pass@1 (official scoring) | 62.8% | 72.7% |
| pass@1 (errors as failures) | 62.8% | 72.3% |
| pass@2 / pass@4 | 78.5 / 88.5% | 81.0 / 85.8% |
| Coverage / reliability | 88.5 / 71.0% | 85.8 / 84.5% |
| Solid (4/4) / walls (0/4) | 35 / 13 | 61 / 16 |
| Cost per rollout / total | 109 | 3,783 |
| Solves per $100 | 261 | 9 |
| Median minutes / steps | 35 / 146 | 17 / 53 |
| Median peak context / output tokens | 232k / 101k | 177k / 59k |
| Failure anatomy (near / regression) | 66% / 11% | 54% / 20% |
| Domains won (of 8) | 1 (stateful) | 6 (1 tie) |
| Languages won | 1 (Rust) | 4 |
| Infra errors | 0 | 2 |
| Per-task correlation / union | 0.54 / 107 of 113 (94.7%) | |
| Oracle 1-shot router | 80.8% | |
| Cascade Pro to Sol (accuracy / cost) | 83.0% / $3.35 (vs Sol alone 72.7% / $8.37) |
FAQs
Is DeepSeek V4 Pro 0813 better than GPT-5.6 Sol?
It depends on the metric. GPT-5.6 Sol wins single-attempt quality on DeepSWE (pass@1 72.7% vs 62.8%), solves more tasks four-for-four (61 vs 35), and is much faster per rollout. DeepSeek V4 Pro 0813 wins pass@4 (88.5% vs 85.8%) at 35x lower cost per rollout, so it is the stronger value pick for high-volume or retry-tolerant agent work.
How much cheaper is DeepSeek V4 Pro 0813 than GPT-5.6 Sol?
In our run, DeepSeek V4 Pro 0813 cost $0.24 per rollout versus $8.37 for GPT-5.6 Sol at max effort, roughly 35x cheaper. Measured per solved task, Pro returned 260 solves per $100 against Sol's 9, about 30x the solved work per dollar.
Which is better for coding, DeepSeek V4 Pro 0813 or GPT-5.6 Sol?
GPT-5.6 Sol leads Python (74), Go (79), TypeScript (66), and JavaScript (75), and wins 6 of 8 task domains, led by data modeling and serialization at 92%. DeepSeek V4 Pro 0813 takes Rust (65 vs 60) and edges stateful reactivity (66 vs 64). Sol is also the faster model per rollout; Pro reaches wider coverage across multiple attempts.
Should I route between DeepSeek V4 Pro 0813 and GPT-5.6 Sol?
Yes, if you can verify results. Running DeepSeek V4 Pro 0813 first and escalating to GPT-5.6 Sol when your test suite rejects the output reaches 83.0% at $3.35 per task, beating Sol alone (72.7% at $8.37) and a perfect one-shot oracle router (80.8%). Together the two cover 107 of 113 tasks.
What is pass@k on DeepSWE?
pass@k measures whether at least one of k attempts at a task passes the hidden test suite. pass@1 rewards getting it right first try; higher k rewards a model that can eventually reach a solution across several tries. DeepSeek V4 Pro 0813's edge grows as k increases.
関連記事
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み