Together AI、DeepSeek V4 Pro と GPT-5.6 Sol の DeepSWE ベンチ比較

記事の3ポイント

1. 1

   ハイブリッド戦略による最適化

   DeepSeek V4 Pro 0813 をまず実行し、失敗した場合に GPT-5.6 Sol にエスカレートするカスケード構成が、単体モデルよりも高い成功率とコスト効率を実現した。

2. 2

   各モデルの特性と役割分担

   GPT-5.6 Sol は初回試行での精度（72.7%）に優れるが、DeepSeek V4 Pro 0813 は複数回の試行でより多くのタスクを解決する能力を持ち、価格差は 35 倍である。

3. 3

   コスト対効果の劇的差異

   100 ドルあたりの解決タスク数は DeepSeek V4 Pro 0813 が 261 件に対し、GPT-5.6 Sol は 9 件であり、カスケード構成により全体のコストを大幅に削減できる。