Together AI、DeepSWEベンチでGPT-5.6 LunaとDeepSeek-V4 Flashを比較

記事の3ポイント

1. 1

   性能とコストのトレードオフ分析

   GPT-5.6 Luna は DeepSWE ベンチマークで Pass@1 が 67.2% と DeepSeek-V4 Flash の 53.3% を上回るが、そのコストは Luna が 0.61 ドルに対し DeepSeek は 0.10 ドルと約 6 倍の差がある。

2. 2

   カスケード構成による最適解

   DeepSeek-V4 Flash をまず実行し、失敗した場合にのみ GPT-5.6 Luna に昇格させる戦略により、78.9% のタスクを 0.385 ドルで解決でき、単独使用よりも精度が高くコストも 37% 削減できる。

3. 3

   エラーの性質とリソース効率

   DeepSeek-V4 Flash は失敗時に既存テストスイートを破損する割合が 9% と Luna の 15% より低く、また 100 ドルあたりの解決件数は DeepSeek が 532 件で Luna の 110 件を大きく上回る。