Together AI、Kimi K3とGPT-5.6 SolのDeepSWEベンチ比較結果を公開

記事の3ポイント

1. 1

   単発性能 vs 複数試行性能の逆転

   DeepSWE ベンチマークにおいて GPT-5.6 Sol は pass@1 で 72.7% と Kimi K3 (68.5%) を上回るが、Kimi K3 は pass@2 や pass@4 で逆転し、複数試行時の成功率が高い。

2. 2

   コスト効率における圧倒的な差

   Kimi K3 の 1 ロールアウトあたりの費用は 4.65 ドルで GPT-5.6 Sol (8.37 ドル) より 64% 安く、100 ドルあたりで解決できるタスク数は Kimi K3 が 14.7 と GPT-5.6 Sol の 5.3 を上回る。

3. 3

   信頼性と失敗パターンの相違

   GPT-5.6 Sol は 4 回試行すべてで成功するタスク数 (61) が Kimi K3 (45) より多く信頼性が高いが、両モデルは解決・失敗するタスクの傾向が異なるため、相関が低い。