GLM-5.3 と GPT-5.6 Sol の DeepSWE コスト・コーディング比較

記事の3ポイント

1. 1

   カスケード戦略の優位性

   GLM-5.3 をまず実行し、失敗時に GPT-5.6 Sol にエスカレートする順序でタスクを処理することで、85.9% の成功率と 21% のコスト削減を実現した。

2. 2

   単体モデルの性能比較

   GPT-5.6 Sol は 72.7% で単発試行（Pass@1）でわずかに優位だが、GLM-5.3 は再試行回数が増えるにつれて追いつき、4 回目では 87.6% と上回る結果を示した。

3. 3

   コスト効率の劇的改善

   100 ドルあたりの解決タスク数は GLM-5.3 が 17 件に対し GPT-5.6 Sol は 9 件であり、GLM-5.3 の単価は約半分であるため、コストパフォーマンスが圧倒的に高い。