Qwen 3.8-Max と Claude Opus 5、ベンチマークスコアが請求額を予測しない理由

記事の3ポイント

1. 1

   ベンチマーク条件の違いによるスコア乖離

   Alibaba が提示した Qwen 3.8-Max の高いコーディング性能は、5〜12 時間という膨大なタイム予算を前提とした結果であり、独立機関の VulcanBench（45〜60 分）では中位または最下位となる。

2. 2

   コスト計算指標の転換

   トークン単価だけでなく、失敗した試行を含めた総支出を成功したタスク数で割る「成功あたりのコスト」が、モデル選定における新たな基準となるべきであると提唱する。

3. 3

   推論トークンの隠れたコスト

   推論型モデルでは回答生成前に思考用のトークンが枯渇し、結果として空の応答（失敗）に終わるケースがあり、これが実質的なコストと時間損失を招く。