Arize と Fireworks が Kimi K3 など 10 モデルの成功タスク単価をベンチマーク

記事の3ポイント

1. 1

   評価指標の転換：トークン価格から成果コストへ

   従来のトークン単価ではなく、失敗やリトライを含めた「成功したタスクあたりのコスト」が実務における真のコスト効率を決める指標であると示された。

2. 2

   ベンチマーク結果：オープンソースモデルの台頭

   10モデル中、最もコスト効率が良かったのは「gpt-oss-120b」であり、成功時の単価は$0.054と他社を大きく下回ったが、その一方でパス率は33%と低かった。

3. 3

   価格設定の時代変化とインフラ経済

   LLM初期の市場獲得のための subsidized pricing（補助付き価格）は終了し、完全な推論コストを払う時代において、製品が採算に乗るかどうかはこの指標で決まると指摘した。