LLM の知能対コストプロットが誤解を招く理由

ArtificialAnalysis が公開している「知能対コスト」プロットは、誤解を招く可能性があります。このプロットは各知能スコアを達成できる最安モデルを示していますが、コスト軸に対数スケールを使用しているため、安価なモデルと高価なモデル間の価格差の桁違いさが視覚的に把握しにくくなっています。また、安価なモデル同士の価格差が実際にはほとんど意味を持たないことも理解しにくいのです。

さらに、このプロットではオープンソースモデルをデータセンター利用時の価格で表示していますが、これはローカルハードウェアでの運用と比較すると非常に高額です。実際、多くのユーザーは最先端レベルの知能を必要としておらず、中国製のオープンソースモデルでも十分に満足できるケースが多いでしょう。