LLM プロバイダーの性能評価：レイテンシ、スループット、稼働率を測定する手法

記事の3ポイント

1. 1

   プロバイダごとの性能差異の実態

   同じモデル名でも、インフラやルーティング、量子化設定の違いにより、初回トークンまでの時間や負荷時の挙動が劇的に変化する。

2. 2

   評価に用いる 4 つの主要指標

   遅延（初回トークンまで）、スループット（出力トークン数/秒）、稼働率、量子化精度の 4 項目を定量的に測定する必要がある。

3. 3

   統計値の適切な解釈と選択

   ユーザー体験には平均値より p90/p99 の遅延が重要であり、バッチ処理では p50 で評価するのが適切である。