#パフォーマンス評価のAIニュース

2件の記事

LLM プロバイダーの性能評価：レイテンシ、スループット、稼働率を測定する手法

OpenRouter は、同一モデルでもプロバイダーによってインフラや量子化の違いにより結果が異なるため、レイテンシ、スループット、稼働率、精度を測定しルーティングポリシーに転換する方法を解説した。

マイク・ヴェーマン氏が作成した Web アプリにより、5〜800 トークン/秒の LLM 出力速度をシミュレーションできる。30 トークン/秒と advertised されたモデルが実際にどの程度に見えるかを確認する際に有用である。