#パフォーマンス評価 のAIニュース

10 トークン/秒は本当に速いのか？

マイク・ヴェーマン氏が作成した Web アプリにより、5〜800 トークン/秒の LLM 出力速度をシミュレーションできる。30 トークン/秒と advertised されたモデルが実際にどの程度に見えるかを確認する際に有用である。