How fast is 10 tokens per second really?｜10 トークン/秒は本当に速いのか？

**[10 トークン/秒は本当に速いのか？](https://mikeveerman.github.io/tokenspeed)** Mike Veerman による精巧な HTML アプリ（[ソースコードはこちら](https://github.com/MikeVeerman/tokenspeed/blob/master/index.html)）で、5 トークン/秒から 800 トークン/秒までの大規模言語モデル（LLM: Large Language Model）のトークン出力速度をシミュレーションできます。 「30 トークン/秒」として宣伝されているモデルを目にして、それが実際にどのような様子なのか肌で感じたい場合に役立ちます。 Via [Hacker News](https://news.ycombinator.com/item?id=48174920) Tags: [ai](https://simonwillison.net/tags/ai), [generative-ai](https://simonwillison.net/tags/generative-ai), [llms](https://simonwillison.net/tags/llms)

10 トークン/秒は本当に速いのか？

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト