10 トークン/秒は本当に速いのか?
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Simon Willison Blog
マイク・ヴェーマン氏が作成した Web アプリにより、5〜800 トークン/秒の LLM 出力速度をシミュレーションできる。30 トークン/秒と advertised されたモデルが実際にどの程度に見えるかを確認する際に有用である。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
10 トークン/秒は本当に速いのか?
Mike Veerman による精巧な HTML アプリ(ソースコードはこちら)で、5 トークン/秒から 800 トークン/秒までの大規模言語モデル(LLM: Large Language Model)のトークン出力速度をシミュレーションできます。
「30 トークン/秒」として宣伝されているモデルを目にして、それが実際にどのような様子なのか肌で感じたい場合に役立ちます。
Via Hacker News
Tags: ai, generative-ai, llms
原文を表示
How fast is 10 tokens per second really?
Neat little HTML app by Mike Veerman (source code here) which simulates LLM token output speeds from 5/second to 800/second.
Useful if you see a model advertised as "30 tokens/second" and want to get a feel for what that actually looks like.
Via Hacker News
Tags: ai, generative-ai, llms
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み