ページを読み込み中…
1件の記事
LMSYS は Blackwell アーキテクチャ上で Ling-3.0-flash モデルのスペキュラティブデコード性能を評価し、バッチサイズ 1 の推論におけるオーバーヘッド削減と高速化の可能性を示した。