#スペキュラティブデコーディング のAIニュース

LMSYS、Blackwell で Ling-3.0-flash の推論速度向上を検証

LMSYS は Blackwell アーキテクチャ上で Ling-3.0-flash モデルのスペキュラティブデコード性能を評価し、バッチサイズ 1 の推論におけるオーバーヘッド削減と高速化の可能性を示した。