LMSYS、Blackwell で Ling-3.0-flash の推論速度向上を検証

記事の3ポイント

1. 1

   Blackwell 環境における推論性能の劇的向上

   NVIDIA Blackwell GPU 4枚構成において、Ling-3.0-flash モデルのバッチサイズ1（単一リクエスト）デコード速度を 288 tok/s から 606 tok/s に引き上げ、平均 TPOT を 54% 削減した。

2. 2

   DSpark による高スループットの実現

   信頼度スケジューリング型スペキュラティブデコーダ「DSpark」を採用することで、1000 リクエストの並行処理において平均 TPOT 0.78 ms、スループット 1120 tok/s を達成し、既存手法 NEXTN と比較して 1.9 倍の性能向上を示した。

3. 3

   ホスト側最適化とカーネル融合によるボトルネック解消

   ホスト側のピン操作削除、PDL チェーニング、およびルーターや LM ヘッドの fp32 から bf16 への移行など複数の最適化を組み合わせ、GPU のクリティカルパスを短縮した。