vLLM、推測的デコーディングによる並列処理手法「Parallel All the Way Down」を発表

記事の3ポイント

1. 1

   並列ドラフティングアルゴリズムのオープンソース化

   vLLM と Speculators が P-EAGLE、DFlash、DSpark の三つの最先端並列ドラフティングアルゴリズムを正式にサポートし、RedHatAI HuggingFace Hub で利用可能になった。

2. 2

   推論速度のボトルネック解消

   従来の逐次ドラフト生成に起因する構造的限界を超え、単一の検証モデル順方向パスで複数の候補トークンを検証することで、大規模言語モデル（LLM）サービスのメモリ帯域幅ボトルネックを緩和する。

3. 3

   既存手法との性能比較

   P-EAGLE や DFlash などの並列ドラフティングアルゴリズムは、EAGLE-3 などの逐次生成ドラフティングアルゴリズムと比較して、数学的推論やコード生成タスクにおいて顕著なパフォーマンス向上を示す。