#モデル高速化 のAIニュース

P-EAGLE: vLLMにおける並列投機的デコーディングによる高速なLLM推論

研究者らは、大規模言語モデル推論のための並列投機的デコーディング手法P-EAGLEを開発した。従来のEAGLE手法の逐次処理のボトルネックを解消し、複数のドラフトトークンを単一のフォワードパスで生成することで、推論速度を最大1.8倍向上させた。