#speculative decoding のAIニュース

9件の記事

DFlash、NVIDIA Blackwell で最大 15 倍のスループット向上を実現する並列トークンブロックドラフト方式を提案

研究チームが開発した DFlash は、推論のボトルネックである逐次生成を改善し、小規模モデルで未来のトークンを並列にドラフトして大規模モデルが検証する手法により、NVIDIA Blackwell 上で最大 15 倍のスループット向上を実現しました。

AWS は、大規模言語モデルの推論スループットを最大化し遅延を最小化する戦略として、軽量ドラフトモデルとターゲット LLM を組み合わせた「P-EAGLE」による推測的デコーディングの並列化技術を Amazon SageMaker AI で実装したと発表した。

シャオミのMiMoチームとTileRTシステムグループは、汎用GPU上で1兆パラメータ規模のモデルを秒間1000トークン超（最大約1200）で推論する新技術「MiMo-V2.5-Pro-UltraSpeed」を発表した。

Google は、Gemma 4 公開モデルに実験的なマルチトークン予測ドラフターを実装し、未来のトークンを推測する「推測デコーディング」技術を採用することで、生成速度を最大 3 倍向上させたと発表した。

Google が開発した Gemma 4 モデルは、専用のスペキュレーティブ・デコーディングアーキテクチャを採用し、出力品質や推論ロジックを損なうことなく最大3倍の速度向上を実現しました。これにより、開発者向けの遅延ボトルネックが解消され、応答性が大幅に改善されています。

UCSD（カリフォルニア大学サンディエゴ校）の研究チームは、Google TPU上でブロック拡散型予測デコーディング手法「DFlash」を実装し、従来の逐次推論のボトルネックを克服して推論速度を3倍に向上させることに成功した。

AWS TrainiumとvLLMを用いた推測的デコードにより、Qwen3モデルのトークン生成速度が最大3倍向上し、出力品質を維持したままトークンあたりのコスト削減とスループット向上が実現された。

Auroraは、推論効率を1.25倍向上させるオープンソースの強化学習フレームワークです。これは、推論を単なるオフライン設定から、リクエストごとに自己改善するシステムへと変革します。

研究者がSPEED-Benchを発表した。これは投機的デコーディングの性能を評価するための統一的なベンチマークであり、多様なタスクとモデルを網羅している。