ページを読み込み中…
ページを読み込み中…
11件の記事
LMSYS は SpecForge の主要アップデートとして、推論と学習の分離や新アルゴリズムサポートを発表し、Open SpecBundle ドラフトモデル案も示した。
中国の AI 企業 DeepSeek は、既存モデルの重みを利用した推測的デコーディングフレームワーク「DSpark」と、その学習・評価コード「DeepSpec」をオープンソース化し、大規模モデルの推論速度を大幅に向上させた。
研究チームが開発した DFlash は、推論のボトルネックである逐次生成を改善し、小規模モデルで未来のトークンを並列にドラフトして大規模モデルが検証する手法により、NVIDIA Blackwell 上で最大 15 倍のスループット向上を実現しました。
AWS は、大規模言語モデルの推論スループットを最大化し遅延を最小化する戦略として、軽量ドラフトモデルとターゲット LLM を組み合わせた「P-EAGLE」による推測的デコーディングの並列化技術を Amazon SageMaker AI で実装したと発表した。