#スペキュレーティブ・ディコーディングのAIニュース

2件の記事

OasisKV: HBM を超えた KV キャッシュ拡張システム

OasisKV は先読みスパースプリフェッチングで KV キャッシュを拡張し、メモリ制約下のバッチサイズとスループット向上を目指す。

DeepSeek は、LLM の推論速度を最大 85% 向上させる新フレームワーク「DSpark」を公開した。このシステムは、モデルが出力する前に推測経路を先行検証し、安全なパスのみを採用することで処理効率を高める仕組みだ。