OasisKV: HBM を超えた KV キャッシュ拡張システム

記事の3ポイント

1. 1

   HBM容量圧力の緩和アプローチ

   LLM推論におけるHBMの希少性を解消するため、OasisKVはデコード時に必要なKVエントリのみをHBMに保持し、不要なデータを外部メモリから逐次フェッチする設計を採用している。

2. 2

   Lookaheadに基づく予測的プリフェッチ

   スペキュレーティブ・ディコーディング（SD）で生成されたトークンを用いて将来重要なトークンを高精度に予測し、必要なKVブロックを事前にHBMへ転送する背景パイプラインを実現した。

3. 3

   vLLMベースの実装と性能向上

   OasisKVはvLLM上で実装され、推論精度の低下が0.1ポイントに抑えられた状態で、推論ワークロードで1.69倍、マルチGPU環境では最大2.1倍のスループット向上を確認した。