KV キャッシュ圧縮競争：TurboQuant、OSCAR、EpiCache の比較

長文コンテキストを持つ大規模言語モデル（LLM）は、モデルの重みとは無関係なメモリボトルネックに直面しています。デコーディング中、トランスフォーマーは各層のすべてのトークンに対してキーとバリュー（KV）ベクトルをキャッシュし、アテンションの再計算を防いでいます。このキャッシュはシーケンス長とバッチサイズに比例して線形に増加し、長いコンテキストかつ高い同時実行性においてはモデル自体のフットプリントよりも遥かに大きくなる可能性があります。 BF16 形式の Llama-3.1-70B を考えてみましょう。その KV キャッシュはトークンあたり約 0.31 MB（80 レイヤー × 8 KV ヘッド × 128 ヘッド次元 × 2 テンソル × 2 バイト）を要します。128K トークンの場合、これは約 40 GB に達し、1M トークンでは 300 GB を超え、重み自体の 140 GB よりも多くなります。さらに悪いことに、新しくデコードされたトークンごとに、高帯域メモリ（HBM）からキャッシュ全体をストリーミングする必要があり、これがデコーディングを計算量バウンドではなくメモリ帯域幅バウンドにさせています。したがって、KV キャッシュを縮小することは、コストとデコーディングレイテンシの両方を削減するための最も直接的な手段です。 現在のアプローチは概ね 5 つのファミリーに分類されます：トークン_eviction（H2O, SnapKV）、量子化（KIVI, GEAR）、低ランク射影（Palu）、マージ（KVMerger）、およびアーキテクチャ共有（MLA）です。最近の 2026 年の研究は、超低ビット量子化の最前線に注力しています。Google と NYU の TurboQuant（ICLR 2026）と Together AI の OSCAR は正反対の方向から同じ問題に取り組んでいますが、Apple の EpiCache はこれらいずれもが解決していない別の問題を扱っています。 ほとんどの KV 量子化手法は、同じ根本的な敵と戦っています。それは外れ値チャネルです。これは、不釣り合いに大きな大きさを持ち、量子化範囲を支配し、残りの信号を数少ない表現可能なレベルに押し込めてしまう少数のチャネルのことです。これが、単純な INT2 量子化（4 レベルのみ）がほぼゼロの精度に崩壊する理由です。 KIVI はここで標準的なベースラインを確立しました。キーベクトルにはトークンを超えて固定された外れ値チャネルが存在する一方、バリューベクトルには存在しないことを示し、キーはチャネルごとに、バリューはトークンごとに量子化することを提案しました。このチューニングフリーの 2 ビットレシピにより、エンドツーエンドのピークメモリ（重みを含む）が約 2.6 倍削減され、新しい手法が構築する基準点となっています。 TurboQuant: データ非依存かつ理論的に最適 TurboQuant は、データを一切参照することなく、2 つの段階で外れ値に対処します: 第一段階：各ベクトルをランダムに回転させ、その座標がほぼ独立し、近似ガウス分布となるようにします。これにより、最適な事前計算されたスカラー（Lloyd–Max）量子化器を各座標に対して適用可能になります。 第二段階：残差に対して 1 ビット量子化 Johnson–Lindenstrauss (QJL) 変換を適用し、正規化定数のオーバーヘッドなしで注意ロジットの証明可能な不偏推定量を提供します。 売りは理論的なものです：TurboQuant の歪みは、情報理論的下限に対して証明可能な小さな定数倍（約 2.7 倍）以内に収まります。実際には、4 倍圧縮において「干し草の針」タスクでほぼ完全精度の検索性能を達成し、論文では 1 チャネルあたり 3.5 ビットで絶対的な品質の中立性を報告しており、2.5 ビットでもわずかな劣化にとどまっています。キャリブレーションが不要なため、未調整のあらゆるモデルで動作し、高速ベクトルデータベース量子化器としても機能します。 注意すべき点として、広く繰り返されている「H100 上で 8 倍高速なアテンション」という数値は論文ではなく Google のブログからのものであり、狭義のアテンションロジットマイクロベンチマークを指しています。TurboQuant が文書化された最適域は、3〜4 ビットのほぼ非損失領域です。 ![image](https://www.marktechpost.com/wp-content/uploads/2026/06/image-3.jpeg)画像出典：TurboQuant 論文のデータ – https://arxiv.org/abs/2504.19874 OSCAR: アテンション認識型でデプロイ済み OSCAR は逆の戦略を採ります。その前提は、INT2 の 4 レベルでは、データ非依存な回転（data-oblivious rotation）が不適切であるという点です。ほとんど精度の余裕がない状況では、単に範囲を滑らかにするだけでは不十分です。そのため、OSCAR は一度きりのオフラインキャリブレーションパスからアテンション認識型の回転を計算します：キーはクエリの共分散行列の固有基底へ回転され、値はスコア加重された値の共分散行列へ回転されます。その後、アダマール変換（Hadamard transform）とビット反転置換（bit-reversal permutation）によって、チャネルの重要性が量子化グループ全体に均等に分散されます。 OSCAR の独自性は、単なるアルゴリズムではなく、完全なシステムとして提供される点にあります。 混合精度ページキャッシュ：直近のトークンと直近のトークンは BF16 で保持され、履歴は INT2 に圧縮されます。128K コンテキストにおいて、BF16 で残存するトークンの割合はわずか約 0.24% です。 SGLang と完全統合された融合型 Triton カーネル（ページアテンションおよびプレフィックスキャッシュと互換性あり）。 Qwen3-4B/8B/32B、GLM-4.7-FP8、MiniMax-M2.7 用の事前計算済み回転行列（「RotationZoo」）：再較正は不要です。 実効ビット数 2.28 ビットで、OSCAR は Qwen3-8B において BF16 との差が 1.42 ポイント以内であり、Qwen3-32B ではほぼ同等（0.02 ポイントの差）です。GLM-4.7-FP8 においては、単純な INT2 がゼロに崩壊し、データ非依存ベースラインが低単位数しか達成できない中で、OSCAR は BF16 と同等か、報告されたベンチマークではわずかに上回る結果を示しています（ノイズの範囲内）。Together AI によると、100K コンテキストでジョブレベルのスループットは最大 7.83 倍、KV キャッシュメモリ削減率は約 8 倍、デコーディング速度は最大約 3 倍高速化されます。 ![image](https://www.marktechpost.com/wp-content/uploads/2026/06/image-4.jpeg)画像出典 - データは OSCAR 論文より：https://arxiv.org/abs/2605.17757 では、どちらが勝つのでしょうか？ どちらもです — これが正直な答えです。サポート対象モデルにおいて 128K トークンで展開可能な INT2 については、OSCAR が現在、崩壊しない唯一の実証済みオプションであり、本番環境対応の SGLang サポートも備えています。一方、3〜4 ビット領域におけるトレーニング不要・モデル非依存の量子化については、TurboQuant がはるかに広い汎用性を提供します。 OSCAR の論文では、同等の予算において TurboQuant が 40 ポイント以上も低下すると報告されています。しかし、その評価は OSCAR 独自のフレームワーク内で行われ、すべての層を量子化し、単一の乱数シードを使用し、かつ TurboQuant が意図するビット幅よりも大幅に低い範囲で動作しているため、直接対決の結論を下すには根拠が薄弱です。より興味深い可能性として、両者は補完関係にあるというケースがあります：キャリブレーションを考慮した回転と最適なスカラー量子化器を組み合わせた手法は、有望な組み合わせでありながら、まだ誰によってもしばらく実装されていません（両チームとも公に同じアイデアに言及しています）。 ![image](https://www.marktechpost.com/wp-content/uploads/2026/06/image-6.jpeg)画像出典：OSCAR 論文のデータ - https://arxiv.org/abs/2605.17757 3 つ目の軸：EpiCache TurboQuant と OSCAR はどちらも単一の長いコンテキストを想定して構築されています。しかし、履歴が多数のやり取りにわたって蓄積する拡張された多回対話には対応していません。Apple の EpiCache はまさにこのギャップを埋めるためのトレーニング不要な KV キャッシュ管理フレームワークです。 ブロック単位でのプリフェッチは、履歴をブロック単位で処理することでピークメモリ量を制限します。 エピソードクラスタリングは会話を一貫した意味的な「エピソード」に分割し、それぞれが独自の圧縮キャッシュを持つようにします。 エピソードマッチングによる検索では、推論時に各クエリを最も関連性の高いエピソードへルーティングします。 適応型層別予算配分は、各層の排除に対する感度を測定し、それに応じてメモリ予算を配分します。 LongMemEval、RealTalk、LoCoMoのすべての評価において、EpiCache はエビクションベースラインと比較して最大 40% の精度向上を示し、圧縮率が 4～6 倍の場合でもほぼフルキャッシュに匹敵する精度を達成しました。また、ピークメモリ使用量は最大 3.5 倍削減され、レイテンシも約 2.4 倍低下しています。これは、どのトークンを保持するかという判断基準を提供し、保存の精密さを追求するものではないため、OSCAR や TurboQuant と直接組み合わせることで、相乗効果によるさらなる節約が可能になります。 主要なポイント TurboQuant は理論的な限界を押し広げ、モデルに依存しない最先端技術です。あらゆるモデルにおいて 3～4 ビットのほぼ損失なし圧縮を実現するためのデファクトスタンダードです。 OSCAR は展開可能な INT2（整数 2 ビット）の分野でリードしており、対応するモデルにおいて 100K のコンテキスト長で最大 7.83 倍のスループット向上と約 8 倍のメモリ削減を実現します。 EpiCache は会話の多段階にわたる記憶問題を解決し、エビクション手法と比較して最大 40% の精度向上とピークメモリの 3.5 倍削減をもたらします。また、いずれの量子化手法とも組み合わせ可能です。 制約条件（ビット幅の予算、モデルの移植性、会話の長さなど）に応じて選択し、互いに補完的な手法を組み合わせることが推奨されます。これらのアプローチは競合するものではなく、むしろ相補的な関係にあります。 参考文献 TurboQuant (arXiv 2504.19874) TurboQuant — Google Research blog OSCAR (arXiv 2605.17757) OSCAR code — FutureMLS-Lab/OSCAR EpiCache (arXiv 2509.17396) EpiCache code — apple/ml-epicache KIVI (arXiv 2402.02750)

KV キャッシュ圧縮競争：TurboQuant、OSCAR、EpiCache の比較

背景や根拠まで確認しますか？

調べる

選ぶ

サイト