キーバリューキャッシュからの効率的なエビクション学習

キー・バリューキャッシュからの学習によるエビクション 著者: Luca Moschella, Laura Manduchi, Ozan Sener 出版物を表示 大規模言語モデル（LLM）のサイズが増大するにつれ、オートリグレッシブなキー・バリュー（KV）キャッシュのメモリ要求が主な原因となり、効率的な推論は困難な課題となっている。既存のエビクション（追い出し）や圧縮手法はコストを削減するが、新近性や過去のアテンションスコアなどのヒューリスティックに依存しており、これらはトークンの将来的な有用性に対する間接的な代理指標でしかなく、計算上のオーバーヘッドも伴う。我々はKVキャッシュのエビクション問題を、将来のデコーディングに対する予測有用性に基づいてトークンをランク付けすることを学習する、強化学習（RL）問題として再定義する。この目的のために、我々はKVポリシー（KVP）を導入する。これは、キーとバリューベクトルのみを用いて事前計算された生成トレース上で訓練される、軽量なヘッドごとのRLエージェントのフレームワークである。各エージェントは、将来の有用性によって導かれる専門的なエビクションポリシーを学習する。この有用性は、すべてのキャッシュ予算にわたるランキングの品質を評価するものであり、基盤となるLLMの変更や追加の推論を必要としない。長文脈ベンチマークRULERとマルチターン対話ベンチマークOASST2-4kにおいて、2つの異なるモデルファミリーで評価した結果、KVPはベースライン手法を大幅に上回った。さらに、標準的な下流タスク（例：LongBench、BOOLQ、ARC）でのゼロショットテストは、KVPがその訓練分布を超えて、またより長い文脈長に対しても、よく汎化することを示している。これらの結果は、将来のトークンの有用性を予測することを学習することが、適応的なKVキャッシュ管理のための強力でスケーラブルなパラダイムであることを実証している。 関連する文献と最新情報。 EpiCache: 長い対話型質問応答のためのエピソード的KVキャッシュ管理 2025年9月23日研究分野 手法とアルゴリズム、研究分野 音声と自然言語処理 大規模言語モデル（LLM）の最近の進歩は文脈長を拡張し、アシスタントが長い履歴を維持して首尾一貫したパーソナライズされた応答を可能にしている。しかし、この能力はキー・バリュー（KV）キャッシングに依存しており、そのメモリ使用量は対話の長さに比例して線形に増加し、厳しいリソース制約下ではすぐに支配的になる。このオーバーヘッドを削減するための活発な研究分野の一つがKVキャッシュ圧縮であり、キャッシュサイズを制限しつつ… KV-Runahead: 並列キー・バリューキャッシュ生成によるスケーラブルな因果的LLM推論 2024年5月14日研究分野 手法とアルゴリズム、研究分野 音声と自然言語処理会議 ICML 大規模言語モデル（LLM）の推論には、最初のトークンを出力するプロンプト（またはプリフィル）フェーズと、後続のトークンを生成するエクステンション（またはデコーディング）フェーズの2つのフェーズがある。本研究では、プロンプトフェーズを加速する効率的な並列化スキーム、KV-Runaheadを提案する。重要な観察は、キー・バリューキャッシュ（KVキャッシュ）のために、エクステンションフェーズがプロンプトフェーズよりも高速にトークンを生成するということである。したがって、KV-Runaheadは… 機械学習における機会を発見する。 私たちの機械学習研究は、日々新たな領域を切り拓いています。 ![](https://mlr.cdn-apple.com/media/Discover_1440x420_2x_9c465d585e.jpg)

キーバリューキャッシュからの効率的なエビクション学習

背景や根拠まで確認しますか？

調べる

選ぶ

サイト