BeaconKV: ビーコンクエリによる KV キャッシュ圧縮手法

記事の3ポイント

1. 1

   既存手法の限界と新発見

   既存の KV キャッシュ圧縮法は直近のクエリに依存するが、長期推論では過去の文脈を再参照する「思考再訪問トークン（TRT）」が発生し、この仮定が破綻することを示した。

2. 2

   ビーコンクエリの提案

   TRT に対応するクエリが埋め込み空間で少数のクラスタに集約される性質を利用し、全履歴を保存せずとも将来の再訪問を予測できる「ビーコンクエリ」を維持する手法を提案した。

3. 3

   実証された性能向上

   4 つのオープンソース LRM と多様なベンチマークで評価され、メモリ使用量を最大5.8倍削減しながら精度をほぼ維持し、スループットを4.3倍以上改善した。