PagedAttention：KVキャッシュの仮想メモリ技術が推論効率を向上

記事の3ポイント

1. 1

   KV キャッシュのメモリ効率問題

   従来の推論エンジンではリクエストごとのシーケンス長が事前に不明なため、安全のために最大長分のメモリを確保し、結果として GPU メモリの大部分が断片化して浪費される。

2. 2

   仮想メモリの転用

   1960 年代から OS が採用している仮想メモリの概念を KV キャッシュに移植することで、メモリを非連続なページに分割し、断片化を解消する。

3. 3

   推論エンジンの性能向上

   この技術により、従来の単純なアプローチと比較して、1 つの GPU で同時に処理できるユーザー数を 2〜4 倍に増やすことが可能になる。