KV キャッシュの局所性：LLM サービングコストにおける見えない変数

KV キャッシュの局所性は、既存のハードウェアに対する乗数効果を持ちます。同じ GPU が同じモデルを処理し、同じトラフィックを捌いていても、どの GPU にどのリクエストが割り当てられるかによって、スループットとレイテンシには明確な差異が生じます。すべてのリクエストに数千トークンが含まれており、それらがクラスター内のどこかに既にキャッシュされている可能性がある場合、「バランスの取れた」ことと「効率的である」ことは同じ意味を持ちません。本稿では、再計算のコストとその測定方法、そしてロードバランサーがトークンの局所性を理解した際に何が変わるのかについて議論します。