#kvキャッシュ管理 のAIニュース

キーバリューキャッシュからの効率的なエビクション学習

大規模言語モデルの推論効率化に向け、従来のヒューリスティック手法に依存しない、キーバリューキャッシュの効率的なエビクション手法の研究。