LLM アーキテクチャの最近の動向：KV シェアリング、mHC、圧縮アテンションについて

Sebastian Raschka は、推論モデルやエージェントワークフローの増加に伴い、コンテキスト効率を重視する新しい LLM アーキテクチャが注目されていると指摘し、KV キャッシュサイズ削減のための KV シェアリングや mHC などの技術動向を紹介している。