ページを読み込み中…
ページを読み込み中…
3件の記事
Google Researchが、大規模言語モデルのKey-Valueキャッシュを最大6倍圧縮する新量子化アルゴリズム「TurboQuant」を発表した。3.5ビット圧縮で精度低下ほぼゼロ、再学習不要で、従来より低性能なハードウェアで大規模コンテキストウィンドウを実行可能にする。
大規模言語モデルを用いたAIエージェント構築に不可欠なコンテキストエンジニアリングについて、2025年時点での知見をまとめた記事。
著者が、LLMの推論効率化に重要なKVキャッシュの概念と、スクラッチでの実装方法を解説している。