#ハードウェア効率化のAIニュース

2件の記事

GoogleのTurboQuant圧縮技術、性能低下なしに高速推論と低性能ハードウェア対応を実現

Google Researchが、大規模言語モデルのKey-Valueキャッシュを最大6倍圧縮する新量子化アルゴリズム「TurboQuant」を発表した。3.5ビット圧縮で精度低下ほぼゼロ、再学習不要で、従来より低性能なハードウェアで大規模コンテキストウィンドウを実行可能にする。

AI研究者のLudi Akue氏は、AIが環境に与える影響（大量のエネルギー消費、GPUの短寿命など）を軽減するため、モデル圧縮や量子化などの技術を提案した。