#ハードウェア効率化 のAIニュース
2件の記事
GoogleのTurboQuant圧縮技術、性能低下なしに高速推論と低性能ハードウェア対応を実現
Google Researchが、大規模言語モデルのKey-Valueキャッシュを最大6倍圧縮する新量子化アルゴリズム「TurboQuant」を発表した。3.5ビット圧縮で精度低下ほぼゼロ、再学習不要で、従来より低性能なハードウェアで大規模コンテキストウィンドウを実行可能にする。
InfoQ·4月16日·★★★★
グリーンIT:AIの環境への影響を軽減する方法
AI研究者のLudi Akue氏は、AIが環境に与える影響(大量のエネルギー消費、GPUの短寿命など)を軽減するため、モデル圧縮や量子化などの技術を提案した。
InfoQ·3月26日