#メモリ最適化 のAIニュース
3件の記事
NVIDIA Jetson上で大規模モデルを動作させるためのメモリ効率最適化
NVIDIAはJetsonプラットフォーム上で大規模生成AIモデルを動作させるため、メモリ効率を最適化する技術を提供し、開発者のエッジデプロイメントを支援している。
NVIDIA Developer Blog·4月21日·★★★★
Googleが新AIメモリ圧縮アルゴリズム「TurboQuant」を発表、ネットでは「Pied Piper」と話題に
GoogleがAIの作業メモリを最大6倍圧縮する新アルゴリズム「TurboQuant」を発表したが、現時点では実験段階である。
TechCrunch AI·3月26日
Appleの「LLM in a Flash」を活用してQwen 397Bをローカルで実行する自動研究
研究者のDan Woodsが、Appleの「LLM in a Flash」技術を応用し、通常209GB（量子化後120GB）のQwen3.5-397B-A17Bモデルを48GB MacBook Pro M3 Maxで5.5+トークン/秒で動作させることに成功した。
Simon Willison Blog·3月19日·★★★★