#ビジョン・ランゲージモデル のAIニュース

大規模言語モデル向け高精度量子化ツールキット「AutoRound」

GitHub で公開された「AutoRound」というツールは、大規模言語モデルや視覚言語モデルを対象に、最小限の調整で超低ビット幅でも高い精度を達成する高度な量子化キットです。単一の GPU で 7B モデルを 10 分以内に量子化可能であり、Transformers や vLLM などのフレームワークとシームレスに連携します。