Diffusers に Nunchaku 4 ビット推論を導入

記事の3ポイント

1. 1

   VRAM 要件の劇的な削減

   現代のテキスト画像生成モデルは通常 BF16 精度でロードする際に 20-30 GB の VRAM を必要とするが、本技術により消費向け GPU でも利用可能になる。

2. 2

   Nunchaku エンジンの Diffusers 統合

   Diffusers ライブラリに Nunchaku インフラストラクチャ由来の SVDQuant 手法が組み込まれ、既存の量子化バックエンドとの連携が可能になる。

3. 3

   ウェイトのみ量子化の限界克服

   従来のウェイトのみを低精度化する方式は推論速度向上に寄与しない場合があるが、本手法は計算時の非量子化プロセスを改善し、速度とメモリ効率の両立を目指す。