ハイブリッド LLM の GDN 層、4 ビット量子化でも安定動作を検証

記事の3ポイント

1. 1

   GDN ブロックの 4 ビット量子化の実現可能性

   従来の懸念とは異なり、再帰状態の誤差が蓄積するという直感を検証する実験により、Gated DeltaNet の減衰ゲートや書き込み強度ゲートを 4-bit で量子化しても性能劣化がないことを確認した。

2. 2

   NVFP4 W4A4 による性能と効率の両立

   Minima モデルは、BF16 と同等のパープレキシティを維持しつつ、サイズを 17.5 GiB に削減し、プリフィル速度を 14-19% 向上させることに成功した。

3. 3

   量子化耐性のメカニズム解明

   ブロックスケーリングによる外れ値の局所化や、ゲート投影の低感度性、デルタ則再帰におけるノイズの平坦化など、4 つの要因が 32K トークン長での安定性を支えていることを明らかにした。