ハイブリッド LLM の GDN 層、4 ビット量子化でも安定動作を検証

ハイブリッド型大規模言語モデル（LLM）は、softmax アテンションと線形アテンション層を組み合わせます。Gated DeltaNet (GDN) がその一例で、固定サイズの再帰状態によってコンテキストを要約します。

初期のコミュニティによる Qwen3.8-27B の 4 ビット量子化では、GDN ブロック（48 層）とアテンション層（16 層）のうち、GDN ブロックのみを 8 ビットまたは 16 ビットの精度で保持する方針が採られました。特に減衰ゲートや書き込み強度ゲートがその対象です。これは、再帰処理における誤差は長いコンテキストにわたって蓄積するという直感に基づいています。

私たちはこの直感を検証するために、Minima を構築しました。これは GDN を含む全 496 層の線形層に対して NVFP4 W4A4（4 ビット重み・4 ビット活性化）を適用したものです。4K/32K のパープレキシティ、MMLU-Pro、GSM8K、AIME'25、GPQA-Diamond、LiveCodeBench、そして 64K までの RULER 検索タスクにおいて、Minima は BF16 とほぼ同等の性能（5 タスク平均で誤差 -0.52）を達成しました。さらに、比較対象の中で最も軽量（17.5 GiB）かつ最速のパrefix処理速度（+14〜19% の向上）を実現しています。また、32K におけるパープレキシティの乖離は位置が進むにつれて縮小します。

この理由を説明するメカニズム研究は以下の 4 つの側面から成り立っています：

(i) NVFP4 の 16 要素ブロックスケーリングにより、残差ストリームの極端な外れ値が局所化され、層ごとの役割に関わらず活性化誤差が均等化されます。

(ii) 一見すると脆弱だとされるゲート投影は、実は最も感度が低いです。softplus/exponential や sigmoid のパラメータ化により、約 11% に及ぶ GEMM 計算の誤差が出力誤差として約 2% に圧縮されます。

(iii) デルタ則による再帰処理では、32K トークンにわたって注入されたノイズが平坦なプラトー状態で保持され、数百ステップ以内に状態へのインパルスは忘却されます。これは、各書き込み操作が現在のキー方向に沿って状態を上書きするためです。

(iv) トークンごとの量子化コストは、コンテキストの拡大とともに蓄積するのではなく、相殺されていきます。

また、モジュールごとに較正された NVFP4 チェックポイントを、それらのモジュールを 1 つの GEMM に融合するカーネルが提供した際に生じるグローバルスケールの不整合も修復し、較正済みの FP8 KV キャッシュのスケーリング係数が性能に影響を与えないことを示しました。その結果、「すべてを量子化し、KV スケール係数を同梱して出荷する」という実用的なレシピと、ハイブリッド LLM の再帰的（リカレント）部分がなぜ量子化しやすいのかというメカニズム的な説明が得られました。

チェックポイント: https://huggingface.co/minima-ai/mnma_qwen3.8_27b_nvfp4