Hugging Face、4 ビット量子化モデルが完全精度版を上回る手法を提案

大規模言語モデルを小さくする作業は、ほぼ例外なく性能低下という代償を伴います。現在、効率的な展開のための標準的な手順は、まずアーキテクチャを圧縮してパラメータ数を削減し（レイヤーやアテンションヘッド、ニューロンを削除）、次に残りの重みを 4 ビットに量子化してメモリと計算リソースをさらに節約するというものです。それぞれの工程には大きな効果がありますが、これらを組み合わせると、人々が実際に重視する能力——推論、数学的課題の解決、コード生成——が体系的に劣化してしまうのです。

そのため、本格的な展開パイプラインでは、モデルを実運用に投入する前に「修復（healing）」と呼ばれる工程を追加するのが一般的です。最近公開されたオープンウェイトモデルである gpt-oss、NVIDIA の Nemotron シリーズ、そして我々の Hypernova 60B も、いずれもこの「圧縮→修復」のアプローチを採用しています。

最新の論文「Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs」では、業界で十分に議論されてこなかった問いを投げかけています。モデルが量子化だけでなく構造的圧縮も既に施された後、その回復ステップは実際にどの程度機能するのか、そして正しいアプローチとは何かという問いです。

私たちは「Quantization-Aware Healing（QAH）」を導入しました。これを GPT-OSS 120B モデルに適用し、60B パラメータまで圧縮した上で MXFP4 に量子化すると、元のフル精度（bfloat16）版を 9 つのベンチマークのうち 7 つで上回るモデルが生成されます。結果として得られる 4 ビットモデルは、サイズも小さく、実行コストも低く、さらに元のチェックポイントから量子化する前よりも高精度になりました。これは、通常 4 ビットモデルと 16 ビットモデルの関係が逆転した形です。

なぜ従来の回復手法では不十分なのか

ほとんどの効率化パイプラインは同じ 3 つのステップに従います。まずアーキテクチャを圧縮し、次に圧縮された重みを量子化し、最後に損傷を修復します。各手法の違いは、まさにこの最後のステップにあります。

モデルの性能回復（ヒーリング）において主流な手法は、量子化対応トレーニング（QAT）です。これは順伝播パスに疑似量子化演算子を挿入し、タスク損失に基づいてモデルを微調整することで、重みが低精度表現に耐えられるように学習させるアプローチです。実務的には、すでにコストのかかる多段階のポストトレーニングプロセスである教師あり微調整（SFT）、強化学習による人間フィードバック最適化（RLHF）、エージェントチューニングなどを、ノイズが多く精度も低い順伝播パスで再実行する必要があります。これは非常に高コストであり、私たちの結果が示す通り、最適なポイントを超えて学習を続けると不安定になる可能性さえあります。

これに対する代替案として、量子化対応蒸留（QAD）があります。この手法は過去の履歴を再実行する必要はありません。タスク損失ではなく、出力ロジットに対して KL 発散 損失を用いて、凍結されたフル精度の教師モデルから直接量子化された生徒モデルへ蒸留を行います。これは単に量子化のみが行われる場合に有効です。なぜなら、同じモデルの真のフル精度版が存在し、それを教師として機能させることができるからです。しかし、モデルが構造圧縮（層数やアテンションヘッド数の削減、ニューロンの削減など）を経験した場合、この前提は崩れます。より小さいアーキテクチャには、独立して訓練されたフル精度版が存在しないのです。唯一の候補となる教師は、回復された bfloat16 チェックポイントのみですが、これ自体が元モデルに対する蒸留近似に過ぎません。これを教師として用いると、量子化された生徒モデルは劣化した目標値に固定され、その精度は回復済みチェックポイント自体の性能上限によって制限されてしまいます。

構造的に圧縮され、かつ量子化されたモデルをどのように修復するかという問いは、これまで真に未解決の課題でした。

私たちのアプローチ

QAH は、たった一つの変更でその限界を打破します。それは、回復後のモデルからではなく、元の圧縮前のモデルから直接知識蒸留を行う点です。教師モデルと生徒モデルはアーキテクチャさえ共有しません。教師モデルはフルサイズかつフル精度であり、生徒モデルはその半分サイズの MXFP4 で動作します。教師の出力分布はアーキテクチャに依存しないため、サイズや形状の不整合が転移を妨げることはありません。生徒モデルはハードラベルを見ることはなく、ロジットに対する KL 発散を通じてマッチングされた教師の出力分布のみを受け取ります。

これにより、量子化工程の本質的な役割が再定義されます。QAH の下では、量子化は修復完了後に適用される損失のある後処理ステップではなくなります。それは元の教師モデルに対する第 2 の完全な知識蒸留パスであり、bfloat16 チェックポイントが決して受け取ることのなかった監督信号です。4 ビットの生徒モデルは、量子化によって失われた情報を補っているのではなく、以前の回復工程で時間やデータ不足のために転移できなかった情報を引き継いでいるのです。

また、損失関数自体から生じる安定性のメリットもあります。KL 分散蒸留では、生徒モデルが固定された教師の分布に結びつけられるため、生徒が追いついた後はそれ以上 drifting（ずれる）する圧力が働きません。一方、交差エントロピータスクの損失は、生徒をハードラベルに向けて無限に押し続けることになります。この違いが精度とトレーニングの安定性の両方に影響を与えることは、以下の比較から明らかです。

QAH を 32k トークンまでの文書を含む長いコンテキストで動作させるためには、効率的な蒸留に関する当社の別論文で使用したメモリ効率の高いチャンク化 KL 分散損失を再利用します。この損失関数は、シーケンスの断片ごとに KL 分散を計算し、フルサイズの語彙対シーケンスグリッドを実体化しないため、32k トークンのヒールリングが固定された GPU メモリ予算内に収まります。この損失関数の仕組みについては、以前の投稿で詳しく解説しています。

*QAH の概要。構圧縮と量子化の後、能力は急激に低下します。QAH は回復されたチェックポイントではなく、元のモデル（オフラインで事前計算されたロジットを持つ凍結された教師）から蒸留を行います。出典：論文 Figure 1.*

結果

QAH（Quantization-Aware Healing）を GPT-OSS 120B モデルに適用し、60B パラメータまで圧縮して bfloat16 で復元した後、さらに QAH のもとで MXFP4 に再量子化しました。比較対象は、同じく 60B パラメータの bfloat16 チェックポイントです。これは同アーキテクチャにおいて利用可能な最高精度版となります。

その結果、QAH モデルは 9 つあるベンチマークのうち 7 で勝利を収めました。

QAH が劣位にある 2 つのベンチマーク、MMLU-Pro と SciCode では、スコア差は 1.5 ポイント未満です。それ以外のすべての項目では、4 ビットモデルが元の 16 ビットソースを上回っており、特に圧縮によって通常最もダメージを受ける能力において大きな改善が見られます。具体的には、長文コンテキスト推論で AA-LCR にて +7.4、数学分野で AIME 2025 にて +5.6 の向上を記録しました。

元の 120B パラメータを持つ教師モデルとの比較も示唆に富んでいます。パラメータ数は教師の半分、重みのメモリ使用量は約 4 分の 1 という条件下で、QAH モデルは LiveCodeBench で教師を上回り（66.5 vs. 66.0）、GPQA Diamond でも 1.6 ポイント差まで迫っています（67.4 vs. 69.0）。教師に対してまだ開きがある最大の項目は AA-LCR です。これは極端な長文コンテキストを扱うベンチマークであり、圧縮によって失われる容量の回復が本質的に最も困難であるためです。

*4 ビットの QAH モデルは 9 つのベンチマークのうち 7 つで bfloat16 のソースモデルと同等かそれ以上の性能を発揮し、LiveCodeBench ではフルサイズの教師モデルを上回っています。出典：論文 Figure 2.*

QAH と QAT の直接比較

損失関数の効果だけを切り離して評価するため、QAH を QAT と条件を揃えた状態で直接比較しました。GPT-OSS 9B モデルを MXFP4 に量子化し、MMLU-Pro、LiveCodeBench、GPQA Diamond の平均パフォーマンスがトレーニングの進行とともにどう変化するのかを追跡した結果です。

両手法とも同程度の最高精度に到達します。QAH は 54.9、QAT は 54.6であり、最良のケースにおける精度では実質的に互角です。決定的な違いは、その到達プロセスと、その後の挙動にあります。

QAH は約 100 ステップで最高値に達し、これは QAT の 700 ステップと比較して約 7 倍の速度です。その後、学習が終了するまで精度はそのピークからわずか 2 ポイント程度しか低下しません。一方、QAT はピークを過ぎた瞬間に急激な崩壊を起こし、1,200 ステップまでに約 19 ポイントもの精度を失います。

この違いは、実運用におけるリスクの大小として現れます。QAT のチェックポイントでは、モデルが劣化し始める前に停止させるため、検証用データ（ホールドアウト信号）に基づいた慎重な早期停止が必要です。しかし、十分に学習された QAH のチェックポイントは、精度が drifting（ドリフト）しないため、安全にデプロイできます。

これはメカニズムの観点からも説明がつきます。固定された教師モデルに対する KL 分散蒸留では、学生モデルは教師と一致した時点で移動する動機を持たなくなります。一方、交差エントロピー損失関数はハードラベルに対して継続的に学習を押し進めるため、最終的には元モデルから継承された能力を侵食してしまいます。

*QAH は約 100 ステップで 54.9 の精度に達し維持されます。一方、QAT は約 700 ステップで 54.6 に到達しますが、1,200 ステップまでにほぼ 19 ポイントを失います。出典：論文 Figure 3.*

これが実務においてどう変わるか

精度向上の物語には、圧縮を推進した効率性の物語も伴っています。4 ビット精度における QAH モデルは、bfloat16 の学生モデルと比較して重みメモリ使用量が約 4 分の 1 に抑えられ、120B の教師モデルのパラメータ数の半分という規模で、トークンあたりの計算量をほぼ半減させています。これにより、より小規模なハードウェアでも実行が可能になります。

bfloat16 で提供されるモデルファミリーにおいて、4 ビット化とパラメータ削減を組み合わせれば、トークンあたりの計算量はさらに 8 分の 1 に近づきます。

重要な点は、圧縮された 4 ビットモデルが必ずしもフル精度版よりも精度が低いものではないということです。この「修復」レシピを用いれば、モデルはより小型で、提供コストも低く抑えられながら、同時に精度も向上します。また、QAT（Quantization-Aware Training）のレシピが必要とする訓練時間の数分の一という短期間で、その成果を達成できます。つまり、効率性を得るために支払う「税金」としての量子化は終わりを告げ、モデルに新たな知識を教える絶好の機会へと変化したのです。

本研究は、Multiverse Computing が能力を損なわずに大規模モデルを小型化・低コスト化する取り組みの一環です。これは、QAH が依存する長文脈トレーニング基盤を提供する、当社の効率化された蒸留に関する別件の研究と並行して進められています。

ヒールイングパイプライン、長文コンテキスト用のチャンク化 KL 実装、分散トレーニングの知見など、技術的な詳細をすべて知りたい方は、論文全文をお読みいただくか、当チームまでお問い合わせください。ご自身のモデルへの圧縮とヒールイングの適用についてご相談できます。