NVIDIA、圧縮ハイブリッド MoE LLM「Nemotron-Labs-3-Puzzle-75B-A9B」をリリースし、サーバー処理速度を2.03倍に向上
NVIDIA は、ハイブリッド MoE モデル「Nemotron-3-Super」を圧縮した新モデル「Nemotron-Labs-3-Puzzle-75B-A9B」を発表し、同等のユーザー速度でサーバー処理能力を最大 2.14 倍向上させることに成功しました。
キーポイント
圧縮によるスループット劇的向上
総パラメータ数を 62.4% に、アクティブパラメータを 73.1% に削減した結果、H100 サーバーでのサーバー処理能力が最大 2.14 倍（NVFP4 環境）に向上しました。
単一 H100 の同時実行能力の劇的改善
88 ブロックのハイブリッド構造を維持しつつ、重みサイズを大幅削減したことで、単一の H100 グラフィックカード上で 1M トークンのリクエストを 1 つから 8 つへ並列処理可能になりました。
層ごとの非対称な圧縮戦略
単純な均等削減ではなく、中層と後層の容量を維持し、他の層で厳しくカットする「Puzzle」手法を採用し、精度低下を最小限に抑えつつ効率化を実現しました。
精度とのトレードオフ
ベンチマークでは Arena-Hard-V2 や SWE-Bench で若干のスコア低下（-4.2, -2.6）が見られますが、RULER などの能力は維持されており、実用性が高いと評価されます。
コンテキスト長によるスループット向上の差異
NVFP4圧縮モデルは、8K/64Kのようなデコード集中型負荷で最大の性能向上（2.03倍）を示し、1Mトークンという超長文脈ではメモリ制約から計算制約へシフトし、並列処理能力が劇的に向上する。
反復的パズルによる階層的圧縮手法
単発の圧縮ではなく、MoE重みとMamba状態を段階的に削減（75%→60%→50%）し、各段階で知識蒸留を行って品質を回復させる「Iterative Puzzle」アプローチを採用している。
SSMカーネルの最適化による高速化
Mamba SSMの状態サイズを128チャネルから96チャネルへ削減し、検証データに基づくチャネルランキングにより、バッチサイズに関わらずデコード時の処理速度を1.2倍〜1.3倍向上させた。
影響分析・編集コメントを表示
影響分析
この発表は、大規模言語モデル（LLM）の運用コストとスケーラビリティに対する重要な解決策を示すものです。特に、ハイブリッドアーキテクチャ（Mamba-Transformer-MoE）を効率的に圧縮し、単一 GPU で大量の長文処理を可能にした点は、企業における LLM 導入のハードルを大幅に下げる可能性があります。精度のわずかな低下は許容範囲内であり、実運用におけるコスト対効果の最大化に貢献すると期待されます。
編集コメント
大規模モデルの運用コスト削減において、単なるパラメータ数の削減ではなく、アーキテクチャ内の容量配分を最適化する手法の有効性が実証されました。特に H100 単体での処理能力向上は、インフラ投資を抑えつつスループットを最大化する現実的な解決策として注目すべき成果です。
Nemotron-3-Super などの大規模ハイブリッド MoE モデルは精度が高い一方で、提供コストが高くなります。アクティブパラメータ数、KV キャッシュ量、Mamba の状態量が、特定のユーザーあたりのトークンレートでノードが保持できるユーザー数を制限します。NVIDIA AI チームは、Nemotron-3-Super の圧縮版である「Nemotron-Labs-3-Puzzle-75B-A9B」をリリースしました。親モデルの総パラメータ数は 120.7B でアクティブパラメータ数は 12.8B です。一方、圧縮モデルは総パラメータ数が 75.3B、アクティブパラメータ数が 9.3B です。
アーキテクチャ探索が始まる前にデプロイメントの目標が固定されていました。目標 1 は、ユーザーあたり 100 トークン/秒でサーバーのスループットを 2 倍にすることです。目標 2 は、単一の H100 グラフィックスカード上で 8 つの並行する 1M トークンのリクエストを処理することです。Hugging Face には 3 つのチェックポイントがあります：BF16、FP8、および NVFP4 です。
TL;DR
120.7B/12.8B アクティブは、88 ブロックのハイブリッドレイアウトを維持したまま、75.3B/9.3B アクティブに圧縮されます。
8xB200 の総スループットは、同等の NVFP4 とユーザーあたりのスループット条件下で、Super モデルに対して 1.60 倍から 2.14 倍へと上昇します。
単一 H100 における 1M トークンの並行処理数は、重みのサイズが 70 GB から 44.5 GB に削減されたことにより、1 から 8 へ向上しました。
反復的な Puzzle は、同じ圧縮目標において、単一ステップの Puzzle よりも平均 0.57 ポイント高い性能を示します。
Arena-Hard-V2 (-4.2) と SWE-Bench (-2.6) が実際のコストであり、RULER や AA-LCR はほとんど変化しません。
Nemotron-Labs-3-Puzzle-75B-A9B
Nemotron-3-Super は、ハイブリッド Mamba-Transformer MoE モデルです。Puzzle-75B-A9B は、親モデルのブロックレイアウトを正確に維持しています。88 ブロックから構成され、その内訳は Mamba 40 ブロック、MoE 40 ブロック、アテンション 8 ブロックです。
変更されたのは、これらのブロック内部の容量です：
数量 Super Puzzle-75B-A9B レシオ
総パラメータ数120.7B、75.3B、62.4%
アクティブパラメータ数12.8B、9.3B、73.1%
Mamba SSM（状態空間モデル）の状態サイズ128、96、75%
MoE（混合専門家）ルーティング専門家の中間層サイズ2688、1280、-2688、平均 59.9%
トークンあたりのアクティブ化されたルーティング専門家数224、-18、平均 50%
アクティブなルーティング専門家の容量（相対値）100%、8.7%、-62.3%、平均 30.9%
ルーティング専門家の数、共有専門家サイズ、MoE 潜在サイズは変更されていません。アテンション層もそのまま残されています。提案された研究の明記された理由は、Nemotron-3-Super がすでに KV キャッシュ効率が非常に高いという点です。Mamba 層は、推論フレームワークがレイヤーごとに異なる SSM 状態サイズをサポートしていないため、均一にプルーニングされました。
imagehttps://arxiv.org/pdf/2607.04371
結果として、均一に縮小された教師モデルではありません。上記の図は深さ全体における割り当てを示しています。Puzzle は選択された中間層と後期層において容量を維持し、それ以外の箇所では大幅に削減しました。
ベンチマークとパフォーマンス
以下の表は、単一の 8xB200 ノード上でのシングルステップデコーディングにおけるパレート最適の総スループットを示しています。
シナリオ（入力/出力）UT フロアSuper (tok/s)Puzzle-75B-A9B (tok/s)ブースト
50K / 2K>= 1005,1288,2101.60x
50K / 2K>= 1253,7846,4121.69x
50K / 2K>= 1502,5324,5231.79x
8K / 64K>= 10020,93942,6012.03x
8K / 64K>= 12513,07427,9182.14x
8K / 64K>= 1508,52218,0472.12x
両モデルとも、NVFP4 重み、FP8 KV キャッシュ、FP16 Mamba 状態という同一の条件で提供されました。したがって、性能差は数値形式の変更ではなく圧縮によるものです。プリフィル（prefill）処理が中心となる 50K/2K のレジームでは獲得効果が最も小さく、デコード（decode）処理が中心となる 8K/64K のレジームでは獲得効果が最大となります。
UT=100 の単一 8xH100 ノード上では、獲得効果はより小さくなります。50K/2K では 1.91 倍、8K/64K では 1.82 倍です。この場合の両モデルは、FP8 重み、FP8 KV キャッシュ、FP32 Mamba 状態を使用しています。
単一の H100 で 1M コンテキストを処理する場合、ボトルネックは計算からメモリへ移行します。Super の NVFP4 重みは、80 GB の HBM バジェットのうち約 70 GB を占有します。各 1M トークンのリクエストには約 4 GB の KV キャッシュが追加されるため、実効的な同時実行数は 1 となります。
Puzzle-75B-A9B の NVFP4 重みは約 44.5 GB を占有します。アテンションレイアウトは変更されていないため、リクエストあたりの KV コストも変わりません。1M コンテキストにおける同時実行数は 8 に上昇し、その同時実行数での集計デコードスループットは、Super の単一リクエストのスループットの約 4 倍になります。990K トークンのプロンプトのプリフィル処理は、約 1.2 倍高速化されます。
反復型パズルの仕組みについて
Puzzle は分解されたニューラルアーキテクチャ探索フレームワークであり、ここでは Puzzletron として実装されています。これは代替レイヤー実装の離散検索空間を定義し、各代替案に品質スコアを付与します。その後、混合整数計画法（Mixed-Integer Programming）を用いて、デプロイメント制約の下で各層ごとに一つの代替案を選択します。
検索空間を形成する 3 つのプルーニング手法は以下の通りです：
中間チャネルプルーニング：各ルーティングされたエキスパート内のチャネルは、そのエキスパートの出力への寄与度に基づいてランク付けされます。1 つの MoE レイヤー内のすべてのエキスパートは、カーネル互換性のために均一なサイズにプルーニングされます。
Top-k 削減：トークンがルーティングされるエキスパート数はレイヤーごとに異なり、親の k=22 まで増加します。
Mamba SSM プルーニング：SSM の状態サイズは 128 チャネルから 96 チャネルに低下します。
SSM の結果を測定したところ、128 チャネルを 96 チャネルに削減することで、デコード時に SSM カーネルの速度が 1.2 倍から 1.3 倍向上することが確認されました。これはバッチサイズが 8 から 512 の範囲で成立します。チャネルは Mamba レイヤー出力への推定寄与度に基づいてランク付けされました。この推定値は、検証データ 67M トークンにわたって平均化されています。付録 A では、この手法が積極的なプルーニング下でのランダムなチャネル選択よりも優れていることが示されています。
元の定式化では、置換の品質への影響はおおよそ加算的であると仮定しています。各候補ブロックは、変更されていない親モデル内でスコアリングされます。これにより、置換間の高次相互作用が考慮されません。
反復型 Puzzle は、有界圧縮と短い知識蒸留による回復を交互に行います。これはターゲットにジャンプするのではなく、M0, M1, … MR というシーケンスを構築します。スコアは元の親モデルではなく、現在の圧縮モデルに対して再計算されます。
3 つのステージが使用されました：
MoE 重みを教師モデルの容量の 75% に、Mamba SSM の状態も 75% に設定。24B トークンで修復。
MoE 重みを教師モデルの容量の 60% に設定。43.2B トークンで修復。
アクティブなルーティング済みエキスパート予算を 50% に削減し、異種配分を実施。52.8B トークンで修復。
上記の表は、同じターゲットにおける単一ステップの Puzzle ベースラインと比較した結果を示しています。3 ステップの手順は 10 のベンチマークで平均 69.05 を達成し、ベースラインの 68.48 を上回っています。MMLU-Pro、GPQA、HLE、AA-LCR、LiveCodeBench、SciCode、RULER-256K において改善が見られます。一方、IFBench-Instruction は 0.2 ポイント低下し、IFBench-Prompt は 0.5 ポイント低下しました。
回復：蒸留、強化学習、および冗長性
知識蒸留は、Nemotron-3-Nano の事前学習データの 30% と SFT データの 70% を用いて実行されました。Puzzle フェーズでは、KD はシーケンス長 32K で動作しました。その後、回復フェーズで 128K に訓練し、512K までスケールアップしました。予算は最大 100B トークン、グローバルバッチサイズは 16M トークンとし、Megatron-LM を使用しました。
強化学習（RL）によるポストトレーニングでは、ソフトウェアエンジニアリングに焦点を当てた Nemotron-3-Super RL パイプラインのステージ 2 が採用されました。フェーズ 2.1 では単一ステップのツール使用比較が行われ、フェーズ 2.2 ではエージェントが最大 200 ターン実行するエンドツーエンドのサンドボックス RL へと移行しました。両フェーズとも KL ペナルティは 0 と設定され、学習率をスウィープした上で、得られた重みの平均化を行いました。
imagehttps://arxiv.org/pdf/2607.04371
上記の図 4 は、各ステージがどの程度寄与したかを示しています。短文脈知識蒸留（KD）により、ほとんどのカテゴリで Nemotron-3-Super の 97% 以上を回復しました。その後、長文脈 KD が特に長入力および長生成ベンチマークの性能を引き上げました。研究チームは、これらの実験における強化学習（RL）の影響は小さいと述べています。
冗長性は静かなる詳細です。最後の Puzzle イテレーション後、モデルは Super のトークン数の 132% を生成していましたが、完全な回復パイプラインを経て 99% に低下しました。
展開：量子化とマルチトークン予測
2 つのポストトレーニング量子化レシピが作成されました。FP8 W8A8 は Hopper アーキテクチャ向け、NVFP4 W4A4 は Blackwell アーキテクチャ向けです。
コンポーネント | BF16 ベースライン | FP8 チェックポイント | NVFP4 チェックポイント
---|---|---|---
スパースおよび共有 MoE GEMMs | BF16 | FP8 | NVFP4
Mamba GEMMs | BF16 | FP8 | FP8
Mamba SSM キャッシュ | FP32 | FP32 | FP16+SR
KV キャッシュ | FP8 | FP8 | FP8
ルーター | FP32 | FP32 | FP32
Attention QKV/出力、MoE 潜在射影、LM ヘッド | BF16 | BF16 | BF16
両方のレシピは、256 のポストトレーニング SFT サンプルでキャリブレーションされました。NVFP4 では Super で使用された AutoQuantize 感度検索ではなく、最大値キャリブレーションが採用されています。その結果得られたチェックポイントは若干より積極的な量子化となっていますが、性能は同等でした。
NVFP4 は Hopper アーキテクチャでネイティブにサポートされていません。しかし、HBM（High Bandwidth Memory）容量がボトルネックとなる 1M コンテキストの H100 ターゲット向けには依然として使用されています。
Puzzle-75B-A9B は Super から共有 MTP ヘッドを継承しています。パラメータは MTP ステップ間で共有されるため、推論時には 1 つのヘッドが再帰的に適用されます。Super の訓練済みヘッドを直接転送しても、同様の受容長（acceptance lengths）が得られました。
研究チームはその後、トレーニングと推論の不一致を特定しました。教師付き MTP トレーニングでは、完全なシフトされた隠れ状態シーケンスが供給されますが、自己回帰的ドラフティングでは、ターゲットモデルと MTP が生成した隠れ状態の混合体が供給されます。その結果、より深いドラフト位置における受容率が低下します。
転送されたヘッドに対する継続的なトレーニングがこの問題を解決しました。ドラフト長 7 における SPEED-Bench では、平均受容長が 3.45 から 4.34 に向上しました。これは約 25% から 30% の増加であり、主に後のドラフト位置に集中しています。Super とは異なり、NVFP4 チェックポイントはほとんど劣化せず、4.31 を記録しています（対照値は 4.34）。
圧縮が役立つ場所と害を及ぼす場所
ベンチマーク (BF16) Super Puzzle-75B-A9B Delta
MMLU-Pro 83.8 82.4 -1.4
AIME(ツールなし) 25 92.2 89.7 -2.5
GPQA(ツールなし) 80.5 78.6 -1.9
LiveCodeBench 82.1 81.1 -1.0
SciCode (サブタスク) 42.3 40.6 -1.7
SWE-Bench (OpenHands) 59.5 56.9 -2.6
Arena-Hard-V2 72.8 68.6 -4.2
AA-LCR 56.8 56.9 +0.1
RULER 1M 93.9 92.2 -1.7
MMLU-ProX 79.5 77.5 -2.0
研究論文自体の要約では、指示追従評価とエージェント評価が最も大きな損失を被るとされています。Arena-Hard-V2 は最悪ケースで、4.2 ポイントの低下です。RULER は 256K、512K、および 1M の場合でも、およそ 1 から 2 ポイントの範囲内に留まります。
BF16 の結果のうち 3 つは劣化していません。AA-LCR は 0.1 ポイント上昇し、Scale AI Multi-Challenge は 56.6 で同点、TauBench Telecom は 0.4 ポイント上昇しました。
NVFP4 は圧縮の上乗せコストがほとんどありません。RULER 1M では NVFP4 チェックポイントのスコアは 93.2 で、BF16 の 92.2 を上回っています。HLE が最も明確な NVFP4 のコストであり、16.5 から 15.7 に低下しています。FP8 の結果は付録 E に掲載されており、BF16 とほぼ同様の推移を示します。SWE-Bench は FP8 チェックポイントについては報告されていません。
ユースケース
単一 GPU での超長文脈 RAG: 1M コンテキストのドキュメント分析サービスでは、並行リクエスト数が 1 から 8 に増加します。その並行度における集約デコードスループットはおよそ 4 倍です。
インタラクティブなコーディングアシスタント: UT が 100 tok/s 以上となる 8K/64K の領域では、1 つのノードが 2.03 倍のトークンを処理します。冗長性を調整すると、1 分あたりの完了リクエスト数は 2.16 倍になります。
プレフィル重文書パイプライン: 50K/2K の領域では 1.60 倍の向上にとどまります。プロンプト処理が計算資源を支配する場合は、圧縮による恩恵は小さくなります。
エージェント型 SWE ループ: タスクミックスに対して 2.6 ポイントの SWE-Bench グラフを確認してください。RL リカバリーはこの機能にターゲットを絞り、部分的な回復のみを果たしました。
デプロイメントエクスプローラー
(function(){
window.addEventListener('message',function(e){
var d=e.data||{};
if(d&&d.type==='p75-resize'&&d.p75Height){
var f=document.getElementById('p75-frame');
if(f){f.style.height=d.p75Height+'px';}
}
},false);
})();
強みと弱み
強み
Super と比較して、同等の NVFP4 および同等のユーザースループット条件下で、総スループットが 1.60 倍から 2.14 倍向上
単一の H100 における 1M トークンの並行処理が、1 リクエストから 8 リクエストに増加
ドラフト長 7 の SPEED-Bench において、MTP 受容長が 3.45 から 4.34 に改善
長文コンテキストの精度は、256K、512K、および 1M の場合でも RULER で 1〜2 ポイント以内に維持されます。
生成の冗長性は Super の 99% で終了するため、リクエストレベルでのトークン獲得が実現します。
3 つのチェックポイントが公開されました：BF16、FP8、および NVFP4 です。
弱点
Arena-Hard-V2 では 4.2 ポイント低下し、SWE-Bench でも 2.6 ポイント低下しています。
RL（強化学習）による回復には測定された影響が小さく、論文でも直接そのように記述されています。
Mamba のプルーニングは均一です。これは、フレームワークがレイヤーごとに SSM（状態空間モデル）の状態サイズを変化させることができないためです。
潜在次元のプルーニングは取り下げられました：NVFP4 MoE カーネルでは、潜在次元が 512 の倍数である必要があります。
この v2 プリプリント版では、プロースと表でいくつかのスループット倍率が不一致となっています。
分散プリフィルによる利益はわずか 5% から 7% であり、サービングの複雑さを増すだけです。
論文はこちらでご覧ください。また、Twitter でもフォローしていただき、150k+ の ML サブレッドに参加し、ニュースレターを購読することを忘れないでください。待ってください！Telegram をご利用ですか？今なら Telegram にも参加できます。
GitHub リポジトリや Hugging Face ページ、製品リリース、ウェビナーなどのプロモーションのためにパートナーシップをご検討の場合は、こちらからご連絡ください。
本記事「NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput」は、MarkTechPost で最初に公開されました。
原文を表示
Large hybrid MoE models like Nemotron-3-Super are accurate but expensive to serve. Their active parameters, KV cache, and Mamba state cap how many users a node can hold at a given per-user token rate. NVIDIA AI team has released Nemotron-Labs-3-Puzzle-75B-A9B, a compressed variant of Nemotron-3-Super. The parent model has 120.7B total and 12.8B active parameters. The compressed model has 75.3B total and 9.3B active parameters.
The deployment target was fixed before the architecture search began. Target one was 2x server throughput at 100 tokens per second per user. Target two was 8 concurrent 1M-token requests on a single H100. Three checkpoints on Hugging Face: BF16, FP8, and NVFP4.
TL;DR
120.7B/12.8B active compresses to 75.3B/9.3B active, with the 88-block hybrid layout preserved.
8xB200 total throughput rises 1.60x to 2.14x over Super at matched NVFP4 and matched user throughput.
Single-H100 1M-token concurrency goes 1 to 8, driven by a 70 GB to 44.5 GB weight drop.
Iterative Puzzle beats single-step Puzzle by 0.57 average points at the same compression target.
Arena-Hard-V2 (-4.2) and SWE-Bench (-2.6) are the real costs; RULER and AA-LCR barely move.
Nemotron-Labs-3-Puzzle-75B-A9B
Nemotron-3-Super is a hybrid Mamba-Transformer MoE model. Puzzle-75B-A9B preserves the parent’s block layout exactly. It has 88 blocks: 40 Mamba, 40 MoE, and 8 attention blocks.
What changed is capacity inside those blocks:
QuantitySuperPuzzle-75B-A9BRatio
Total parameters120.7B75.3B62.4%
Active parameters12.8B9.3B73.1%
Mamba SSM state size1289675%
MoE routed expert intermediate size26881280-2688Mean 59.9%
Activated routed experts per token224-18Mean 50%
Active routed expert capacity (relative)100%8.7%-62.3%Mean 30.9%
The number of routed experts, the shared expert size, and the MoE latent size are unchanged. Attention layers were left untouched. The proposed research’s stated reason is that Nemotron-3-Super is already very KV-cache efficient. Mamba layers were pruned uniformly, because inference frameworks do not support a different SSM state size per layer.
imagehttps://arxiv.org/pdf/2607.04371
The result is not a uniformly scaled-down teacher. The above figure shows the allocation across depth. Puzzle preserved capacity in selected middle and late layers, and cut hard elsewhere.
Benchmark and Performance
The below table reports Pareto-optimal total throughput on a single 8xB200 node, with single-step decoding.
Scenario (in/out)UT floorSuper (tok/s)Puzzle-75B-A9B (tok/s)Boost
50K / 2K>= 1005,1288,2101.60x
50K / 2K>= 1253,7846,4121.69x
50K / 2K>= 1502,5324,5231.79x
8K / 64K>= 10020,93942,6012.03x
8K / 64K>= 12513,07427,9182.14x
8K / 64K>= 1508,52218,0472.12x
Both models were served at matched NVFP4 weights, FP8 KV cache, and FP16 Mamba state. The gap therefore reflects compression, not a change in numeric format. The prefill-heavy 50K/2K regime gains least. The decode-heavy 8K/64K regime gains most.
On a single 8xH100 node at UT = 100, the gains are smaller. They are 1.91x on 50K/2K and 1.82x on 8K/64K. Both models there use FP8 weights, FP8 KV cache, and FP32 Mamba state.
On a single H100 at 1M context, the binding constraint flips from compute to memory. Super’s NVFP4 weights occupy about 70 GB of the 80 GB HBM budget. Each 1M-token request adds about 4 GB of KV cache. Effective concurrency is therefore 1.
Puzzle-75B-A9B’s NVFP4 weights occupy about 44.5 GB. Attention layout is unchanged, so per-request KV cost is unchanged. Concurrency at 1M rises to 8. Aggregate decode throughput at that concurrency is roughly 4x Super’s single-request throughput. Prefill of a 990K-token prompt is about 1.2x faster.
How Iterative Puzzle Works
Puzzle is a decomposed neural architecture search framework, implemented here as Puzzletron. It defines a discrete search space of alternative layer implementations. Each alternative gets a quality score. A mixed-integer program then selects one alternative per layer under a deployment constraint.
Three pruning techniques form the search space:
Intermediate channel pruning: Channels inside each routed expert are ranked by contribution to the expert’s output. All experts within one MoE layer are pruned to a uniform size, for kernel compatibility.
Top-k reduction: The number of experts a token is routed to varies per layer, up to the parent’s k=22.
Mamba SSM pruning: The SSM state size drops from 128 to 96 channels.
The SSM result is measured. Dropping 128 channels to 96 speeds the SSM kernel 1.2x to 1.3x during decode. This holds at batch sizes between 8 and 512. Channels were ranked by estimated contribution to the Mamba layer output. The estimate averaged over 67M tokens of validation data. Appendix A shows this beats random channel selection under aggressive pruning.
The original formulation assumes replacement quality impacts are approximately additive. Each candidate block is scored inside the unmodified parent. That ignores higher-order interactions between replacements.
Iterative Puzzle alternates bounded compression with short knowledge distillation recovery. It builds a sequence M0, M1, … MR instead of jumping to the target. Scores are recomputed against the current compressed model, not the original parent.
Three stages were used:
MoE weights to 75% of teacher capacity, Mamba SSM state to 75%. Healed for 24B tokens.
MoE weights to 60% of teacher capacity. Healed for 43.2B tokens.
Activated routed-expert budget to 50%, allocated heterogeneously. Healed for 52.8B tokens.
imagehttps://arxiv.org/pdf/2607.04371
The above table compares this against a single-step Puzzle baseline at the same target. The three-step procedure averages 69.05 across ten benchmarks, against 68.48. Gains appear on MMLU-Pro, GPQA, HLE, AA-LCR, LiveCodeBench, SciCode, and RULER-256K. IFBench-Instruction fell 0.2 points and IFBench-Prompt fell 0.5.
Recovery: Distillation, RL, and Verbosity
Knowledge distillation ran on 30% pretraining data and 70% SFT data from Nemotron-3-Nano. During the Puzzle phase, KD used a 32K sequence length. Recovery then trained at 128K, and scaled to 512K. The budget was up to 100B tokens, with a 16M-token global batch, in Megatron-LM.
RL post-training adopted Stage 2 of the Nemotron-3-Super RL pipeline, focused on software engineering. Phase 2.1 did single-step tool-use comparison. Phase 2.2 moved to end-to-end sandbox RL, where agents run up to 200 turns. Both phases used a KL penalty of 0. The team swept learning rates, then averaged the resulting weights.
imagehttps://arxiv.org/pdf/2607.04371
The above Figure 4 shows what each stage contributed. Short-context KD recovers most categories to over 97% of Nemotron-3-Super. Long-context KD then lifts long-input and long-generation benchmarks specifically. The research team states that RL’s impact in these experiments was small.
Verbosity is the quiet detail. After the last Puzzle iteration, the model generated 132% of Super’s token count. That fell to 99% after the full recovery pipeline.
Deployment: Quantization and Multi-Token Prediction
Two post-training quantization recipes were produced: FP8 W8A8 targets Hopper and NVFP4 W4A4 targets Blackwell.
ComponentBF16 baselineFP8 checkpointNVFP4 checkpoint
Sparse and shared MoE GEMMsBF16FP8NVFP4
Mamba GEMMsBF16FP8FP8
Mamba SSM cacheFP32FP32FP16+SR
KV cacheFP8FP8FP8
RouterFP32FP32FP32
Attention QKV/output, MoE latent projections, LM headBF16BF16BF16
Both recipes calibrated on 256 post-training SFT samples. NVFP4 used max calibration, not the AutoQuantize sensitivity search used for Super. The resulting checkpoint is slightly more aggressively quantized, and performed similarly.
NVFP4 is not natively supported on Hopper. It is still used for the 1M-context H100 target, because HBM capacity binds there.
Puzzle-75B-A9B inherits a shared MTP head from Super. Parameters are shared across MTP steps, so one head applies recursively at inference. Transferring Super’s trained head directly gave similar acceptance lengths.
The research team then identifies a training-inference mismatch. Teacher-forced MTP training feeds the full shifted hidden-state sequence. Autoregressive drafting instead feeds a mixture of target-model and MTP-generated hidden states. Acceptance rates fall at deeper draft positions.
Continued training on the transferred head addresses this. On SPEED-Bench at draft length 7, average acceptance length rose from 3.45 to 4.34. That is roughly 25% to 30%, concentrated at later draft positions. Unlike Super, the NVFP4 checkpoint barely degrades: 4.31 against 4.34.
Where Compression Helps and Where It Hurts
Benchmark (BF16)SuperPuzzle-75B-A9BDelta
MMLU-Pro83.882.4-1.4
AIME25 (no tools)92.289.7-2.5
GPQA (no tools)80.578.6-1.9
LiveCodeBench82.181.1-1.0
SciCode (subtask)42.340.6-1.7
SWE-Bench (OpenHands)59.556.9-2.6
Arena-Hard-V272.868.6-4.2
AA-LCR56.856.9+0.1
RULER 1M93.992.2-1.7
MMLU-ProX79.577.5-2.0
The research paper’s own summary is that instruction-following and agentic evaluations lose most. Arena-Hard-V2 is the worst case, at -4.2 points. RULER stays within roughly 1 to 2 points at 256K, 512K, and 1M.
Three BF16 results do not regress. AA-LCR gains 0.1, Scale AI Multi-Challenge ties at 56.6, and TauBench Telecom gains 0.4.
NVFP4 costs little on top of compression. On RULER 1M the NVFP4 checkpoint scores 93.2, above BF16’s 92.2. HLE is the clearest NVFP4 cost, dropping from 16.5 to 15.7. FP8 results sit in Appendix E, and track BF16 closely. SWE-Bench is not reported for the FP8 checkpoint.
Use Cases
Ultra-long-context RAG on one GPU: A document analysis service at 1M context goes from 1 concurrent request to 8. Aggregate decode throughput at that concurrency is roughly 4x.
Interactive coding assistants: At UT >= 100 tok/s in the 8K/64K regime, one node serves 2.03x the tokens. Adjusted for verbosity, that is 2.16x the completed requests per minute.
Prefill-heavy document pipelines: The 50K/2K regime gains only 1.60x. Compression helps less when prompt processing dominates compute.
Agentic SWE loops: Check the 2.6-point SWE-Bench gap against your task mix. RL recovery targeted this capability, and only partly restored it.
Deployment Explorer
(function(){
window.addEventListener('message',function(e){
var d=e.data||{};
if(d&&d.type==='p75-resize'&&d.p75Height){
var f=document.getElementById('p75-frame');
if(f){f.style.height=d.p75Height+'px';}
}
},false);
})();
Strengths and Weaknesses
Strengths
1.60x to 2.14x total throughput over Super at matched NVFP4 and matched user throughput
1M-token concurrency on a single H100 rises from 1 request to 8
MTP acceptance length improves from 3.45 to 4.34 on SPEED-Bench at draft length 7
Long-context accuracy holds within 1 to 2 points on RULER at 256K, 512K, and 1M
Generation verbosity ends at 99% of Super, so token gains survive at request level
Three checkpoints published: BF16, FP8, and NVFP4
Weaknesses
Arena-Hard-V2 drops 4.2 points and SWE-Bench drops 2.6 points
RL recovery had a small measured impact, which the paper states directly
Mamba pruning is uniform, because frameworks cannot vary SSM state size per layer
Latent-dimension pruning was dropped: NVFP4 MoE kernels need a latent dim that is a multiple of 512
Prose and tables disagree on several throughput multiples in this v2 preprint
Disaggregated prefill gains are only 5% to 7%, and add serving complexity
Check out the Paper here. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput appeared first on MarkTechPost.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み