NVIDIA、GB300 NVL72でMoE事前学習の世界記録達成
NVIDIA GB300 NVL72 が DeepSeek-V3 671B モデルの事前学習で世界記録を樹立し、MoE アーキテクチャにおける通信ボトルネック克服と計算効率の飛躍的向上を示した。
キーポイント
MoE アーキテクチャへの業界シフト
業界が密なモデルから MoE（Mixture of Experts）へ急速に転換しており、671B パラメータを持つ DeepSeek-V3 はトークンあたりの計算コストを 37B パラメータ相当に抑えつつフロンティア規模を実現している。
GB300 NVL72 の世界記録達成
NVIDIA GB300 NVL72 システムが DeepSeek-V3 671B の事前学習で GPU あたり 1,648 TFLOPs を達成し、シリコンからネットワーク、ソフトウェアに至るプラットフォーム全体の進化が効率向上に寄与した。
通信と計算のトレードオフ
MoE の利点は計算効率にある一方、エキスパート間のデータ転送（all-to-all 通信）がクリティカルパスとなり、レイヤーごとの遅延が蓄積してスケーリングの限界となる課題がある。
インフラ全体の最適化
GPU の性能向上だけでなく、ネットワークとソフトウェアの連携により通信オーバーヘッドを隠蔽し、より大規模なモデルや多くの実験を同じインフラで実行可能にしている。
MoEトレーニングの通信ボトルネック
各層でのアテンションとエキスパート間の接続におけるテンソル並列化（all-reduceおよびall-to-all）による通信が、トレーニングステップのクリティカルパス上に位置しています。
計算と通信の重なり最適化
勾配同期は1ステップごとに発生しますが、計算処理とオーバーラップさせることで、全体のトレーニング効率を向上させています。
GB300 NVL72 の設計思想
単なる高速チップではなく、シリコン、相互接続、ネットワーク、ソフトウェアを統合した極限の共設計（co-design）により、スケールアップとスケールアウトの両方の通信課題に対応するラック規模システムとして構築されています。
重要な引用
Frontier model pre-training has converged on mixture of experts (MoE), which is fundamentally changing what limits large-scale AI training.
DeepSeek-V3 holds 671B parameters but activates only ~37B parameters per token, reaching frontier scale at the per-token cost of a far smaller model.
Those experts live on other GPUs, so every MoE layer must dispatch each token to its experts and gather the results through an all-to-all communication pattern in both the forward and backward passes.
Per-layer communication is on the critical path; gradient sync occurs once per step and can overlap with compute.
Success is measured in delivered FLOPs, not peak FLOPs.
GB300 NVL72 addresses these challenges together, a rack-scale system built through extreme co-design, where silicon, interconnect, networking, and software are engineered as one platform rather than assembled from parts.
影響分析・編集コメントを表示
影響分析
このニュースは、MoE アーキテクチャの実用化における通信ボトルネックという重大な課題に対し、NVIDIA の最新ハードウェアとソフトウェアスタックがどのように解決策を提供したかを明確に示しています。これにより、従来の計算リソースの制約を超えて、より大規模で複雑なモデルの学習が可能となり、AI 研究開発のパイプライン全体を加速させる重要な転換点となります。
編集コメント
MoE モデルの学習における通信オーバーヘッドという本質的な課題に対し、ハードウェアとソフトウェアを横断した最適化で世界記録を更新したのは非常に示唆に深いです。NVIDIA のプラットフォーム戦略が、単なる計算能力の向上だけでなく、モデルアーキテクチャの変化にも即応して進化していることが確認できます。
フロンティアモデルの事前学習は、エキスパート混合（MoE）に収束し、大規模 AI 訓練の限界を根本から変えつつあります。トークンあたりの計算リソースが低下する中、通信効率がいかに数千台の GPU にわたるモデルのスケーリングを左右するかという課題が浮き彫りになっています。
NVIDIA GB300 NVL72 は、DeepSeek-V3 671B の事前学習において GPU あたり 1,648 TFLOPs を達成し、世界記録を更新しました。これは、シリコンからネットワーク、ソフトウェアに至るまで AI プラットフォーム全体での技術進歩が、訓練パフォーマンスを押し上げ続けていることを示す好例です。
事前学習の効率化におけるあらゆる向上は、研究者により大規模なモデルを訓練したり、より多くの実験を行ったり、同じ NVIDIA インフラ上でフロンティアレベルの能力に素早く到達することを可能にします。
業界がこれらの MoE アーキテクチャへと急速にシフトしている背景には、その圧倒的な計算効率があります。すべてのトークンで全パラメータを活性化させ、パラメータ総数に応じてトークンあたりの計算コストが増大する密結合モデルとは異なり、MoE モデルでは各トークンに対してパラメータのサブセットのみが活性化されます。
例えば DeepSeek-V3 は 671B のパラメータを持ちながら、トークンあたり約 37B のパラメータしか活性化しません。これにより、はるかに小規模なモデルと同程度のコストでフロンティア規模を実現しています。
このトレードオフは通信にあります。各エキスパートは別の GPU に配置されているため、MoE 層のたびに各トークンを対応するエキスパートへ分散し、順伝播と逆伝播の両方でオール・トゥー・アールの通信パターンを通じて結果を集約する必要があります。この集合通信がクリティカルパスに位置するため、スループットは計算能力だけでなく通信にも依存することになります。すべてのトレーニングステップで全層で発生するこの通信では、わずかな遅延が積み重なり、最終的には計算処理の間に隠しきれなくなるまで影響が拡大します。その結果、GPU を追加してもスループットは向上しなくなります。
image*図 1. MoE トレーニングステップの構造。通信が発生する箇所と、それがパフォーマンスに与える影響*
そのため、事前学習には密結合されたスケールアップドメインが必要です。このドメイン内では、すべての GPU が非ブロッキングファブリックを介して互いに通信でき、ドメインが拡大しても高い帯域幅、低レイテンシ、そして完全なバイセクション帯域幅を維持できる必要があります。このような大規模モデルのトレーニングには単一のドメインに収まる以上の GPU が必要となるため、複数のドメインを接続する必要があります。スケールアウトトラフィックは比較的軽量で頻度も低いですが、計算ウィンドウ内で完了し予測可能である必要があり、特定の低速リンクが全体の処理速度を決定づけてはいけません。課題は二段構えであり、成功の基準は理論上のピーク FLOPs ではなく、実際に達成された FLOPs です。
NVIDIA GB300 NVL72：密結合型 AI 事前学習のために設計されたプラットフォーム
2 つの階層にわたる通信課題に対処するには、単なる高速チップではなく、その課題を前提としたシステム設計が必要です。計算能力、スケールアップ用相互接続、スケールアウト用ネットワーク、インフラストラクチャ処理、そしてソフトウェアがそれぞれ負荷の一部を担います。どれか一つでも不足すれば、システム全体の性能が制限されてしまいます。
GB300 NVL72 はこれらの課題を包括的に解決するラック規模のシステムです。極限までの共設計によって構築され、シリコン、相互接続、ネットワーク、ソフトウェアが個別の部品を組み合わせたものではなく、一つのプラットフォームとして統合して設計されています。
その核心にあるのは NVIDIA NVLink です。これは 72 枚の NVIDIA Blackwell Ultra GPU を一体として動作させるスケールアップ用ファブリックです。第 5 世代の NVLink は、各 GPU に 1.8 TB/s の帯域幅を提供し、ラック全体で非ブロッキングかつオール・トゥー・オールの帯域幅 130 TB/s を実現します。これにより、すべての GPU が他のすべての GPU とワンホップで直接通信できます。
幅だけが重要なのではなく、経路もまた重要です。NVLink はメモリセマンティックなアーキテクチャを採用しています。GPU は、ロスレスかつフロー制御されたファブリック上で、ネイティブのロード・ストア操作として相手の HBM に直接アクセスし、読み書きを行います。データ転送はソフトウェアによる送信ではなくハードウェアメモリオペレーションであるため、データパスに遅延が追加されることはありません。また、データがスイッチを流れる間にリダクション処理もスイッチ内部で実行可能です。
各レイヤーごとのトラフィック需要は、テンソル並列化によるアールリデュースと MoE のオールツーオール通信がラック内に収まり、フル帯域幅で低遅延を実現する点にあります。ラックを超えてプラットフォームをスケールアウトさせる際は、GPU あたり 800 Gbps の NVIDIA ConnectX-8 SuperNIC を用い、NVIDIA Quantum-X800 InfiniBand または NVIDIA Spectrum-X Ethernet と組み合わせることで、勾配通信を計算処理の裏側に隠し、パフォーマンスを最大化します。
image*図 2. NVLink ファブリックと従来のファブリットの比較*
コデザインはトレーニングファブリットだけでなく、インフラストラクチャサービスやソフトウェアにも及んでいます。本番環境の AI ファクトリーでは、NVIDIA BlueField データ処理ユニット（DPU）が、仮想ネットワーク、ストレージアクセス、セキュリティ、テレメトリ、ライフサイクル管理のための孤立したインフラ処理ドメインを提供します。これにより、大規模なトレーニングジョブにおけるホスト CPU のオーバーヘッドを大幅に削減できます。
トレーニングソフトウェアはエコシステムの両側をカバーしています。NVIDIA Megatron Core はこれらの GPU 向けに設計・チューニングされています。また、TorchTitan や JAX が GB300 NVL72 システム上で最大速度で動作するよう、オープンソースフレームワークへの積極的な貢献も進めています。
Megatron Core を活用した卓越した事前トレーニング性能
DeepSeek-V3 の 671B モデルにおいて、256 基の GPU を使用した GB300 NVL72 環境では、Megatron Core が GPU あたり 1,648 TFLOPs の性能を発揮します。これは、以前の GB200 NVL72 で得られた結果の GPU あたり 606 TFLOPs と比較して約 3 倍の throughput を示しています。
image*図 3. GB200 NVL72（初期ソフトウェア版）と比較した GB300 NVL72（最新ソフトウェア版）での 3 倍の性能向上*
NVIDIA は、プラットフォーム全体のさらなるパフォーマンス向上を目指してソフトウェアの最適化を継続しています。DeepSeek-v3 671B と同等規模の前学習ワークロードにおいて、これらの改善は複合的に効果を発揮します。同じ GB300 NVL72 ラックスケールシステムでも、ソフトウェアの改良により 6 ヶ月間で性能が 1.5 倍向上しました。これは、シリコンが出荷された後も、純粋な性能とトレーニングのスループットが継続して改善され続けることを示しています。
image*図 4. GB300 NVL72 におけるソフトウェアのみによる 6 ヶ月間の 1.5 倍の性能向上*
NVIDIA によって加速された主要な前学習フレームワーク
NVIDIA のエンジニアは、AI コミュニティが依存するオープンソースフレームワークに直接貢献し、NVIDIA GPU 上でより高速に動作するための最適化を追加しています。PyTorch や JAX のコミュニティと共同で開発されたこれらの貢献は継続的に取り込まれ、時間の経過とともにパフォーマンスを向上させています。
TorchTitan は PyTorch のネイティブなトレーニングスタックであり、NVIDIA による貢献により GB300 NVL72 上でのパフォーマンスが継続的に向上しています。DeepSeek-V3 671B モデルにおいて、これらの最適化が相乗効果を生み、同じインフラ上で約 6 倍の性能向上を実現しました。
image*図 5. TorchTitan の最適化による GB300 NVL72 のパフォーマンス進化*
JAX も同様の軌跡をたどっています。過去 6 ヶ月間にわたり、NVIDIA が提供した JAX の最適化 により、DeepSeek-V3 671B モデルの性能が 256 GPU スケールで約 10 倍に向上しました。これはすべてソフトウェア側の最適化による成果です。最新のソフトウェア版では、GPU あたり 1,025 TFLOPS という驚異的なスループットを達成しており、さらなる進化が続いています。
image*図 6. JAX の最適化による GB300 NVL72 のパフォーマンス進化*
DeepSeek-V3 671B の事前学習を 256 GPU から 1,024 GPU にスケールアウトする際、Megatron Core は 1 GPU あたりの性能の 98.5% を維持し、TorchTitan と JAX もそれぞれ 97% を維持しています。つまり、追加されたインフラはほぼすべて、システム全体のトークン生成速度（スループット）向上に直結していることになります。
この効率性は、ラック単位でのスケールアウトにおいて 1 GPU あたり 800 Gb/s のネットワークが果たす役割の大きさを示しています。勾配通信のトラフィックは計算処理の背後に隠され、GPU を増やすことが純粋にシステム全体のスループット向上につながる一方で、通信オーバーヘッドによってネットワークがボトルネックになることを防いでいます。
image*図 7. GB300 NVL72 上での DeepSeek-V3 671B の事前学習スケーリング。Megatron Core、TorchTitan、JAX はすべて GPU あたりのスループットを維持し、256 GPU から 1,024 GPU へのスケールアウトを実現*。
世界記録の達成
GB300 NVL72 を用いて DeepSeek-v3 671B の事前学習を 256 GPU で実行した結果、GPU あたり 1,648 TFLOPs という世界最高性能を記録しました。これにより、前世代と比較してはるかに少ないハードウェアで同等のトレーニングパフォーマンスを実現できるようになりました。
オープンソースフレームワークの結果も同様の傾向を示しています。プラットフォーム上でソフトウェアが進化するにつれ、性能はさらに向上し続けています。これらの結果は天井ではなく、ハードウェア、相互接続、そしてソフトウェアが一体となって設計され、継続的に最適化されているプラットフォームの成果です。今日の世界記録は、明日さらなる高性能を実現するための基盤に過ぎません。
NVIDIA AI インフラ上で最先端モデルのトレーニングを開始する
- ラックスケールアーキテクチャを探る：GB300 NVL72 の仕組みを解説。
- ワークロードのスケーリング：最先端モデルのトレーニングには Megatron-Core を活用しましょう。
- パフォーマンスの最適化：CUDA グラフを活用してパフォーマンスを向上させるには、NVIDIA CuteDSL 融合カーネルに関するブログ記事をご覧ください。
謝辞
DeepSeek-V3 モデルの事前学習を通じて NVIDIA GB300 NVL72 プラットフォームで世界記録を達成したことは、社内の多くの優秀なエンジニアたちの協力によるものです。以下に貢献者の名前を（姓順）に記載します：
Aidyn Aitzhan, Michael Andersch, Jan Bernloehr, Santosh Bhavani, Ben Cashman, Carlo del Mundo, Ashraf Eassa, Fabio Paes Leme Ferriani, Matt Frank, Abhinav Goel, Vivek Goel, Elfie Guo, Eric Harper, Munira Hussain, Tomasz Jakubek, Masaki Kozuki, George Kurian, Himangshu Lahkar, Guihong Li, Kibibi Moseley, Nitin Nitin, Devin O'Kelly, Christian M. Sarofeen, Priya Sethuraman, Tejash Shah, Franciszek Szarwacki, John Tran, Qiyu Wan, Cliff Woolley。
原文を表示
Frontier model pre-training has converged on mixture of experts (MoE), which is fundamentally changing what limits large-scale AI training. As compute per token falls, communication increasingly determines how efficiently models scale across thousands of GPUs. NVIDIA GB300 NVL72 set a world record for pre-training DeepSeek-V3 671B at 1,648 TFLOPs per GPU, showing how advances across the entire AI platform—from silicon to networking to software—continue to push training performance forward. Every gain in pre-training efficiency means researchers can train larger models, run more experiments, and reach frontier capability faster on the same NVIDIA infrastructure.
The rapid industry shift toward these MoE architectures is driven by their massive computational efficiency. Unlike dense models, where every token activates every parameter and compute per token rises with the total parameter count, MoE models activate a subset of parameters for each token. For example, DeepSeek-V3 holds 671B parameters but activates only ~37B parameters per token, reaching frontier scale at the per-token cost of a far smaller model.
The tradeoff is communication. Those experts live on other GPUs, so every MoE layer must dispatch each token to its experts and gather the results through an all-to-all communication pattern in both the forward and backward passes. This collective sits in the critical path, making throughput as dependent on communication as on compute. Because it occurs at every layer in every training step, small delays compound until the all-to-all can no longer be hidden behind compute, and adding GPUs no longer increases throughput.
This is why pre-training needs a tightly coupled scale-up domain, where every GPU can communicate with every other GPU over a non-blocking fabric that provides high, uniform bandwidth, low latency, and full bisection bandwidth as the domain grows. Training a model of this size requires more GPUs than a single domain can hold, and many domains must be linked together. This scale-out traffic is lighter and less frequent, but it must still complete within the compute window and remain predictable, so no single slow link governs the step. The challenge is two-tiered, and success is measured in delivered FLOPs, not peak FLOPs.
NVIDIA GB300 NVL72: Built for tightly coupled AI pre-training
A two-tiered communication challenge calls for a system designed around it, not just a faster chip. Compute, scale-up interconnect, scale-out networking, infrastructure processing, and software each carry part of the load. A shortfall in any one caps the whole. GB300 NVL72 addresses these challenges together, a rack-scale system built through extreme co-design, where silicon, interconnect, networking, and software are engineered as one platform rather than assembled from parts.
At its core is NVIDIA NVLink, the scale-up fabric that makes 72 NVIDIA Blackwell Ultra GPUs work as one. Fifth-generation NVLink gives each GPU 1.8 TB/s of bandwidth and 130 TB/s of non-blocking, all-to-all bandwidth across the rack, so every GPU reaches every other in a single hop.
The width is only half of it; the path is the rest. NVLink is memory-semantic: a GPU reads and writes a peer’s HBM directly, as native load and store operations, over a lossless, flow-controlled fabric. The transfer is a hardware memory operation rather than a software send, so nothing in the data path adds latency, and reductions can run inside the switch as the data flows through.
This is what the per-layer traffic demands: the tensor-parallel all-reduce and the MoE all-to-all stay inside the rack, at full bandwidth and low latency. Beyond the rack, the platform scales out over NVIDIA ConnectX-8 SuperNICs at 800 Gbps per GPU, with NVIDIA Quantum-X800 InfiniBand or NVIDIA Spectrum-X Ethernet, to keep the gradient traffic hidden behind the compute.
Co-design extends beyond the training fabric into infrastructure services and software. In production AI factories, NVIDIA BlueField data processing units (DPUs) provide an isolated infrastructure-processing domain for virtual networking, storage access, security, telemetry, and lifecycle management, reducing host CPU overhead for large-scale training jobs.
Training software covers both sides of the ecosystem. NVIDIA Megatron Core is built and tuned for these GPUs. NVIDIA has also actively contributed to open source frameworks to ensure TorchTitan and JAX run at full speed on GB300 NVL72 systems.
Exceptional pre-training performance with Megatron Core
On the DeepSeek-V3 671B model, using 256 GPUs, Megatron Core reaches 1,648 TFLOPs per GPU on GB300 NVL72, compared to 606 TFLOPs per GPU on earlier GB200 NVL72 results, ~3x higher delivered throughput per GPU in a single generation. **
NVIDIA continues to optimize its software for better performance from the overall platform. On a pre-training workload the size of DeepSeek-v3 671B, those gains compound. On the same GB300 NVL72 rack-scale system, performance increased 1.5x in six months, driven by software improvements. This shows that raw performance and training throughput continue to improve well after the silicon ships.
Leading pre-training frameworks accelerated by NVIDIA
NVIDIA engineers contribute directly to the open frameworks the AI community relies on, adding optimizations that make them faster on NVIDIA GPUs. Developed collaboratively with the PyTorch and JAX communities, these contributions land continuously and improve performance over time.
TorchTitan is PyTorch’s native training stack, and NVIDIA contributions continuously improve its performance on GB300 NVL72. On DeepSeek-V3 671B, these optimizations compound to deliver approximately 6x higher delivered performance on the same infrastructure.
JAX follows the same arc. Over six months, NVIDIA JAX optimizations have lifted performance improvements by nearly 10x on DeepSeek-V3 671B at 256 GPU scale—all from software optimizations. The latest software version reaches an exceptional performance throughput of 1,025 TFLOPS/GPU, and software optimizations continue to evolve from there.
Scaling DeepSeek-V3 671B pre-training from 256 to 1,024 GPUs, Megatron Core holds 98.5% of its per-GPU performance while TorchTitan and JAX each hold 97%, so nearly all the added infrastructure turns into added system-level tokens per second throughput. That efficiency is the scale-out fabric doing its job efficiently as racks are scaled out with 800 Gb/s per-GPU networking; gradient traffic stays hidden behind compute, ensuring that adding more GPUs strictly increases total system throughput instead of bogging the network down with communication overhead.
Setting a world record
Pre-training DeepSeek-v3 671B with 256 GPUs achieves a world record 1,648 TFLOPs per GPU with GB300 NVL72, enabling the same training job to reach the same performance with a fraction of the hardware compared to the previous generation.
The open frameworks tell the same story. Performance continues to improve on the same platform as the software evolves. These results are not the ceiling—they come from a platform whose hardware, interconnect, and software are designed together and continuously optimized. The record-setting performance of today is only the foundation for even higher performance tomorrow.
Get started training frontier models on NVIDIA AI infrastructure
- Explore rack-scale architecture: Discover the GB300 NVL72.
- Scale your workloads: Get started with Megatron-Core for frontier model training.
- Optimize performance: Read the NVIDIA CuteDSL fusion kernel blog posts to boost performance using CUDA graphs.
*Acknowledgements***
Setting a world record on the NVIDIA GB300 NVL72 platform by pre-training the DeepSeek-V3 model reflects the work of many exceptional engineers across the company. We would like to acknowledge the contributions of the following individuals (sorted by last name):
*Aidyn Aitzhan, Michael Andersch, Jan Bernloehr, Santosh Bhavani, Ben Cashman, Carlo del Mundo, Ashraf Eassa, Fabio Paes Leme Ferriani, Matt Frank, Abhinav Goel, Vivek Goel, Elfie Guo, Eric Harper, Munira Hussain, Tomasz Jakubek, Masaki Kozuki, George Kurian, Himangshu Lahkar, Guihong Li, Kibibi Moseley, Nitin Nitin, Devin O’Kelly, Christian M. Sarofeen, Priya Sethuraman, Tejash Shah, Franciszek Szarwacki, John Tran, Qiyu Wan, and Cliff Woolley.*
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み