NVIDIA、GB300 NVL72でMoE事前学習の世界記録達成

フロンティアモデルの事前学習は、エキスパート混合（MoE）に収束し、大規模 AI 訓練の限界を根本から変えつつあります。トークンあたりの計算リソースが低下する中、通信効率がいかに数千台の GPU にわたるモデルのスケーリングを左右するかという課題が浮き彫りになっています。

NVIDIA GB300 NVL72 は、DeepSeek-V3 671B の事前学習において GPU あたり 1,648 TFLOPs を達成し、世界記録を更新しました。これは、シリコンからネットワーク、ソフトウェアに至るまで AI プラットフォーム全体での技術進歩が、訓練パフォーマンスを押し上げ続けていることを示す好例です。

事前学習の効率化におけるあらゆる向上は、研究者により大規模なモデルを訓練したり、より多くの実験を行ったり、同じ NVIDIA インフラ上でフロンティアレベルの能力に素早く到達することを可能にします。

業界がこれらの MoE アーキテクチャへと急速にシフトしている背景には、その圧倒的な計算効率があります。すべてのトークンで全パラメータを活性化させ、パラメータ総数に応じてトークンあたりの計算コストが増大する密結合モデルとは異なり、MoE モデルでは各トークンに対してパラメータのサブセットのみが活性化されます。

例えば DeepSeek-V3 は 671B のパラメータを持ちながら、トークンあたり約 37B のパラメータしか活性化しません。これにより、はるかに小規模なモデルと同程度のコストでフロンティア規模を実現しています。

このトレードオフは通信にあります。各エキスパートは別の GPU に配置されているため、MoE 層のたびに各トークンを対応するエキスパートへ分散し、順伝播と逆伝播の両方でオール・トゥー・アールの通信パターンを通じて結果を集約する必要があります。この集合通信がクリティカルパスに位置するため、スループットは計算能力だけでなく通信にも依存することになります。すべてのトレーニングステップで全層で発生するこの通信では、わずかな遅延が積み重なり、最終的には計算処理の間に隠しきれなくなるまで影響が拡大します。その結果、GPU を追加してもスループットは向上しなくなります。

そのため、事前学習には密結合されたスケールアップドメインが必要です。このドメイン内では、すべての GPU が非ブロッキングファブリックを介して互いに通信でき、ドメインが拡大しても高い帯域幅、低レイテンシ、そして完全なバイセクション帯域幅を維持できる必要があります。このような大規模モデルのトレーニングには単一のドメインに収まる以上の GPU が必要となるため、複数のドメインを接続する必要があります。スケールアウトトラフィックは比較的軽量で頻度も低いですが、計算ウィンドウ内で完了し予測可能である必要があり、特定の低速リンクが全体の処理速度を決定づけてはいけません。課題は二段構えであり、成功の基準は理論上のピーク FLOPs ではなく、実際に達成された FLOPs です。

NVIDIA GB300 NVL72：密結合型 AI 事前学習のために設計されたプラットフォーム

2 つの階層にわたる通信課題に対処するには、単なる高速チップではなく、その課題を前提としたシステム設計が必要です。計算能力、スケールアップ用相互接続、スケールアウト用ネットワーク、インフラストラクチャ処理、そしてソフトウェアがそれぞれ負荷の一部を担います。どれか一つでも不足すれば、システム全体の性能が制限されてしまいます。

GB300 NVL72 はこれらの課題を包括的に解決するラック規模のシステムです。極限までの共設計によって構築され、シリコン、相互接続、ネットワーク、ソフトウェアが個別の部品を組み合わせたものではなく、一つのプラットフォームとして統合して設計されています。

その核心にあるのは NVIDIA NVLink です。これは 72 枚の NVIDIA Blackwell Ultra GPU を一体として動作させるスケールアップ用ファブリックです。第 5 世代の NVLink は、各 GPU に 1.8 TB/s の帯域幅を提供し、ラック全体で非ブロッキングかつオール・トゥー・オールの帯域幅 130 TB/s を実現します。これにより、すべての GPU が他のすべての GPU とワンホップで直接通信できます。

幅だけが重要なのではなく、経路もまた重要です。NVLink はメモリセマンティックなアーキテクチャを採用しています。GPU は、ロスレスかつフロー制御されたファブリック上で、ネイティブのロード・ストア操作として相手の HBM に直接アクセスし、読み書きを行います。データ転送はソフトウェアによる送信ではなくハードウェアメモリオペレーションであるため、データパスに遅延が追加されることはありません。また、データがスイッチを流れる間にリダクション処理もスイッチ内部で実行可能です。

各レイヤーごとのトラフィック需要は、テンソル並列化によるアールリデュースと MoE のオールツーオール通信がラック内に収まり、フル帯域幅で低遅延を実現する点にあります。ラックを超えてプラットフォームをスケールアウトさせる際は、GPU あたり 800 Gbps の NVIDIA ConnectX-8 SuperNIC を用い、NVIDIA Quantum-X800 InfiniBand または NVIDIA Spectrum-X Ethernet と組み合わせることで、勾配通信を計算処理の裏側に隠し、パフォーマンスを最大化します。

コデザインはトレーニングファブリットだけでなく、インフラストラクチャサービスやソフトウェアにも及んでいます。本番環境の AI ファクトリーでは、NVIDIA BlueField データ処理ユニット（DPU）が、仮想ネットワーク、ストレージアクセス、セキュリティ、テレメトリ、ライフサイクル管理のための孤立したインフラ処理ドメインを提供します。これにより、大規模なトレーニングジョブにおけるホスト CPU のオーバーヘッドを大幅に削減できます。

トレーニングソフトウェアはエコシステムの両側をカバーしています。NVIDIA Megatron Core はこれらの GPU 向けに設計・チューニングされています。また、TorchTitan や JAX が GB300 NVL72 システム上で最大速度で動作するよう、オープンソースフレームワークへの積極的な貢献も進めています。

Megatron Core を活用した卓越した事前トレーニング性能

DeepSeek-V3 の 671B モデルにおいて、256 基の GPU を使用した GB300 NVL72 環境では、Megatron Core が GPU あたり 1,648 TFLOPs の性能を発揮します。これは、以前の GB200 NVL72 で得られた結果の GPU あたり 606 TFLOPs と比較して約 3 倍の throughput を示しています。

NVIDIA は、プラットフォーム全体のさらなるパフォーマンス向上を目指してソフトウェアの最適化を継続しています。DeepSeek-v3 671B と同等規模の前学習ワークロードにおいて、これらの改善は複合的に効果を発揮します。同じ GB300 NVL72 ラックスケールシステムでも、ソフトウェアの改良により 6 ヶ月間で性能が 1.5 倍向上しました。これは、シリコンが出荷された後も、純粋な性能とトレーニングのスループットが継続して改善され続けることを示しています。

NVIDIA によって加速された主要な前学習フレームワーク

NVIDIA のエンジニアは、AI コミュニティが依存するオープンソースフレームワークに直接貢献し、NVIDIA GPU 上でより高速に動作するための最適化を追加しています。PyTorch や JAX のコミュニティと共同で開発されたこれらの貢献は継続的に取り込まれ、時間の経過とともにパフォーマンスを向上させています。

TorchTitan は PyTorch のネイティブなトレーニングスタックであり、NVIDIA による貢献により GB300 NVL72 上でのパフォーマンスが継続的に向上しています。DeepSeek-V3 671B モデルにおいて、これらの最適化が相乗効果を生み、同じインフラ上で約 6 倍の性能向上を実現しました。

JAX も同様の軌跡をたどっています。過去 6 ヶ月間にわたり、NVIDIA が提供した JAX の最適化 により、DeepSeek-V3 671B モデルの性能が 256 GPU スケールで約 10 倍に向上しました。これはすべてソフトウェア側の最適化による成果です。最新のソフトウェア版では、GPU あたり 1,025 TFLOPS という驚異的なスループットを達成しており、さらなる進化が続いています。

DeepSeek-V3 671B の事前学習を 256 GPU から 1,024 GPU にスケールアウトする際、Megatron Core は 1 GPU あたりの性能の 98.5% を維持し、TorchTitan と JAX もそれぞれ 97% を維持しています。つまり、追加されたインフラはほぼすべて、システム全体のトークン生成速度（スループット）向上に直結していることになります。

この効率性は、ラック単位でのスケールアウトにおいて 1 GPU あたり 800 Gb/s のネットワークが果たす役割の大きさを示しています。勾配通信のトラフィックは計算処理の背後に隠され、GPU を増やすことが純粋にシステム全体のスループット向上につながる一方で、通信オーバーヘッドによってネットワークがボトルネックになることを防いでいます。

image*図 7. GB300 NVL72 上での DeepSeek-V3 671B の事前学習スケーリング。Megatron Core、TorchTitan、JAX はすべて GPU あたりのスループットを維持し、256 GPU から 1,024 GPU へのスケールアウトを実現*。

世界記録の達成

GB300 NVL72 を用いて DeepSeek-v3 671B の事前学習を 256 GPU で実行した結果、GPU あたり 1,648 TFLOPs という世界最高性能を記録しました。これにより、前世代と比較してはるかに少ないハードウェアで同等のトレーニングパフォーマンスを実現できるようになりました。

オープンソースフレームワークの結果も同様の傾向を示しています。プラットフォーム上でソフトウェアが進化するにつれ、性能はさらに向上し続けています。これらの結果は天井ではなく、ハードウェア、相互接続、そしてソフトウェアが一体となって設計され、継続的に最適化されているプラットフォームの成果です。今日の世界記録は、明日さらなる高性能を実現するための基盤に過ぎません。

NVIDIA AI インフラ上で最先端モデルのトレーニングを開始する

• ラックスケールアーキテクチャを探る：GB300 NVL72 の仕組みを解説。
• ワークロードのスケーリング：最先端モデルのトレーニングには Megatron-Core を活用しましょう。
• パフォーマンスの最適化：CUDA グラフを活用してパフォーマンスを向上させるには、NVIDIA CuteDSL 融合カーネルに関するブログ記事をご覧ください。

謝辞

DeepSeek-V3 モデルの事前学習を通じて NVIDIA GB300 NVL72 プラットフォームで世界記録を達成したことは、社内の多くの優秀なエンジニアたちの協力によるものです。以下に貢献者の名前を（姓順）に記載します：

Aidyn Aitzhan, Michael Andersch, Jan Bernloehr, Santosh Bhavani, Ben Cashman, Carlo del Mundo, Ashraf Eassa, Fabio Paes Leme Ferriani, Matt Frank, Abhinav Goel, Vivek Goel, Elfie Guo, Eric Harper, Munira Hussain, Tomasz Jakubek, Masaki Kozuki, George Kurian, Himangshu Lahkar, Guihong Li, Kibibi Moseley, Nitin Nitin, Devin O'Kelly, Christian M. Sarofeen, Priya Sethuraman, Tejash Shah, Franciszek Szarwacki, John Tran, Qiyu Wan, Cliff Woolley。