NVIDIA、GB300 NVL72でMoE事前学習の世界記録達成

記事の3ポイント

1. 1

   MoE による計算効率の劇的向上

   Dense モデルとは異なり、MoE アーキテクチャはトークンごとにパラメータの一部のみを活性化するため、DeepSeek-V3 のような大規模モデルでもトークンあたりのコストが大幅に低下する。

2. 2

   通信がボトルネックとなる課題

   MoE 層では各トークンを他の GPU にある専門家に送信・集約する「all-to-all」通信が必須となり、この通信遅延が計算効率を決定するクリティカルパスとなる。

3. 3

   NVIDIA GB300 NVL72 の世界記録達成

   NVIDIA は同社プラットフォーム全体（シリコンからネットワーク、ソフトウェアまで）の進歩により、GB300 NVL72 で DeepSeek-V3 671B を事前学習し、GPU あたり 1,648 TFLOPs の記録を達成した。