非均等テンソル並列性による大規模 LLM 学習におけるグッドプットの向上
NVIDIA は、大規模 LLM 学習における非一様テンソル並列化（NTP）技術により、GPU の故障やリソース変動時でもスループットを維持し、有用な計算作業である「Goodput」を最大化する手法を発表した。
キーポイント
大規模学習におけるインフラ課題と Goodput の重要性
数千 GPU を使用する長時間の LLM 学習では、予期せぬ中断やリソース変動が全体の効率を著しく低下させるため、単なるスループットではなく「有用な収束駆動作業」を示す Goodput が重要指標となる。
非一様テンソル並列化（NTP）による動的適応
NTP は、故障したデバイスを検知するとテンソル並列度の度合いを動的に調整し、必要なデータ再分割（resharding）を重畳処理することで、スループットへのオーバーヘッドを最小化する。
既存手法との比較とパフォーマンス維持
従来のデータープリケーションの削減やホットスペアへの切り替えはコスト増やスループット低下を招くが、NTP は動的な電力ブーストと組み合わせることで、リソース変動下でも一貫したパフォーマンスを維持する。
Blackwell システムにおける NVLink 活用
NVIDIA Blackwell および Ultra システムでは、72 GPU を 1,800 GB/s で接続する NVLink が利用可能であり、NTP はこの高速インターコネクトを活用して単一ホップ内のオール・トゥー・オール通信を最適化する。
Blackwell Ultra シリーズのスケールアップドメイン拡大
NVIDIA Blackwell Ultra HGX B300 NVL8 は従来の 8 GPU から、GB300 NVL72 では 72 GPU に至る大規模なスケールアップドメインを実現し、非均一テンソル並列処理の基盤となっている。
大規模 LLM 学習における Goodput の最適化
非均一テンソル並列（Nonuniform Tensor Parallelism）を適用することで、通信オーバーヘッドを削減し、大規模な GPU クラスターでのトレーニング効率（Goodput）を大幅に向上させる。
動的なTP度合の適応
GPU の中断が発生した際、システムは影響を受けたグループを特定し、利用可能な GPU のみに基づいてテンソル並列性（TP）度を自動的に再構成します。これにより、一部のリソースに問題があっても計算を継続し、トレーニングの生産性を維持できます。
重要な引用
"Goodput represents the critical measure of useful, convergence-driving work completed, rather than just raw hardware throughput."
"NTP's core contribution is its ability to sustain high Goodput by preventing transient device issues from stalling large, interconnected training jobs."
"By dynamically adjusting the tensor parallelism degree and intelligently overlapping the necessary data resharding, NTP minimizes lost time and computational effort."
The figure shows the B300 scale-up domain size of 8 GPUs while GB300 has a much larger scale-up domain size of 72 GPUs.
The fundamental idea behind NTP is to ensure a DP replica remains productive even during transient hardware interruptions.
If a TP group of eight GPUs experiences one drop-out, it can dynamically switch to a TP degree of seven.
影響分析・編集コメントを表示
影響分析
本記事で示された NTP は、大規模 LLM トレーニングにおけるインフラの信頼性と効率性を根本から改善する画期的なアプローチであり、数千 GPU を用いたトレーニングの成功率とコスト効率を劇的に向上させる可能性があります。特に Blackwell アーキテクチャとの相性が良く、実運用レベルでの障害耐性（Resilience）を高めることで、企業や研究機関がより大規模かつ安定的にモデル学習を行える基盤を提供します。
編集コメント
大規模 AI モデルの学習コストと時間を削減するために、ハードウェアの物理的制約をソフトウェア層で柔軟に克服する技術が実用化されつつあります。NVIDIA のこのアプローチは、次世代の超並列計算環境における標準的な障害対応戦略となる可能性が高いです。
大規模な LLM のトレーニングは、特に数千台の GPU にまたがり長期にわたって実行される場合、独自のインフラストラクチャ上の課題をもたらします。これらのジョブが長く実行されるほど、予期せぬ中断やリソースの変動に遭遇する可能性が高まります。たとえ頻度の低いデバイスの利用不可であっても、密接に相互接続されたクラスターにおいて過大な影響を及ぼし、特定のトレーニングランでスローダウンを引き起こすことがあります。
大規模なトレーニングジョブにおいては、利用可能な GPU の数に応じてジョブを弾力的に適応させることが、Goodput（実効処理量）を向上させる強力な手法です。AI トレーニングの文脈において、Goodput は単なるハードウェアのスループットではなく、有用で収束を促進する作業が完了したことを示す重要な指標を表します。
現在の弾力的スケーリングのための効果的な方法には、データレプリカの削除、高速なチェックポイントからの再起動の利用、またはホットスペアへの切り替えが含まれます。これらの手法により、LLM ジョブは GPU の利用状況の変化に適応しつつ、システム全体のバランスを維持することができます。しかし、トレーニングジョブが利用可能なリソースが減少した状態で実行されている期間中、これらにはある程度のスループットの損失とコストの上昇も伴います。
最近発表された Nonuniform Tensor Parallelism（NTP）に関する論文は、スループットオーバーヘッドを最小限に抑えながらこれらの手法を発展させる、先見的な実験的フレームワークを紹介しています。潜在的な動的電力増強と組み合わせることでパフォーマンス低下を相殺し、スループットを一定に保つことで、中断を管理可能かつ回復可能な事象へと変換します。
NTP の中核的な貢献は、一時的なデバイス障害が大規模で相互接続されたトレーニングジョブを停止させるのを防ぎながら、高い Goodput を維持する能力にあります。テンソル並列度の動的調整と必要なデータ再分割の知的な重なり合わせにより、NTP は失われる時間と計算リソースを最小化します。
これにより、クラスターは動作時間の最大限を有益な作業に費やすことになり、ハードウェア状況が変動してもトレーニング実行全体の整合性と効率性が維持されます。
大規模トレーニングにおける課題
AI モデルのトレーニングは、数千台の GPU にまたがる並列作業です。これらのワークロードを並列化するための一般的な手法としてテンソル並列性（Tensor Parallelism: TP）があります。これは、ニューラルネットワークの層を密結合された GPU グループに分割する技術です。このグループ内の GPU 数は、スケールアップドメインと一致しており、NVIDIA NVLink などの高速インターコネクトで相互接続されています。NVIDIA Blackwell および NVIDIA Blackwell Ultra システムでは、NVLink は最大 72 台の GPU を 1,800 GB/s で接続し、単一のホップ内でオール・トゥー・オール通信をサポートします。
image*図 1. NVIDIA Blackwell Ultra HGX B300 NVL8 と NVIDIA GB300 NVL72 のスケールアップドメインサイズの比較*
典型的なシナリオでは、最先端の LLM はラックのクラスター全体でトレーニングされます。各ラックには複数のサーバーが収容されており、単一のラックのサーバー群がスケールアップドメインを形成し、1 つの TP グループを構成します。データ並列性（DP）は、モデルを複数のこのようなスケールアップドメインに複製し、それぞれが異なるデータバッチを処理します。スケールアップドメイン内の GPU ステータスの変化は、その TP グループの効率に影響を与える可能性があります。同じ TP グループ内の GPU は密結合された計算を共有するため、1 つのデバイスに問題が生じるとトレーニングパフォーマンスが低下したり、進捗を維持するために一時的な再バランスが必要になったりします。
データセンターアーキテクチャがより大規模なスケーリングドメイン（8 台から 72 台、あるいはそれ以上の GPU）をサポートするように進化するにつれ、すべての健全なデバイスの生産的な稼働時間を最大化することが、高いグッドプット（Goodput：実効スループット）を達成するための鍵となります。
論文では、局所的で一時的な中断が全体のトレーニングスループットを決定させるのではなく、システムはアクティブな GPU の绝大多数を継続的に処理し続けるように設計できると指摘しています。このハードウェアの変動に適応することで、クラスターは大規模モデルのトレーニング中にグッドプットを最適化するために必要な高効率なリソース利用を維持できます。
トレーニング通常は、各ステージが先行するステップのタイムリーな完了に依存するパイプライン形式で行われます。ある TP グループ（Tensor Parallelism Group：テンソル並列処理グループ）内で 1 つの GPU に遅延が生じると、そのグループ全体での同期や処理が遅れ、システムが回復するか負荷を再分配するまで、一時的な停止やスループットの低下を引き起こす可能性があります。
NTP がトレーニングを維持する方法
NTP（Nonuniform Tensor Parallelism：非均等テンソル並列）の根本的な考え方は、一時的なハードウェア中断中であっても DP レプリカ（Data Parallel replica：データ並列レプリカ）が生産性を保ち続けることを保証することです。最新のチェックポイントから再開すると、モデルは利用可能なハードウェアに合わせて自動的に設定を適応させ、部分的な機能を維持しながらパイプラインが完全に停止することなく稼働し続け、そのレプリカの貢献を失わないようにします。
以下では、NTP がこのレジリエンス（耐障害性）を実現する方法について詳しく解説します。
動的 TP 度合い適応
スケールアップドメイン内の GPU が中断に遭遇した場合、システムは影響を受けたグループを特定し、テンソル並列性を自動的に再構成して、残りの機能的な GPU のみを活用します。例えば、8 個の GPU で構成される TP グループで 1 つがダウンした場合、TP デグリーを動的に 7 に切り替えることができます。このモデルシャードは計算を継続し、その貢献分の完全な喪失を防ぎます。グループ内の残りの GPU は個別の負荷を増加させ、リソースの一部に問題が発生している場合でも、トレーニングジョブが高いグッドプットと可用性を維持できるようにします。
パフォーマンス補償のためのパワーブースト
TP デグリーを削減するだけでは、グローバルスループットを維持することはできません。GPU 数が少ない DP レプリカは本質的に低速で動作するため、最も遅いレプリカの完了を待って、全体の DP システムが停止してしまいます。これを防ぐため、本研究では電気的・熱的な能力を向上させたラック設計を提案しています。この設計により、可用性が低下したスケールアップドメインに対してパワーブーストが可能になります。影響を受けたドメイン内のアクティブな GPU に供給される電力を動的に増加させることで、クロック周波数と計算スループットを一時的に引き上げることができます。
TP デグリーを低減した DP レプリカは、他の完全に機能するレプリカと効果的に追いつき、ペースを維持することで、グローバル同期のボトルネックを防ぎ、局所的なハードウェアの変動があってもクラスターの Goodput が高度に最適化された状態を保証します。
効率的な再シャード
TP デグリーの動的調整には、残りの GPU 間でモデルのテンソル シャードを再分配するための効率的なメカニズムが必要です。NTP は、他の計算ステージと重畳させる巧妙な 再シャード (resharding) 技術を採用しています。
この再シャードを逆伝播計算およびパラメータ同期フェーズ中に実行することで、健全なレプリカに導入されるオーバーヘッドは最小化され、通常は 1% を下回る程度になります。この慎重なスケジューリングにより計算効率が最大化され、適応機構自体がパフォーマンスのボトルネックとなることなく、最適な Goodput がシームレスに維持されます。
image*図 2. NTP は勾配の再シャードを逆伝播計算および同期と重畳させることで、コストを効率的に隠蔽します*
NTP は、スケーリングされた AI 学習へのより堅牢な道筋を構築する
本稿は、大規模 AI 学習に内在する課題に対処するために、ハードウェアとソフトウェアを協調設計することの決定的な重要性を強調しています。動的電力ブーストに必要な電気的・熱的な余裕を提供する先進的なラック設計との NTP（Nonuniform Tensor Parallelism）の統合は、思慮深いハードウェア革新が洗練されたソフトウェアソリューションをいかに深く補完し得るかを示す好例です。
このハードウェアとソフトウェアの相乗関係は、次世代 AI システムにおけるより高いパフォーマンス、効率性、安定したグッドプット（Goodput）、そして回復力を引き出すために不可欠です。先駆的な実験的機能として、NTP は回復力が並列化戦略に直接組み込まれた場合に何が実現可能かを示しています。
この基盤の上に、研究はすでに、標準的なテンソル並列化が最適ではない混合専門家（Mixture-of-Experts: MoE）モデルにおける回復力を最適化する非均質専門家並列化（Nonuniform Expert Parallelism: NEP）への概念の拡張に向けて進められています。
開発者ブランチへの最近の追加を含む詳細については、NVIDIA Resiliency Extension (NVRx) または Nonuniform Tensor Parallelism Readme で利用可能な本番環境対応の障害耐性および回復力機能をご覧ください。これらは、NVIDIA Megatron Core の開発者ブランチへの最近の追加に関する情報を得るためのものです。
原文を表示
Training LLMs at massive scale brings unique infrastructure challenges, especially as jobs span thousands of GPUs and run for extended periods. The longer these jobs run, the greater the likelihood of encountering unscheduled interruptions or resource fluctuations. Even infrequent device unavailability can have outsized effects on tightly interconnected clusters, resulting in slowdowns for a given training run.
For large-scale training jobs, elastically adapting the job to the number of available GPUs is a powerful method to improve Goodput. In the context of AI training, Goodput represents the critical measure of useful, convergence-driving work completed, rather than just raw hardware throughput.
Effective methods for elastic scaling today include dropping a data replica, utilizing fast checkpoint-restarts, or swapping to hot spares. These methods enable LLM jobs to adapt to GPU availability changes while maintaining balance across the system. However, they also incur some amount of lost throughput and higher cost during the period that the training job is running in a reduced availability condition.
A recent paper on Nonuniform Tensor Parallelism (NTP) introduces a forward-looking, experimental framework that builds on these methods in a way that minimizes throughput overheads. Combined with potential dynamic power boosting to offset any performance loss, throughput remains steady, transforming interruptions into manageable and recoverable events.
NTP’s core contribution is its ability to sustain high Goodput by preventing transient device issues from stalling large, interconnected training jobs. By dynamically adjusting the tensor parallelism degree and intelligently overlapping the necessary data resharding, NTP minimizes lost time and computational effort.
This ensures the cluster spends a maximal amount of its operating time performing useful work, preserving the overall integrity and efficiency of the training run even as hardware conditions fluctuate.
Challenges with large-scale training
AI model training is a parallel undertaking, spanning thousands of GPUs. A common technique to parallelize these workloads is tensor parallelism (TP), where the layers of the neural network are split across a tightly-coupled group of GPUs. The number of GPUs in this group coincides with the scale-up domain, which is interconnected with high-speed interconnects like NVIDIA NVLink. On NVIDIA Blackwell and NVIDIA Blackwell Ultra systems, NVLink connects up to 72 GPUs at 1,800 GB/s, supporting all-to-all communication within a single hop.
In a typical scenario, a frontier LLM is trained across a cluster of racks, each housing multiple servers. A single rack of servers forms the scale-up domain and makes up a single TP group. Data parallelism (DP) then replicates the model across multiple such scale-up domains, each processing a different batch of data. A change in GPU status within a scale-up domain can affect the efficiency of that TP group. Because GPUs in the same TP group share tightly coupled computations, an issue with one device may reduce training performance or require temporary rebalancing to maintain progress.
As data center architectures evolve to support larger scale-up domains, going from eight to 72 GPUs and beyond, maximizing the productive uptime of every healthy device becomes the key to achieving high Goodput.
The paper notes that rather than allowing localized, transient interruptions to dictate overall training throughput, systems can be designed to keep the vast majority of active GPUs continuously processing. By adapting to these hardware fluctuations, clusters can maintain the highly efficient resource use required to optimize Goodput during large-model training at scale.
Training usually involves a pipeline where each stage depends on the timely completion of prior steps. If one GPU experiences delays within a TP group, it can slow synchronization or processing across that group, causing temporary stalls or reduced throughput until the system recovers or redistributes the workload.
How NTP maintains training
The fundamental idea behind NTP is to ensure a DP replica remains productive even during transient hardware interruptions. Upon resuming from the latest checkpoint, the model automatically adapts its configuration to the available hardware, maintaining partial functionality to keep the pipeline moving without completely losing that replica’s contribution.
The following dives deeper into how NTP achieves this resilience.
Dynamic TP degree adaptation
When a GPU within a scale-up domain experiences an interruption, the system identifies the affected group and automatically reconfigures its tensor parallelism to utilize only the remaining functional GPUs. For example, if a TP group of eight GPUs experiences one drop-out, it can dynamically switch to a TP degree of seven. That model shard continues its computations, preventing a complete loss of its contribution. The remaining GPUs within the group increase their individual workload, enabling the training job to maintain high Goodput and availability even when a subset of resources is experiencing issues.
Power boosting for performance compensation
Reducing the TP degree isn’t enough to maintain global throughput. A DP replica with fewer GPUs will inherently run slower, causing the entire DP system to stall, waiting for the slowest replica. To counteract this, the study proposes a rack design that incorporates improved electrical and thermal capabilities. This design enables power-boosting of the scale-up domains with reduced availability. By dynamically increasing the power supplied to the active GPUs in an affected domain, clock frequencies and computational throughput can be temporarily elevated.
The DP replica with the reduced TP degree can effectively catch up and keep pace with the other, fully functional replicas, preventing global synchronization bottlenecks and ensuring that the cluster’s Goodput remains highly optimized despite localized hardware fluctuations.
Efficient resharding
The dynamic adjustment of the TP degree requires an efficient mechanism for redistributing the model’s tensor shards among the remaining GPUs. NTP employs a clever resharding technique overlapped with other computational stages.
By performing this resharding during the backward computation and parameter synchronization phases, the overhead introduced to healthy replicas is minimized, often to less than 1%. This careful scheduling maximizes compute efficiency, seamlessly sustaining optimal Goodput without the adaptation mechanism itself becoming a performance bottleneck.
NTP builds a more resilient path to scaled AI training
This work underscores the critical importance of co-designing hardware and software to address the challenges inherent in large-scale AI training. The integration of NTP with advanced rack designs, which provide the electrical and thermal headroom needed for dynamic power-boosting, serves as a prime example of how thoughtful hardware innovations can profoundly complement sophisticated software solutions.
This symbiotic relationship between hardware and software is essential for unlocking higher levels of performance, efficiency, steady Goodput and resilience in the next generation of AI systems. As a forward-looking, experimental feature, NTP demonstrates what’s possible when resilience is baked directly into the parallelism strategy.
Building on this foundation, research is already underway to extend these concepts to Nonuniform Expert Parallelism (NEP), optimizing resilience for Mixture-of-Experts (MoE) models where standard tensor parallelism is less ideal.
Check out production-ready fault tolerance and resiliency features available in NVIDIA Resiliency Extension (NVRx) or the Nonuniform Tensor Parallelism Readme to learn more about its recent addition to the developer branch of NVIDIA Megatron Core.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み