非均等テンソル並列性による大規模 LLM 学習におけるグッドプットの向上

記事の3ポイント

1. 1

   大規模学習のインフラ課題と Goodput の定義

   数千台の GPU を使用する大規模な LLM 学習では、予期せぬ中断やリソース変動が頻発し、全体の処理速度を低下させる。NVIDIA はこのような状況下で重要となる指標として、単なるハードウェアのスループットではなく、収束に寄与する有用な作業量を表す「Goodput」の概念を強調している。

2. 2

   既存の弾力的スケーリング手法と課題

   従来の弾力的スケーリングでは、データ複製の削減やホットスペアへの切り替えなどが行われるが、これらは利用可能な GPU 数が減少した期間中にスループットの損失やコスト増を招くという課題を抱えている。

3. 3

   非一様テンソル並列化（NTP）の導入

   新提案された NTP は、テンソル並列度の動的調整と必要なデータ再分割の知的なオーバーラップを実現し、スループットへの過剰な負担を最小限に抑えることで、従来の手法を超える効率性を追求する。