#tensor parallelism のAIニュース

非均等テンソル並列性による大規模 LLM 学習におけるグッドプットの向上

NVIDIA は、数千個の GPU を使用した大規模な大規模言語モデル（LLM）の学習において、インフラ上の課題を解決するため、非均等テンソル並列性の手法を導入し、計算効率であるグッドプットを向上させる技術を発表しました。