#並列計算 のAIニュース

ハイブリッドエキスパート並列によるMixture-of-Expertsトレーニングの通信最適化

NVIDIAが、大規模MoEモデルのトレーニングにおけるエキスパート並列通信の課題を解決するハイブリッド手法を提案した。