#megatron-lm のAIニュース

NVIDIA MegatronによるLLM学習高速化へ向けた新世代オプティマイザの高度化

NVIDIAは、ニューラルネットワーク学習で実績のある高次最適化アルゴリズム「Shampoo」などをNVIDIA Megatronで高度化し、大規模言語モデル（LLM）の学習速度を大幅に向上させる技術を開発した。