NVIDIA NeMo AutoModelによるTransformersの微調整加速

NVIDIAはHugging FaceでNeMo AutoModelを公開し、Qwen3やDeepSeek V3のような大規模Mixture-of-Expertsアーキテクチャの微調整パイプラインを最適化した。同フレームワークはExpert ParallelismとDeepEP融合通信カーネルを導入し、GPUクラスター上で専門的なエキスパート重みを動的に分散させることで、トレーニングスループットを最大3.7倍向上させ、ピークGPUメモリ使用量を32%削減した。