#moe (mixture of experts) のAIニュース

NVIDIA AI チームが圧縮ハイブリッド MoE LLM「Nemotron Labs 3 Puzzle 75B A9B」を発表し、サーバー処理能力を2.03倍に向上

NVIDIA AI チームは、高精度だが推論コストが高い大規模ハイブリッドMoEモデル「Nemotron-3-Super」の圧縮版として、「Nemotron Labs 3 Puzzle 75B A9B」を公開した。この新モデルは総パラメータ数とアクティブパラメータ数を削減し、サーバーのスループットを2.03倍に向上させることに成功した。