#スパースモデル のAIニュース

トランスフォーマーにおけるエキスパート混合（MoEs）

トランスフォーマーモデルに複数の専門家ネットワークを組み合わせるMoE手法を紹介。効率的な計算と高性能化を実現する技術で、大規模AIモデルの開発に寄与。