Moonshot AI、MoE 学習向け Expert Parallelism ライブラリ「MoonEP」を公開

記事の3ポイント

1. 1

   Expert Parallelism の不均衡問題への対応

   従来の Expert Parallelism ではルーターの偏りにより一部の専門家が過負荷になるが、MoonEP はこの「最大違反度（maxvio）」を定量化し、構造的な遅延の原因となる不均衡を解消する。

2. 2

   動的冗長専門家による完全バランスの実現

   各ランクが常に S × K トークンを処理するという不変条件を達成するため、ルーター出力に基づいてオンラインで少数の冗長専門家を計画し、事前フェッチと勾配還流を行う。

3. 3

   メモリ効率と計算性能の最適化

   ゼロコピー転送と静的形状（static shapes）を採用することで GPU メモリの断片化を防ぎ、レイヤーごとのホスト同期を不要にするため、Kimi K3 モデルのスケーリング効率が 2.5 倍向上した。