パス制約付き混合専門家モデル

記事の3ポイント

1. 1

   パス視点による分析

   各層で独立してトークンをルーティングする Sparse MoE の計算を、トークンが全層を通じて通る専門家の選択シーケンス（パス）という観点から再解釈した。

2. 2

   統計的非効率の指摘

   理論上は N 個の専門家と L 層で N^L のパスが存在するが、実際のトークンは言語機能に合致する限られたパスにクラスタリングされ、大部分のパスが未探索であることを明らかにした。

3. 3

   制約型アーキテクチャの提案

   上記の非効率を解消するため、実効的なパス空間を制限する新しいアーキテクチャの研究動機を示唆している。