Hugging Face、計算資源に最適化された MoE ループトランスフォーマー「SMELT」のスケール法則を発表

記事の3ポイント

1. 1

   計算リソースに準拠した評価手法の確立

   本研究はアーキテクチャの優位性と追加FLOPsを混同しないよう、トークンあたりのFLOPs、非埋め込みパラメータ数、KVキャッシュ量を厳密に一致させた上でループ型Transformerを評価した。

2. 2

   SMELT手法による効率化と性能向上

   中間層の半分を2回ループさせる「SMELT」レシピにより、計算最適フロンティアにおいて訓練FLOPsを6.8〜18.0%削減し、損失低下速度を改善した。

3. 3

   コード生成における顕著な効果

   検証された性能向上はダウンストリームベンチマークに転移し、特にコード生成タスクで効果が大きく、コンテキスト長やインコンテキスト例の数が増えるほどその差が拡大する。