Meta、広告基盤モデル「GEM」の学習効率を倍増させる手法を公開

記事の3ポイント

1. 1

   トレーニング効率の劇的向上

   Meta は GEM のエンドツーエンド（E2E）トレーニング効率を 20〜25% の MFU に引き上げ、過去 12 ヶ月で総トレーニング FLOPs を 4 倍に拡大した。

2. 2

   計算効率のための独自技術

   Jagged Flash Attention (JFA) や MXFP8 などの混合超低精度トレーニングを推奨ワークロード向けに最適化し、最新 GPU のアーキテクチャを活用するカスタムカーネルライブラリを開発した。

3. 3

   スケーリング効率の革新

   SM フリーのコレクティブ通信と 5D パラレル構成（2D FSDP、Expert Parallelism、Sparse Model Parallelism）を Meta の多層ネットワーク階層と共設計し、通信オーバーヘッドを削減した。