マイクロソフト、フルバンド幅トランスフォーマーを発表

記事の3ポイント

1. 1

   ラテンフィードバック機構の導入

   従来のデコーディングステップで破棄されていた上位層隠れ状態をゲート付き線形ユニットを通じて入力に融合させ、非言語化された計算をスタックに戻す仕組みを採用した。

2. 2

   並列教師強制の維持と学習戦略

   事前学習の後半でラテンフィードバックを導入し、深いフィードバックパスを少量混ぜるスケジュール付き多パス目的関数を用いることで、並列教師強制による学習効率を損なわないようにした。

3. 3

   性能向上と推論効率の両立

   1B パラメータモデルで400B トークン訓練した結果、検証損失や数学・コーディング生成性能が向上し、同等以上の精度でより短い推論トレースを生成できることを確認した。