Full-bandwidth Transformer の発表

記事の3ポイント

1. 1

   ラテンフィードバック機構の実装

   従来のトランスフォーマーがデコーディングステップ間で狭い垂直フィードバックしか持たないのに対し、本手法は直前の上位層隠れ状態をサンプルされたトークン埋め込みと融合させ、次の入力として再帰的に供給する。

2. 2

   並列教師強制学習の維持

   事前トレーニング中に遅くからラテンフィードバックを導入し、深いフィードバックパスを少量混ぜるスケジュール付きマルチパス目標を用いることで、並列教師強制学習の利点を損なわずに訓練可能である。

3. 3

   性能と効率性の向上

   10 億パラメータ規模で 4,000 億トークンまで訓練した結果、検証損失や数学・コーディング生成、指示微調整性能が改善し、標準トランスフォーマーの約 1.5 倍のトークン数に匹敵する精度を達成した。