パラメータ・計算量・深さを統制したアテンションのみトランスフォーマーの制御研究

記事の3ポイント

1. 1

   厳密な条件での性能比較

   パラメータ数、トレーニングFLOPs、層数をそれぞれ一致させた条件下で、フィードフォワード層を除去したアテンションのみのトランスフォーマー（SAN）と標準トランスフォーマーを比較した結果、前者も極めて高い性能を示すことが確認された。

2. 2

   アーキテクチャの再配分効果

   フィードフォワード層で使われていた計算リソースをアテンションの深さに再配分することで、両者の性能差はほぼゼロ（0.006 nats）まで縮小し、モデル規模が5Bから105Bに拡大してもこの傾向が維持された。

3. 3

   知識と文脈の役割分担

   アテンションのみのモデルは文脈に基づく回答には優れるが、重みからの知識抽出が必要な領域でわずかに劣るという特性があり、この差は低コンテキストのクエリ予測に集中していることが特定された。