#アテンションのみ のAIニュース

パラメータ・計算量・深さを統制したアテンションのみトランスフォーマーの制御研究

研究者らが、パラメータ数や学習 FLOPs を標準トランスフォーマーと一致させ、フィードフォワードネットワークを除去した SAN の必要性を検証する実験を行った。