#transformerアーキテクチャ のAIニュース

長文音声エンコーディングを用いたセグメントアテンションデコーディング

Apple Machine Learning は、従来の注意機構ベースのモデルが長文音声で位置情報を失う問題を解決するため、キーとバリューの順列不変性を克服する新しい「セグメントアテンションデコーディング」手法を提案した。