#transformer models のAIニュース

2件の記事

長文音声エンコーディングを用いたセグメントアテンションデコーディング

Apple Machine Learning は、従来の注意機構ベースのモデルが長文音声で位置情報を失う問題を解決するため、キーとバリューの順列不変性を克服する新しい「セグメントアテンションデコーディング」手法を提案した。

BioHubの科学責任者であるAlex Rives氏は、言語モデルをタンパク質配列に適用する手法で生物学的構造や機能を学習した成果について言及し、ESMFold2の登場によりタンパク質解析分野でも「苦い教訓」が再燃する可能性を示唆している。