#efficient inference のAIニュース
3件の記事
Wall Attention(GitHub リポジトリ)
開発者が公開した「Wall Attention」という技術の GitHub リポジトリが紹介された。具体的な機能や変更点は本文抜粋から読み取れないため、詳細は不明である。
TLDR AI·6月3日·★★★★
エキスパートモデルにおける突発的モジュール性の発見
アレンAIが、事前学習データから直接モジュール化されたエキスパート組織を学習する「EMO」を発表した。このモデルは、全性能を維持しつつタスク実行に必要となるエキスパート数を全体の12.5%に削減できる。
TLDR AI·5月11日·★★★★
再帰型トランスフォーマー:より深い実効深度と効率的なデコーディング
研究者らが、標準的なトランスフォーマーの「時間的浅さ」を克服する新アーキテクチャ「再帰型トランスフォーマー」を発表した。層ごとの再帰性により、各層が内部メモリを継続的に更新し、大規模な層スタックなしで複雑な反復推論を実現する。
TLDR AI·4月29日·★★★★