#attention mechanism のAIニュース

5件の記事

Kimi K3 の KDA が Gated MLA と AttnRes との連携を解説

Zartbot は Kimi K3 の技術報告書を分析し、KDA（知識駆動アテンション）が Gated MLA や AttnRes とどのように協調して動作するかについて詳述した。

百度は、出力が増加してもメモリ使用量が一定となる「Reference Sliding Window Attention」を採用した 3B パラメータモデル「Unlimited OCR」を発表し、長文の OCR 処理を高速化した。

開発者が公開した「Wall Attention」という技術の GitHub リポジトリが紹介された。具体的な機能や変更点は本文抜粋から読み取れないため、詳細は不明である。

Differential Transformer V2は、V1の2つのアテンションの差分を取るシンプルなアイデアを発展させ、アテンションノイズ抑制やスケーリング効率向上などの改善を実現した。

SakanaAIが、固定されたトークンインデックスではなく、物理的近接性を意味的関連性として扱う従来の言語モデルの非効率性を解決する「コンテキスト再配置」を備えた言語モデル「RePo」を発表した。