MemoryLLM：トランスフォーマー向けのプラグ・アンド・プレイ型解釈可能なフィードフォワードメモリ

Apple Machine Learning は、トランスフォーマーの構成要素を解明する研究の一環として、フィードフォワードモジュールと自己注意機構を分離し、文脈に依存しないトークンごとのニューラル検索メモリを実現する「MemoryLLM」を発表した。