メタス：ネイティブ記憶機能を備えた基盤モデル「Metis」を発表

記事の3ポイント

1. 1

   ネイティブメモリの定義と形式化

   本研究は、バックボーン内部に永続的かつ動的に進化するメモリ状態が存在し、モデル計算を通じて情報を自律的に保存・利用する手順を備えることを「ネイティブメモリ」として形式化した。

2. 2

   Metis の新アーキテクチャと仕組み

   提案された Metis は、歴史的情報をモデル内部に圧縮し、メモリアテンションを通じてアクセス可能にする新しいアーキテクチャを採用し、推論時には学習済み重みを凍結したままメモリ状態のみが変化する。

3. 3

   効率的なトレーニングと更新プロセス

   大規模なメモリ特化訓練データと複数の最適化目的関数を用いてミッドトレーニングを行い、オンラインメモリ維持は勾配不要で、メモリ更新にはフォワードパスのみが必要となる。