メタス:ネイティブ記憶機能を備えた基盤モデル「Metis」を発表
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
AI エージェントのメモリ実装が外部モジュールに依存する現状に対し、ネイティブな記憶能力を基盤モデルに組み込む「Memory Foundation Model」である Metis を提案した。
AI深層分析を開く2026年8月4日 15:21
AI深層分析
キーポイント
ネイティブメモリの定義と形式化
本研究は、バックボーン内部に永続的かつ動的に進化するメモリ状態が存在し、モデル計算を通じて情報を自律的に保存・利用する手順を備えることを「ネイティブメモリ」として形式化した。
Metis の新アーキテクチャと仕組み
提案された Metis は、歴史的情報をモデル内部に圧縮し、メモリアテンションを通じてアクセス可能にする新しいアーキテクチャを採用し、推論時には学習済み重みを凍結したままメモリ状態のみが変化する。
効率的なトレーニングと更新プロセス
大規模なメモリ特化訓練データと複数の最適化目的関数を用いてミッドトレーニングを行い、オンラインメモリ維持は勾配不要で、メモリ更新にはフォワードパスのみが必要となる。
アーキテクチャ上の利点の実証
広範な実験により、ネイティブメモリがアーキテクチャ、エンドツーエンド最適化、効率性の面で優位性を持つことを示し、その強みと限界、振る舞いについて詳細な分析を提供した。
重要な引用
agent memory is still primarily implemented through external modules, leaving the native memory capability largely unexplored
Metis introduces a new architecture that equips a foundation model with a native memory state
The online memory maintenance of Metis is gradient-free, and the memory update requires only a forward pass
編集コメントを表示
編集コメント
外部モジュールに依存しない「ネイティブメモリ」の実現は、AI エージェントの設計思想を大きく変える可能性を秘めている。この研究が公開されたことで、今後のエージェント開発における記憶機構の標準的なアプローチが再定義される期待が高まる。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
AI エージェントの最新動向では、ネイティブな機能を基盤モデルに内蔵する動きが加速しており、マルチモーダル基盤モデルや大規模推論モデルが登場しています。しかし、エージェントの記憶機能は依然として外部モジュールによって実装されることが多く、ネイティブな記憶能力の可能性は十分に探求されていません。
本論文では、この方向性への第一歩として、ネイティブな記憶機能を備えた基盤モデル「メモリ・ファウンデーションモデル」を提案します。ネイティブな記憶を二つの視点から定義しました。一つはバックボーン内部に存在し、永続的かつ動的に変化する記憶状態です。もう一つは、モデルの計算を通じて情報を自律的に保存・活用するネイティブな記憶手順です。
我々は、ネイティブな記憶がアーキテクチャ、エンドツーエンド最適化、そして効率性の面で優位性を持つことを示しました。この定義に基づき、メモリ・ファウンデーションモデルの最初のプロトタイプ「Metis」を提案します。Metis は、基盤モデルにネイティブな記憶状態を持たせる新しいアーキテクチャを導入し、過去の情報をモデル内部に圧縮して、メモリアテンションを通じてアクセス可能にしました。
我々は大規模なメモリ特化型トレーニングデータを構築し、複数の最適化目標を設けることで、中間学習段階でこれらのネイティブな記憶手順を獲得します。Metis のオンラインでのメモリ維持は勾配不要であり、メモリ更新にはフォワードパスのみが必要です。
推論時には、学習済みのモデル重みはすべて凍結された状態のまま維持され、ネイティブなメモリ状態のみが標準的な順方向計算を通じて自律的に変換されます。広範な実験を通じて、Metis がネイティブなメモリ能力を備えていることを示し、その強みや限界、振る舞いについて詳細な分析を行いました。今後のメモリ基盤モデルに関する研究を促進するため、プロジェクトとモデルのチェックポイントを公開します。
原文を表示
Recent advances in AI agents have increasingly internalized native capabilities into their underlying foundation models, giving rise to multimodal foundation models and large reasoning models. However, agent memory is still primarily implemented through external modules, leaving the native memory capability largely unexplored. In this paper, we take a first step toward this direction by introducing memory foundation models, which empower foundation models with native memory capabilities. We formalize native memory from two perspectives: a persistent and dynamically evolving memory state within the backbone, and native memory procedures that autonomously store and utilize information through model computation. We show that native memory offers advantages in architecture, end-to-end optimization, and efficiency. Based on this formulation, we propose Metis, the first prototype of memory foundation models. Metis introduces a new architecture that equips a foundation model with a native memory state, allowing historical information to be compressed into the model and accessed through memory attention. We construct large-scale memory-specific training data and introduce multiple optimization objectives to acquire these native memory procedures through mid-training. The online memory maintenance of Metis is gradient-free, and the memory update requires only a forward pass. At inference time, all learned model weights remain frozen, while the native memory states are autonomously transformed through standard forward computation. Through extensive experiments, we show that Metis exhibits native memory capabilities and further provide a detailed analysis of its strengths, limitations, and behaviors. To facilitate future research on memory foundation models, we release our project and model checkpoints.
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み