Adobe Research、状態空間モデルを用いたビデオワールドモデルの長期記憶の実現

アクションを条件として未来のフレームを予測するビデオ・ワールドモデルは、人工知能において極めて大きな可能性を秘めており、エージェントが動的な環境で計画を立てたり推論を行ったりすることを可能にします。特にビデオ拡散モデルにおける最近の進展は、現実的な未来シーケンスを生成する能力において印象的な成果を示しています。しかし、依然として重大なボトルネックが存在します。それは長期記憶の維持です。従来のアテンション層を用いて拡張されたシーケンスを処理することに伴う高い計算コストのため、現在のモデルは過去の遠い時点での出来事や状態を記憶することが困難です。これにより、シーンに対する持続的な理解を必要とする複雑なタスクを実行する能力が制限されています。 スタンフォード大学、プリンストン大学、および Adobe Research の研究者らによる新しい論文「Long-Context State-Space Video World Models」は、この課題に対する革新的な解決策を提案しています。彼らは、計算効率性を犠牲にすることなく時間的な記憶を拡張するために、State-Space Models（状態空間モデル）を活用する新たなアーキテクチャを導入しました。 中核となる問題は、アテンション機構の計算複雑度がシーケンス長に対して二次関数的である点にあります。ビデオのコンテキストが拡大すると、アテンション層に必要なリソースが爆発的に増加し、長期記憶は実世界での応用において現実的なものではなくなります。つまり、一定数のフレームを経過した後、モデルは本質的に以前の出来事を「忘却」してしまい、広範囲にわたる整合性や長時間にわたる推論を要求するタスクにおけるパフォーマンスが阻害されます。 著者たちの核心的な洞察は、因果的なシーケンスモデリングにおける状態空間モデル（SSM）の固有の強みを活用することにあります。非因果的なビジョンタスク向けに SSM を後付けした以前の試みとは異なり、この研究ではシーケンス処理の効率性におけるその利点を完全に活用しています。 提案された長文脈状態空間動画世界モデル（LSSVWM）は、いくつかの重要な設計選択を取り入れています： ブロック単位 SSM スキャン方式：これは彼らの設計の中核です。単一の SSM スキャンで動画シーケンス全体を処理するのではなく、ブロック単位のスキャンを採用しています。これにより、ブロック内の空間的一貫性（spatial consistency）をある程度犠牲にする代わりに、時間的な記憶を大幅に拡張するという戦略的なトレードオフを実現します。長いシーケンスを管理可能なブロックに分解することで、ブロック間を通じて情報を運ぶ圧縮された「状態」を維持し、モデルの記憶範囲を実質的に延長しています。 密な局所アテンション：ブロック単位 SSM スキャンによって導入される可能性のある空間的整合性の欠損を補うため、モデルは密な局所アテンション（dense local attention）を組み込んでいます。これにより、ブロック内およびブロック間における連続するフレーム間の強い関係性が保たれ、現実的な動画生成に必要な微細な詳細と一貫性が維持されます。このグローバル（SSM）とローカル（アテンション）処理の二重アプローチにより、長期記憶と局所的忠実度の両方を達成することが可能になります。 ![image](https://i0.wp.com/syncedreview.com/wp-content/uploads/2025/05/image-3.png?resize=586%2C883&ssl=1) 本論文では、長文脈性能をさらに向上させるために、2 つの重要なトレーニング戦略も紹介されています。 Diffusion Forcing：この手法は、モデルが入力の一部（プレフィックス）を条件としてフレームを生成することを促し、結果的に長い時間範囲にわたる一貫性を維持する学習を強制的に行わせます。時折プレフィックスのサンプリングを行わず、すべてのトークンをノイズ状態のまま保持することで、トレーニングは Diffusion Forcing と同等のものとなり、これはプレフィックス長がゼロという特殊なケースとしての長文脈トレーニングとして強調されています。これにより、モデルは最小限の初期コンテキストからでも一貫したシーケンスを生成できるようになります。 Frame Local Attention：より高速なトレーニングとサンプリングを実現するために、著者らは「フレームローカルアテンション（frame local attention）」メカニズムを実装しました。これは FlexAttention を活用することで、完全な因果マスクと比較して大幅な速度向上を実現します。フレームをチャンク（例：5 つのフレームからなるチャンク、フレームウィンドウサイズ 10）にグループ化し、同一チャンク内のフレームは双方向性を維持しつつ、前のチャンクのフレームにもアテンションを向けることができます。これにより、有効な受容野を確保しながら計算負荷を最適化します。 ![image](https://i0.wp.com/syncedreview.com/wp-content/uploads/2025/05/image-4.png?resize=605%2C729&ssl=1) 研究者らは、空間的な検索および推論タスクを通じて長期的な記憶能力をテストするために特別に設計された Memory Maze や Minecraft といった困難なデータセットを用いて、LSSVWM の評価を行いました。 実験により、本手法が長距離の記憶を保持する点において既存手法を大幅に上回ることが示されました。補足図（S1, S2, S3 など）に示される定性的な結果からは、因果的アテンションのみ、あるいはフレームローカルアテンションを持たないMamba2 などのモデルと比較して、LSSVWM がより一貫性があり正確なシーケンスを長時間にわたって生成できることがわかります。例えば、迷路データセットにおける推論タスクでは、本モデルは長い時間範囲においてより高い一貫性と精度を維持します。同様に、検索タスクにおいても、LSSVWM は遠く過去のフレームからの情報を想起し活用する能力が向上していることを示しています。重要なのは、これらの改善が実用的な推論速度を維持しながら達成されている点であり、これによりモデルは対話型アプリケーションに適したものとなっています。 ![image](https://i0.wp.com/syncedreview.com/wp-content/uploads/2025/05/image-5.png?resize=595%2C339&ssl=1) 論文「Long-Context State-Space Video World Models」は arXiv に掲載されています。

Adobe Research、状態空間モデルを用いたビデオワールドモデルの長期記憶の実現

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

調べる

選ぶ

サイト