全身条件付き自己中心視点動画予測

**全身条件付きエゴセントリック動画予測** ![](https://bair.berkeley.edu/static/blog/peva/teaserv3_web.png) 人間の行動からのエゴセントリック動画予測 (PEVA)。過去の動画フレームと、望ましい3D姿勢の変化を指定する行動が与えられると、PEVAは次の動画フレームを予測します。結果は、最初のフレームと一連の行動が与えられた場合、我々のモデルが個別行動の動画を生成し(a)、反事実的シミュレーションを行い(b)、長い動画生成を可能にする(c)ことを示しています。 近年、計画と制御のための未来の結果をシミュレートすることを学習する世界モデルにおいて、大きな進展がありました。直感的物理学から多段階の動画予測まで、これらのモデルはますます強力で表現力豊かになってきています。しかし、真に具現化されたエージェントのために設計されたものはほとんどありません。具現化エージェントのための世界モデルを作成するには、実世界で行動する実際の具現化エージェントが必要です。実際の具現化エージェントは、抽象的な制御信号とは対照的に、物理的に接地された複雑な行動空間を持ちます。また、多様な実生活のシナリオで行動し、美的なシーンや固定カメラとは対照的に、エゴセントリックな視点を備えていなければなりません。 💡 ヒント: 画像をクリックするとフル解像度で表示されます。 行動と視覚は、文脈に大きく依存します。同じ視界が異なる動きにつながることもあれば、その逆もあります。これは、人間が複雑で、具現化され、目標指向の環境で行動するためです。 人間の制御は高次元で構造化されています。全身の動きは、階層的で時間依存のダイナミクスを持つ48以上の自由度に及びます。 エゴセントリックな視界は意図を明らかにしますが、身体を隠します。一人称視点の視覚は目標を反映しますが、動きの実行は反映せず、モデルは見えない身体的行動から結果を推論しなければなりません。 知覚は行動に遅れます。視覚的フィードバックはしばしば数秒後にやってくるため、長期的な予測と時間的推論が必要となります。 具現化エージェントのための世界モデルを開発するには、これらの基準を満たすエージェントに我々のアプローチを基盤としなければなりません。人間は通常、まず見て次に行動します——目は目標に固定され、脳は結果の短い視覚的「シミュレーション」を実行し、その後に初めて身体が動きます。あらゆる瞬間において、我々のエゴセントリックな視界は、環境からの入力として機能すると同時に、次の動きの背後にある意図/目標を反映しています。身体の動きを考えるとき、足の行動（移動とナビゲーション）と手の行動（操作）の両方、あるいはより一般的には全身制御を考慮すべきです。 **我々は何をしたか？** ![](https://bair.berkeley.edu/static/blog/peva/what_did_we_do_web.png) 我々は、全身条件付きエゴセントリック動画予測のために、人間の行動からのエゴセントリック動画予測 (PEVA) モデルを訓練しました。PEVAは、身体の関節階層によって構造化された運動学的姿勢軌跡を条件とし、物理的な人間の行動が一人称視点から環境をどのように形作るかをシミュレートすることを学習します。実世界のエゴセントリック動画と身体姿勢キャプチャを組み合わせた大規模データセットNymeriaを用いて、自己回帰的条件付き拡散トランスフォーマーを訓練しました。我々の階層的評価プロトコルは、次第に難しくなるタスクをテストし、モデルの具現化予測と制御能力の包括的分析を提供します。この研究は、人間視点の動画予測を通じて、複雑な実世界環境と具現化エージェントの行動をモデル化する最初の試みを表しています。 **動きからの構造化された行動表現** 人間の動きとエゴセントリック視覚を橋渡しするために、各行動を、全身のダイナミクスと詳細な関節運動の両方を捉えた、豊かで高次元のベクトルとして表現します。単純化された制御を使用する代わりに、身体の運動学的ツリーに基づいて、大域的な並進と相対的な関節回転を符号化します。動きは3D空間で表現され、根元の並進に3自由度、上半身の15関節を使用します。相対的な関節回転にオイラー角を使用することで、48次元の行動空間（3 + 15 × 3 = 48）が得られます。モーションキャプチャデータはタイムスタンプを用いて動画と同期され、その後、位置と方向の不変性のために、大域座標から骨盤中心の局所座標系に変換されます。すべての位置と回転は、安定した学習を保証するために正規化されます。各行動はフレーム間の動きの変化を捉え、モデルが時間の経過とともに物理的運動と視覚的結果を結びつけることを可能にします。 **PEVAの設計：自己回帰的条件付き拡散トランスフォーマー** ![](https://bair.berkeley.edu/static/blog/peva/method_web.png) Navigation World Modelsの条件付き拡散トランスフォーマー (CDiT) が速度や回転のような単純な制御信号を使用するのに対し、全身の人間の動きをモデル化することはより大きな課題を提示します。人間の行動は高次元で、時間的に延長され、物理的に制約されています。これらの課題に対処するために、我々はCDiT法を3つの方法で拡張します： ランダムタイムスキップ: モデルが短期的な運動ダイナミクスと長期的な活動パターンの両方を学習することを可能にします。 シーケンスレベル訓練: 各フレームのプレフィックスに損失を適用することで、動きシーケンス全体をモデル化します。 行動埋め込み: 時間tにおけるすべての行動を1Dテンソルに連結し、各AdaLN層を条件付けることで、高次元の全身運動に対応します。 **サンプリングとロールアウト戦略** テスト時には、過去の一連のコンテキストフレームを条件として将来のフレームを生成します。これらのフレームを潜在状態に符号化し、ターゲットフレームにノイズを加え、その後、我々の拡散モデルを使用して段階的にノイズ除去します。推論を高速化するために、アテンションを制限します。画像内アテンションはターゲットフレームにのみ適用され、コンテキストのクロスアテンションは最後のフレームにのみ適用されます。行動条件付き予測では、自己回帰的ロールアウト戦略を使用します。コンテキストフレームから始め、VAEエンコーダーを使用してそれらを符号化し、現在の行動を追加します。モデルは次のフレームを予測し、それをコンテキストに追加しながら最も古いフレームを削除し、このプロセスをシーケンス内の各行動に対して繰り返します。最後に、VAEデコーダーを使用して予測された潜在変数をピクセル空間にデコードします。 **原子行動への分解** 複雑な人間の動きを、手の動き（上、下、左、右）や全身の動き（前進、回転）などの原子行動に分解し、特定の関節レベルの動きがエゴセントリックな視界にどのように影響するかについてのモデルの理解をテストします。ここにいくつかのサンプルを示します： 身体移動行動 左手行動 右手行動 **長期的な動画生成** ここでは、モデルが長期的な予測期間にわたって視覚的および意味的一貫性を維持する能力を見ることができます。PEVAが全身の動きを条件として一貫性のある16秒のロールアウトを生成するいくつかのサンプルを示します。より詳細に見るためのいくつかの動画サンプルと画像サンプルをここに含めます： **反事実的シミュレーション** PEVAは、複数の行動候補をシミュレートし、LPIPSで測定された目標との知覚的類似性に基づいてそれらをスコアリングすることで、計画に使用することができます。 ![](https://bair.berkeley.edu/static/blog/peva/counterfactuals_v3_1_web.png) この例では、流し台や屋外につながる経路を排除し、冷蔵庫を開ける正しい経路を見つけています。 ![](https://bair.berkeley.edu/static/blog/peva/counterfactuals_v3_2_web.png) この例では、近くの植物をつかんだりキッチンに行ったりする経路を排除しながら、棚につながる合理的な一連の行動を見つけています。 **視覚的計画能力を可能にする** 計画をエネルギー最小化問題として定式化し、Navigation World Models [arXiv:2412.03572] で導入されたアプローチに従って、交差エントロピー法 (CEM) を使用して行動最適化を実行します。具体的には、他の身体部位を固定したまま、左腕または右腕のいずれかの行動シーケンスを最適化します。結果として得られる計画の代表的な例を以下に示します： ![](https://bair.berkeley.edu/static/blog/peva/right_id_18.png) この場合、右腕をかき混ぜ棒まで上げる一連の行動を予測することができます。我々の方法の限界として、右腕のみを予測するため、それに応じて左腕を下げる動きは予測されません。 ![](https://bair.berkeley.edu/static/blog/peva/right_kettle.png) この場合、やかんに向かって手を伸ばす一連の行動を予測することができます。

全身条件付き自己中心視点動画予測

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト