Stable Video 4D 2.0：単一動画からの高忠実度新視点および4D生成の新アップグレード

主なポイント: Stable Video Diffusion 4D (SV4D) を Stable Video 4D 2.0 (SV4D 2.0) にアップグレードし、実世界動画においてより高品質な出力を実現しました。 当社の分析によると、SV4D 2.0 は 4D 生成および新視点合成の両方で最先端の結果を達成しています。 Stable Video 4D 2.0 は、寛容な Stability AI コミュニティライセンスの下で、商用・非商用のいずれにも利用可能になりました。 マルチビュー生成モデルは Hugging Face でダウンロードでき、コードは GitHub で確認できます。また、4D アセット再構築プロセスについては arXiv で読むことができます。 モデルをダウンロード モデルをダウンロード Stable Video 4D 2.0 Stable Video Diffusion 4D (SV4D) を Stable Video 4D 2.0 (SV4D 2.0) にアップグレードし、実世界動画においてより高品質な出力を実現しました。このマルチビュー動画拡散モデルは、単一のオブジェクト中心の動画から動的な 4D アセットを生成する際に理想的です。これらのアップグレードにより、ゲームキャラクターのスプライトシート生成から、映画やバーチャルワールドのためのアセットサポートまで、プロフェッショナルな制作ワークフロー向けに動的な 4D アセットを作成しやすくなりました。 3D オブジェクトを未見の視点から可視化する際の本質的な曖昧さのため、マルチビュー生成は依然として複雑です。これは特に被写体が動いている場合に困難となります。SV4D 2.0 は、大規模データセットやマルチカメラ設定、前処理に依存することなく、一貫性のある多角度の出力を生成することで、この課題への解決に向けた漸進的な進展を示しています。これは前進の一歩ですが、動的な動きにおいては依然として偶発的なアーティファクト（ノイズ）が発生する可能性があります。 何が変わったか SV4D 2.0 には複数のアップグレードが施されました。具体的には以下の通りです： より鮮明で一貫性のある 4D 出力：モデルは段階的にトレーニングされ、まず静止した 3D アセットから始め、その後動きを追加することで、より明確で一貫性のある 4D 結果を実現しました。 参照ビュー不要：単一の動画から直接動作するため、マルチビューの参照画像を必要としません。 再設計されたネットワークアーキテクチャ：3D スパテシャル（空間）と時間的特徴を融合させるメカニズムである 3D アテンション（注意機構）を活用し、参照ビューに依存することなく時空間的一貫性を向上させました。 実世界における汎化性能の向上：実世界の動画においてより一貫して動作します。合成データでトレーニングされていますが、事前学習済みビデオモデルから得た世界知識を保持しています。 研究とベンチマーク 分析によると、SV4D 2.0 は 4D 生成において最先端の結果を達成しています。LPIPS（画像忠実度）、FVD-V（多視点一貫性）、FVD-F（時間的整合性）、および FV4D（4D 一貫性）という主要なベンチマークすべてで首位を獲得しました。DreamGaussian4D、L4GM、SV4D と比較して、このバージョンはよりシャープで一貫性の高い 4D 出力を生成します。 ![image](https://images.squarespace-cdn.com/content/v1/6213c340453c3f502425776e/b00cd971-dc8f-46d6-b557-16dba8db31ae/4dgenerationv3.png?format=1000w) 分析によると、SV4D 2.0 は Novel-view synthesis（新規視点合成）においても Diffusion^2、SV3D、SV4D を上回る性能を示します。このモデルは多視点一貫性（FVD-V）と時間的整合性（FVD-F）を大幅に改善し、視点の変化や時間の経過に関わらず高品質な出力を維持しています。モデルの技術的な進展の詳細については、研究論文をご覧ください。 ![image](https://images.squarespace-cdn.com/content/v1/6213c340453c3f502425776e/6a32a267-c70f-4c47-bd0d-40cae967c302/nvsv3.png?format=1000w) Getting started Stable Video 4D 2.0 は、寛容な Stability AI コミュニティライセンスの下で、商用・非商用の両方の利用が可能になりました。 マルチビュー生成モデルは Hugging Face でダウンロードでき、コードは GitHub で確認できます。また、arXiv では 4D アセット再構築のプロセスについて詳しく読むことができます。 当社の進捗を最新の状態に保つには、X、LinkedIn、Instagram でフォローするか、Discord コミュニティに参加してください。

Stable Video 4D 2.0：単一動画からの高忠実度新視点および4D生成の新アップグレード

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

関連記事

調べる

選ぶ

サイト