Stable Video 4D 2.0：単一動画からの高忠実度新視点合成と4D生成の新アップグレード

**Stable Video 4D 2.0: 単一動画からの高忠実度新視点合成と4D生成を実現する新バージョン** **主なポイント:** * Stable Video Diffusion 4D (SV4D) を Stable Video 4D 2.0 (SV4D 2.0) にアップグレードし、実世界の動画に対してより高品質な出力を実現しました。 * 分析の結果、SV4D 2.0 は 4D生成と新視点合成の両方において、最先端の結果を達成しています。 * Stable Video 4D 2.0 は、寛容な Stability AI Community License の下で、商用・非商用を問わずご利用いただけます。 * マルチビュー生成モデルは Hugging Face からダウンロード可能で、コードは GitHub で、4Dアセット再構築プロセスに関する詳細は arXiv でご覧いただけます。 **Stable Video 4D 2.0** Stable Video Diffusion 4D (SV4D) を Stable Video 4D 2.0 (SV4D 2.0) にアップグレードし、実世界の動画に対してより高品質な出力を実現しました。このマルチビュー動画拡散モデルは、単一のオブジェクト中心動画から動的4Dアセットを生成するのに最適です。これらの改良により、ゲーム内キャラクター用のスプライトシート生成から、映画や仮想世界向けアセットの作成支援まで、プロフェッショナルな制作ワークフロー向けの動的4Dアセット構築が容易になります。 未見の視点から3Dオブジェクトを可視化する際の本質的な曖昧さにより、マルチビュー生成は依然として複雑な課題です。これは特に被写体が動いている場合に困難を伴います。SV4D 2.0 は、大規模データセット、マルチカメラ設定、前処理に依存することなく、一貫したマルチアングル出力を生成することで、この課題への着実な進歩をもたらします。これは大きな前進ですが、動きの激しい被写体では、まれにアーティファクトが生じる可能性があります。 **新機能** SV4D 2.0 には、以下のような複数の改良を加えました。 * **より鮮明で一貫性のある4D出力:** モデルは段階的に学習され、静的3Dアセットから始めて動きを追加することで、より明確で一貫性のある4D結果を生成します。 * **参照ビューが不要:** 単一の動画から直接動作するため、マルチビュー参照画像が不要になりました。 * **再設計されたネットワークアーキテクチャ:** 3D空間的特徴と時間的特徴を融合するメカニズムである **3Dアテンション** を採用し、参照ビューに依存せずに**時空間的一貫性**を向上させています。 * **実世界への一般化性能の向上:** 実世界の動画に対して、より一貫した性能を発揮します。合成データで学習されていますが、事前学習済み動画モデルからの知識を保持しています。 **研究とベンチマーク** 分析の結果、SV4D 2.0 は 4D生成において最先端の結果を達成しています。主要なベンチマークすべてで首位を獲得しました：LPIPS（画像忠実度）、FVD-V（マルチビュー一貫性）、FVD-F（時間的一貫性）、FV4D（4D一貫性）。DreamGaussian4D、L4GM、SV4D と比較して、このバージョンはより鮮明で一貫性のある4D出力を生成します。 また、分析により、SV4D 2.0 は **新視点合成** において Diffusion^2、SV3D、SV4D を上回る性能を示すことが確認されています。このモデルはマルチビュー一貫性（FVD-V）と時間的一貫性（FVD-F）を大幅に改善し、視点の変化や時間の経過に伴っても高品質な出力を維持します。モデルの技術的詳細については、研究論文をご覧ください。 **今すぐ始める** Stable Video 4D 2.0 は、寛容な Stability AI Community License の下で、商用・非商用を問わずご利用いただけます。 マルチビュー生成モデルは Hugging Face からダウンロード可能で、コードは GitHub で、4Dアセット再構築プロセスに関する詳細は arXiv でご覧いただけます。 最新情報については、X、LinkedIn、Instagram でフォローし、Discord コミュニティへご参加ください。

Stable Video 4D 2.0：単一動画からの高忠実度新視点合成と4D生成の新アップグレード

背景や根拠まで確認しますか？

調べる

選ぶ

サイト