Stable Virtual Cameraの紹介：3Dカメラ制御によるマルチビュー動画生成

キーポイント Stable Virtual Camera の紹介。現在は研究プレビュー版です。このマルチビュー拡散モデルは、複雑な再構築やシーン固有の最適化を必要とせず、2D 画像から現実的な奥行きと視点を持つ没入型 3D ビデオに変換します。 本モデルは、単一の入力画像または最大 32 枚の画像から、ユーザーが定義したカメラ軌道に加え、360°、レムニスケート（無限大記号）、螺旋、ドリーズーム、移動、パン、ロールを含む 14 の他の動的なカメラパスに沿って 3D ビデオを生成します。 Stable Virtual Camera は非商用ライセンスの下で研究利用が可能です。論文はここから、重み付けデータは Hugging Face からダウンロードでき、コードは GitHub でアクセスできます。 今日、私たちは Stable Virtual Camera をリリースしました。現在は研究プレビュー版です。このマルチビュー拡散モデルは、複雑な再構築やシーン固有の最適化を必要とせず、2D 画像から現実的な奥行きと視点を持つ没入型 3D ビデオに変換します。研究コミュニティの皆様には、その機能を探求し、開発に貢献していただくことを歓迎いたします。 バーチャルカメラは、映画制作や 3D アニメーションで使用されるデジタルツールで、リアルタイムでデジタルシーンを撮影・移動するために用いられます。Stable Virtual Camera はこの概念を基盤とし、従来のバーチャルカメラの familiar な操作性と生成 AI の力を組み合わせることで、3D ビデオ出力に対する精密かつ直感的な制御を提供します。 従来の大規模な入力画像セットや複雑な前処理に依存する 3D ビデオモデルとは異なり、Stable Virtual Camera は、ユーザーが指定したカメラ角度から 1 つ以上の入力画像を用いて、シーンの新規ビューを生成します。このモデルは、一貫性があり滑らかな 3D ビデオ出力を生み出し、動的なカメラ経路全体でシームレスな軌道動画を配信します。 このモデルは、非商用ライセンスの下で研究利用が可能です。論文はこちらで読むことができ、重み（weights）は Hugging Face でダウンロードでき、コードは GitHub でアクセスできます。 機能 Stable Virtual Camera は、3D ビデオの生成に関する高度な機能を備えています。以下が含まれます： ダイナミックカメラ制御：ユーザー定義のカメラ経路および複数の動的カメラ経路をサポートします。具体的には、360°、レムニスケート（∞字形の経路）、螺旋、ドリーズームイン、ドリーズームアウト、ズームイン、ズームアウト、前方移動、後方移動、パンアップ、パンダウン、パン左、パン右、ロールです。 柔軟な入力：1 つの入力画像のみ、または最大 32 枚から 3D ビデオを生成します。 複数のアスペクト比：追加のトレーニングなしで、正方形（1:1）、縦長（9:16）、横長（16:9）、およびその他のカスタムアスペクト比のビデオを生成可能です。 長時間動画の生成：最大 1,000 フレームまでのビデオにおいて 3D の一貫性を確保し、同じ視点に再訪する場合でも、シームレスなループと滑らかなトランジションを実現します。 研究およびモデルアーキテクチャ Stable Virtual Camera は、新規視点合成（NVS）ベンチマークにおいて最先端の結果を達成し、ViewCrafter や CAT3D といったモデルを上回っています。これは、生成能力を重視する大規模視点の NVS と、時間的な滑らかさを優先する小規模視点の NVS の両方で卓越した性能を発揮します。 ![image](https://images.squarespace-cdn.com/content/v1/6213c340453c3f502425776e/c4463a3a-7fad-4d1e-8a9f-c14d3c0a7ee5/svcam_benchmark_star.jpg?format=1000w) これらのチャートは、主要な 3D ビデオモデルをデータセット間でベンチマークし、知覚的品質（LPIPS）と精度（PSNR）を測定しています。各軸は異なるデータセットおよび入力設定を反映しています。 Stable Virtual Camera は、固定されたシーケンス長で訓練されたマルチビュー拡散モデルとして動作し、特定の数の入力視点とターゲット視点（M-in, N-out）を受け取ります。 Stable Virtual Camera は、固定されたシーケンス長を持つマルチビュー拡散モデルとして訓練されており、入力とターゲットのビューの数（M-in, N-out）が一定に設定されています。サンプリング時には、柔軟な生成レンダラーとして機能し、可変の入力および出力長（P-in, Q-out）に対応します。これは、2 段階の手順的サンプリングプロセスによって実現されます。まずアンカービューを生成し、その後ターゲットビューをチャンク単位でレンダリングすることで、滑らかで一貫性のある結果を保証します。 ![image](https://images.squarespace-cdn.com/content/v1/6213c340453c3f502425776e/77fd0252-6a49-4649-bae5-0f87f86962f4/svcam_raining_sampling.jpg?format=1000w) Stable Virtual Camera は、手順的な 2 段階サンプリングを採用することで、任意の入力数およびターゲット数を処理します。 モデルのアーキテクチャとパフォーマンスの詳細については、こちらで完全な研究論文をお読みいただけます。 Model limitations 初期バージョンでは、Stable Virtual Camera は特定のシナリオにおいて品質の低い結果を生成する可能性があります。人間や動物、水のような動的なテクスチャを含む入力画像は、出力の劣化につながることがよくあります。さらに、非常に曖昧なシーン、物体や表面と交差する複雑なカメラパス、不規則な形状の物体は、特にターゲット視点が入力画像から大きく異なる場合に、フリッカーアーティファクトを引き起こす原因となります。 Stable Virtual Camera は、非商用ライセンスの下で研究目的に限り無料で利用できます。論文の閲覧や重み付けデータのダウンロードは Hugging Face で、コードは GitHub で入手可能です。 当プロジェクトの進捗を最新の状態でお知りになりたい場合は、X、LinkedIn、Instagram のアカウントをフォローするか、Discord コミュニティにご参加ください。

Stable Virtual Cameraの紹介：3Dカメラ制御によるマルチビュー動画生成

背景や根拠まで確認しますか？

調べる

選ぶ

サイト