Marigold V2、Diffusion Transformer で単眼深度推定を再検討
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
Huawei Bayer Lab は、拡散トランスフォーマー（DiT）を活用した単眼深度推定モデル「Marigold V2」を発表し、既存手法を大幅に上回る精度と汎化性能を実現した。
AI深層分析を開く2026年9月9日 18:10
AI深層分析
キーポイント
Diffusion Transformer の再活用
画像生成・編集モデルのアーキテクチャである拡散トランスフォーマー（DiT）を、最先端の単眼深度推定器として再利用する手法を提案した。
学習プロセスの革新
単純なトレーニングで生じるアーティファクトに対処するため、正解データからのセマンティック特徴との整合性調整と、Sinkhorn 損失に基づく 2 段階微調整プロトコルを導入した。
性能の劇的向上
KITTI および ETH3D データセットにおいて、AbsRel 指標で前作比 16-26% の改善を達成し、毛髪や葉脈などの微細なエッジも鮮明に推定可能となった。
汎用性の拡大
単眼深度推定だけでなく、表面法線推定や固有画像分解といった他の密回帰タスクにおいても最先端の結果を達成した。
重要な引用
Marigold V2 achieves state-of-the-art results when applied to other dense regression tasks, such as surface normals estimation and intrinsic image decomposition.
Qualitatively, our model resolves fur, foliage, and hair-thin edges that have eluded prior models.
編集コメントを表示
編集コメント
画像生成モデルのアーキテクチャを深度推定に応用するアプローチは、分野横断的な技術転用の好例と言える。微細なエッジの復元能力向上は、ロボティクスや拡張現実（AR）などへの応用範囲を広げる重要な一歩となるだろう。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
単眼深度推定は、シーン再構築や計算写真、ロボティクスなど多様な分野で応用される普遍的な課題ですが、本質的に解の不定性が高く、難易度の高いコンピュータビジョンタスクです。この分野は成熟しているにもかかわらず、最新のモデルでも分布外入力への一般化が難しく、シャープで詳細な深度マップを生成することには依然として苦慮しています。
本研究では、Diffusion Transformer（DiT）アーキテクチャを基盤とする現代的な画像生成・編集モデルを流用し、最先端の単眼深度推定器へと再構築する「Marigold」という一連の手法を見直します。提案するアプローチは、事前学習済みマルチステップフローマッチングモデルからの1ステップ推論を可能にするもので、必要に応じて量子化も適用しつつ、モデルの容量を維持しながら低コストで実行できるように設計されています。
我々は、単純なトレーニング手法に生じるアーティファクトを分析し、2 つの有効な解決策を特定しました。1 つ目は、モデル内部の表現を正解データから抽出したセマンティック特徴と整合させること、2 つ目は、新しい Sinkhorn ベースの損失関数を中核とした 2 ステージの微調整プロトコルを採用することです。
その結果得られたのは、分布外データにもよく一般化し、16〜26% の AbsRel 改善を達成した、より鮮明でクリーンな深度マップです。定性的には、従来のモデルでは捉えきれなかった毛髪や葉脈、髪の毛のような極細のエッジも正確に復元できます。
さらに、Marigold V2 は表面法線の推定やイントリック画像分解といった他の密回帰タスクにも適用可能であり、これらにおいても最先端の結果を達成しています。
プロジェクトウェブサイト：https://hf.co/spaces/huawei-bayerlab/marigold-v2-web
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み