Marigold V2、Diffusion Transformer で単眼深度推定を再検討

記事の3ポイント

1. 1

   Diffusion Transformer の再活用

   画像生成・編集モデルのアーキテクチャである拡散トランスフォーマー（DiT）を、最先端の単眼深度推定器として再利用する手法を提案した。

2. 2

   学習プロセスの革新

   単純なトレーニングで生じるアーティファクトに対処するため、正解データからのセマンティック特徴との整合性調整と、Sinkhorn 損失に基づく 2 段階微調整プロトコルを導入した。

3. 3

   性能の劇的向上

   KITTI および ETH3D データセットにおいて、AbsRel 指標で前作比 16-26% の改善を達成し、毛髪や葉脈などの微細なエッジも鮮明に推定可能となった。