MELON: 未知の姿勢の画像から3Dオブジェクトを再構築

Posted by Mark Matthews, Senior Software Engineer, and Dmitry Lagun, Research Scientist, Google Research

人は、世界に関する事前の経験と理解を持っているため、たとえ2Dの写真を数枚見ただけでも、物体全体がどのように見えるかを容易に推測することができます。しかし、コンピュータがわずか数枚の画像から物体の3D形状を再構築する能力は、長年にわたって困難なアルゴリズム上の問題であり続けてきました。この基本的なコンピュータビジョンのタスクは、eコマース用の3Dモデルの作成から自動運転車のナビゲーションまで、幅広い応用があります。

この問題の重要な部分は、画像が撮影された正確な位置、すなわち 姿勢推定 をどのように決定するかです。カメラの姿勢が既知であれば、 Neural Radiance Fields (NeRF) や 3D Gaussian Splatting など、一連の成功した技術を用いて物体を3Dで再構築できます。しかし、これらの姿勢が利用できない場合、私たちは困難な「鶏と卵」問題に直面します。つまり、3Dオブジェクトがわかれば姿勢を決定できるのに、カメラ姿勢がわかるまでは3Dオブジェクトを再構築できないのです。この問題は、疑似対称性によってさらに難しくなります。疑似対称性とは、多くの物体が異なる角度から見ると似て見えることです。例えば、椅子のような四角い物体は、90°回転するごとに似たように見える傾向があります。物体の疑似対称性は、ターンテーブル上で様々な角度からレンダリングし、その測光的な 自己相似性 マップをプロットすることで明らかになります。

おもちゃのトラックモデルの自己相似性マップ。 左: モデルがターンテーブル上で様々な 方位角 θからレンダリングされている。 右: 角度θからのレンダリングと角度θ*からのレンダリングの平均 L2 RGB類似度。疑似相似性は赤い破線で示されている。

上の図は、回転の1次元のみを可視化しています。自由度が増えると、さらに複雑になり（可視化も困難になります）、疑似対称性は問題を 不良設定 にし、単純なアプローチではしばしば局所解に収束してしまいます。実際には、そのようなアプローチは、物体の背面図と正面図が似たシルエットを共有しているため、背面図を正面図と誤認する可能性があります。従来の技術（ BARF や SAMURAI など）は、大域解に近い初期姿勢推定値に依存することでこの問題を回避しています。しかし、それらが利用できない場合、どのようにアプローチすればよいのでしょうか？

GNeRF や VMRF などの手法は、この問題を克服するために 生成的敵対的ネットワーク （GAN）を活用しています。これらの技術は、限られた数のトレーニングビューを人工的に「増幅」する能力を持ち、再構築を助けます。しかし、GAN技術はしばしば複雑で、そ

MELON: 未知の姿勢の画像から3Dオブジェクトを再構築

背景や根拠まで確認しますか？

調べる

選ぶ

サイト