Hugging Face、コンポーザブルな実世界からシミュレーションへのシーンモデリング手法「Lucida」を公開

記事の3ポイント

1. 1

   要件の再分配による実用性向上

   既存手法が初期段階で要求する正確な幾何情報や非遮蔽ビューといった難易度の高い入力要件を排除し、各工程で現実のキャプチャが確実に提供する情報のみを利用可能にする。

2. 2

   VLM ポリシーによる自動配置

   GizmoAct と呼ばれるビジョン言語モデル（VLM）ポリシーを採用し、オブジェクトのギズモ操作を多段階 GUI 対話として処理して自己完結的な整列判定を行う。

3. 3

   主要ベンチマークでの性能向上

   R2S-Scene における mAP で Boxer より 69% 向上し、CA-1M の ADD-SB@0.05 を 57.8% から 83.4% に引き上げ、SAM3D のシーン F-Score も 0.794 から 0.924 に改善した。