Hugging Face、コンポーザブルな実世界からシミュレーションへのシーンモデリング手法「Lucida」を公開

コンポザブルなシーンモデリングは、ロボットシミュレーションや実体化 AI（Embodied AI）が利用可能な環境の完全なレプリカを生成することを目的としています。具体的には、観測された通りに配置された編集可能なオブジェクトアセットとして、実際の室内空間を復元します。既存のパイプラインはこのタスクを「観測結果からインスタンスを解析する」「各インスタンスに対応するアセットを生成する」「各アセットを元の位置に戻す」という 3 つのステップに分解しています。しかし、これらのプロセスはすべて、混雑した撮影ではまず得られない入力（正確なインスタンス幾何形状、遮蔽のない視点、観測結果と完全に一致するアセット）を前提としています。

そこで提案するのが Lucida です。Lucida は既存の手順順序を維持しつつ、各ステップで求められる要件を再配分します。これにより、各ステップは実際の撮影データが確実に提供する情報だけを消費し、精度はパイプラインの初期段階で要求されるのではなく、最終段階で達成されます。Lucida は動画をシーングラフとして解析し、各ノードにはインスタンスごとの多視点エビデンスを付与します。次に、そのエビデンスに基づいて各インスタンスに対して完全なアセットを生成します。最後に、GizmoAct（VLM ベースのポリシー）を用いてアセット配置を行います。GizmoAct は、配置タスクをマルチターン型の GUI 操作として捉え、オブジェクトのギズモを閉ループで操作しながら、アライメントが達成されたタイミングを自ら判断します。

シーンレベルの 3D オブジェクト検出、オブジェクト姿勢推定、そしてシーン再構成の各タスクにおいて、Lucida は R2S-Scene データセット上で Boxer を上回り mAP を 69% 向上させました。また、CA-1M データセットでは ADD-SB@0.05 が 57.8% から 83.4% に上昇し、SAM3D のシーン F-Score も 0.794 から 0.924 に改善されています。