Hugging Face、シミュレーション対応のシーン生成手法「SceneMosaic」を公開

インタラクティブエンターテインメントや実体化 AI にとって、多様でシミュレーション対応可能な屋内シーンの生成は不可欠ですが、それをスケーラブルに行うのは依然として課題です。ビジョン・ランゲージモデル（VLM）に依存する最近のエージェント型テキストから 3D シーンへのパイプラインは高忠実度のシーンを生成できますが、コストのかかる反復的なオブジェクト配置と精緻化を必要とします。もう一つの主流なパラダイムであるパラメトリック画像から 3D シーンへのモデルは、2D 画像から学習した強力な事前知識から効率的にシーンを生成しますが、しばしば不正確で物理的に無効なシーンになってしまいます。さらに重要な点として、両方のアプローチとも単一の入力に対して多様なシーンを出力することに苦戦しており、現実のシーンが持つ動的に変化する性質を反映させることが困難です。

本論文では、これらの二つのパラダイムの長所を組み合わせた「SceneMosaic」というフレームワークを提案します。この手法は、学習された画像ベースの事前知識から初期候補を取得し、その後 VLM エージェントを通じて結果を進化させます。これにより、効率性と物理的妥当性の両方を確保しています。

進化プロセスにおいて、SceneMosaic は自然なシーンの局所性を活用し、シーンを独立したローカルユニットに分解します。各ユニット内で個別に進化させた後、カルテシアン積（Cartesian product）を通じてグローバルなシーンを構成します。

SceneEval-100 での評価では、SceneMosaic はセマンティックレイアウトの品質において最強のエージェントベースラインと同等の結果を示しつつ、速度は 24 倍向上させました。また、物理的な違反を大幅に削減し、人間による評価でも最高ランクを獲得しています。

コードは https://github.com/rxjfighting/SceneMosaic で公開されています。