多モーダルエージェントが 3D オープンワールドを構築する VibeWorlding

記事の3ポイント

1. 1

   VibeWorlding フレームワークの提案

   ユーザーの意図を推論し、シーンレイアウトを計画し、3D ツールを呼び出し、フィードバックを反映する多モーダルエージェントのための統合フレームワークである。

2. 2

   VWE-BENCH ベンチマークの構築

   2,616 個の高品質 3D アセットと 6,828 件の逆合成された多モーダルクエリを含むベンチマークが作成され、検証済みおよび未検証のクエリに分類されている。

3. 3

   VibeWorlding-Gym の開発

   アセット検索や編集を統合したサンドボックス環境と、物理的妥当性と意図達成を検証するルブリックベースの検証器を組み合わせた RL 後学習フレームワークである。