腾讯：AI が自ら世界を構築する「Vibe Worlding」へ移行

腾讯技术工程 2026-08-31 17:36 广东

AI と対話する

「Vibe Coding」によってコーディングがキーボードを叩く作業から AI と対話する行為へと変化したように、今回紹介する研究は、その変化を 3D ワールド構築の領域でも再現しようとしています。

オープンソースの場所：

プロジェクト主页：https://usail-hkust.github.io/VibeWorlding-Gym/

コード（サンドボックス環境とトレーニングフレームワーク）：https://github.com/usail-hkust/VibeWorlding-Gym

データセット（VWE-Bench 評価基準）：https://huggingface.co/datasets/usail-hkust/VWE-Bench

モデル（VibeWorlder モデルコレクション）：https://huggingface.co/collections/usail-hkust/vibeworlder

香港科技大学（広州）と腾讯 AI プラットフォーム部のチームが共同で「VibeWorlding」を提案しました。これは、エージェントがコードを書くかのように、多輪の対話やツールの呼び出し、レンダリング結果の確認を通じて、インタラクティブな 3D ワールドを自律的に構築・編集できる多モーダル AI エージェントフレームワークです。

「薄気味悪い砂漠の神殿を作って」と一言言うだけでいいのです。あるいは、「テーブルの横にある椅子を 2 メートル手前に動かして」と指示するだけでも十分です。残りの 3D アセット検索、オブジェクト配置、衝突回避、レンダリングによる確認といった作業はすべて AI エージェントに任せることができます。

このシステムの核心は、「テキストから 3D を生成する」単なるモデルではありません。重要なのは、訓練可能で検証可能、かつ再現性のある基盤と強化学習フレームワークです。同時に、6,828 件の多モーダルなユーザークエリ、2,616 個の高品質 3D アセット、323 件の人工作成によるシード 3D ワールド、そして一連のサンドボックス環境と二重制約検証器をオープンソース化しました。

実験結果によると、強化学習を経て訓練されたオープンソースモデル「VibeWorlder-30B-A3B」は、総合的な Pass@1 指標において GPT-5.5 や Qwen3.8-Max を上回り、現在このタスクで最も優れたパフォーマンスを発揮しています。

図 1：VWE-Bench と VibeWorlding-Gym の全体像

なぜ 3D ワールドの構築には、パラダイムシフトが必要なのか？

ゲームのレベルデザイン、デジタルツイン、具身知能（エージェンシー）のシミュレーション環境……これらの場面で必要とされるのは、大量の「対話可能で編集可能な」3D ワールドです。しかし、従来の人手による構築方法は非効率そのものです。

近年、多モーダル大規模言語モデル（MLLM）の台頭に伴い、AI エージェントが自動化プロセスを担う可能性が研究されています。主なアプローチは以下の 2 つに大別されます。

• 固定ワークフロー：SceneCraft や 3D-GPT が代表例です。「計画」「生成」「審査」という工程をパイプライン化し、各段階に専用のサブエージェントを割り当てます。
• 自律型エージェント：SAGE、SceneWeaver、SceneReVis など。3D アセットの検索、編集、レンダリングをツールセットとしてパッケージ化し、エージェントが自律的に判断・多輪対話・自己修正を行えるようにします。

しかし、これらの取り組みには 2 つの深刻な課題があります。第一に、評価用のクエリが理想化されすぎており、現実のユーザーが持つ「飛躍的な発想」「曖昧な表現」、さらには「矛盾する指示」を反映できていません。第二に、ほぼすべてのフレームワークが非公開であり、学界は公平な比較ができず、「トレーニングによってこれらの基盤能力が本当に向上するのか」という根本的な問いに答える研究も進んでいません。

実現可能な 3D ワールドには、物理的な妥当性（浮遊やモデルの破綻がないこと）と、意味的な整合性（ユーザーの意図への合致やスタイルの一貫性）の両方が求められます。このような多次元の正しさを、単なる人手によるルールや汎用的な LLM 裁判官だけでカバーするのは極めて困難です。これが VibeWorlding が解決しようとする核心的な課題です。

VibeWorlding とは具体的に何か？

この研究では、「3D ワールドの構築」というタスクを、多輪・多モーダルかつツール統合型の推論プロセスとして形式化しました。与えられた多モーダルなリクエスト（純粋なテキスト説明、あるいは「既存の世界＋編集指示」）に基づき、エージェントはユーザーの意図を自律的に推測し、シーンレイアウトを計画します。その後、3D ツール（検索／追加／回転／移動／削除）を呼び出して操作を行い、各ラウンド終了時にはサンドボックスから返される多モーダルフィードバック（3D マップテキストと 5 つの視点からのレンダリング画像）を確認します。このプロセスを繰り返すことで、最終的に完全なインタラクティブな 3D ワールドを生成します。

このフレームワークは、以下の 2 つの主要コンポーネントで構成されています。

• VWE-Bench（VibeWorlding Evaluation Benchmark）：2,616 個の高品質 3D アセット、323 件の人工作成シードワールド、6,828 件の逆合成型ユーザークエリを網羅した評価基準です。また、「正解が明確に検証可能なタスク」と「ルールベースの採点が必要となるオープンエンドなタスク」の 2 つのカテゴリを区別しています。

VibeWorlding-Gym は、多モーダル強化学習後のトレーニングを統合したフレームワークです。このフレームワークでは、3D アセットの検索・編集・レンダリングが MCP ツールとして統一してパッケージ化されており、「二重制約検証器」も用意されています。これにより、公平な評価と拡張可能な RL 報酬計算の両立が可能になります。

▍6,828 件のクエリはどのように「逆方向」から生成されたのか？

VWE-Bench の構築は「人間と AI の協働」を基本方針とし、以下の 3 つのステップで進められました。

最初のステップは、高品質な 3D アセットの合成です。まず美術担当者が 3,148 個の概念 3D アセットの名前とカテゴリを特定します。次に Gemini 3.1-flash-image を使用して参考画像を生成し、それを腾讯混元 3D（Hunyuan3D 3.1）で 3D メッシュに変換します。その後、品質フィルタリングと実物スケールの注釈付けを行い、最終的に 20 の意味カテゴリにまたがる 2,616 件の検索可能かつ高品質な 3D アセットを蓄積しました。

2 つ目のステップは、シード世界の注釈付けです。専門の美術担当者がこれらの 3D アセットを用いて、323 個の「粗いながらも機能的に完全な」シード 3D ワールドを手作業で構築しました。アセット数は 8 個から 258 個まで様々で、異なる複雑さをカバーしています。

3 つ目のステップは、逆方向クエリの合成です。MLLM に「シード世界を逆向きに読み解く」よう指示します。具体的には、ある世界を読み取って「ゼロからどのように構築するか」の説明を書かせる（ゼロからの構築タスクに対応）か、あるいは世界の欠点を指摘し、改善案を提案したり目標を再述させたり（ワールド編集タスクに対応）します。さらに、3D アセットに意図的なノイズを加えてその変化を記述させることで、正確な正解を持つ編集指示を取得しています。

図 2：VWE-Bench データのサンプル。(a) 物理サイズが小さい順に並べた 3D アセット例；(b) 複雑度が低い順に並べたシード世界例

最終的に、6 つのカテゴリに分けられたクエリが蓄積されました。そのうち「正確なアセットレベル編集」カテゴリは、明確なノイズ処理プロセスがあるため Ground-truth マップと直接比較でき、「Verified（検証済み）」として分類されます。残りの 5 カテゴリ——曖昧な表現、シナリオ批判、ガイダンス、再確認、複雑なシナリオ記述など——はより実際のユーザーの口調に近く、「Unverified（未検証）」として扱われます。これらは精巧に設計された Rubric に基づき、MLLM ジャッジが採点します。

「成立する」ことと「理解できる」ことの両立：二重制約検証器

3D ワールドが「合格」と判定されるかどうかについて、VibeWorlding は 2 つの厳格な基準を設けています。

物理的可行性の検証：純粋な Python の幾何検出を用いて衝突（物体同士の貫通）や高さ（物体の浮遊）を検査します。モデルの判断に依存しません。

意図の充足性の検証：MLLM ジャッジが生態系の妥当性、3D 理解力、3D 推論能力、検索の合理性という 4 つの次元から総合評価を行います。エージェントがユーザーの要求を正しく理解しているかだけでなく、適切なツールを使用し、正しい位置に配置したかも確認します。

Unverified クエリについては、物理的可行性と 4 つの意図次元すべてを満たした場合のみ成功とみなされます。Verified クエリについては、Ground-truth マップとの直接比較を行い、正しく編集された 3D アセットの割合に基づいて採点します。

これに基づき、VibeWorlding-Gym 訓練パイプラインが構築されました。まず Gemini 3.1-pro を用いて逆合成により冷間スタートの SFT（Supervised Fine-Tuning）軌道を作成し、その後 GRPO アルゴリズムを用いて、二重制約検証器から得られる報酬信号の下で多模態強化学習を実行します。これにより、エージェントは「純粋なテキストからのゼロ構築」と「多模態の画像・テキスト編集」の両方のタスクから同時に学習できるようになります。これは従来の研究が単一モダリティのみを訓練していたのと対照的です。

実験結果：オープンソースモデルが GPT-5.5 を逆転させるか？

本研究では、VWE-Bench において 8 つの最先端クローズドソースモデル（GPT-5.5、Qwen3.8-Max など）、3 つの 3D シーンエージェントフレームワーク（SceneWeaver、SAGE、SceneAssistant）、そして冷間スタート SFT と強化学習を経て訓練されたオープンソースモデル「VibeWorlder」シリーズを体系的に評価しました。その核心となる結論は、以下の三つの文に要約できます。

1. 既存のモデルはこの課題に対してまだ不十分です。GPT-5.5 や Qwen3.8-Max でさえ、全体の Pass@1 は 60% に満たない状況です。さらに訓練されていないオープンソース基盤モデルである Qwen3-VL-8B と 30B-A3B では、それぞれわずか 5.3% と 13.6% にとどまりました。

1. 多模態強化学習により、最先端モデルとの差が劇的に縮小しました。30B-A3B モデルは、基盤状態の 13.6% から冷間スタート SFT 後の 34.5%、そして強化学習後の 59.3% へと向上しました。8B モデルも同様に、ほぼ使用不能な状態から 41.4% まで引き上げられています。

1. フラグシップモデルである VibeWorlder-30B-A3B が最高得点を記録しました。全体の Pass@1 で 59.3% を達成し、GPT-5.5（57.3%）や Qwen3.8-Max（56.9%）を抜きました。特に「Verified」トラックではその差が顕著で、64.5% を記録したのに対し、GPT-5.5 は 60.4% です。また、より小型の VibeWorlder-8B（41.4%）は Gemini 3.1-pro（42.7%）とほぼ同等の性能を達成し、「Verified」トラックでは逆に上回っています（59.3% vs 44.4%）。

▍ボトルネックはどこか？六つの能力次元で詳細分析

研究チームはさらに、この課題の突破を六つの能力次元に分解しました。それは「衝突なし」「高さの妥当性」「生態系の妥当性」「3D 理解」「3D 推論」「検索の妥当性」です。各項目ごとにスコアリングし、モデル間を比較しています。

図 3：各モデルの六つの能力次元における通過率比較

結果は非常に興味深いものです。「衝突なし」は、強化学習後のフラッグシップモデルを含むすべてのモデルにとって共通のボトルネックでした。RL 訓練を経ても、通過率は 59% から 68% の範囲に留まっています。一方、「3D 推論」能力に対する強化学習の効果は顕著で、基盤モデルの 6%〜20% から一気に 56%〜85% へと向上しました。特に VibeWorlder-30B-A3B は 85% に達し、Gemini 3.1-pro（62%）をも上回っています。また、「検索」能力は 91%〜99% まで引き上げられ、最先端のクローズドソースモデルさえも凌駕する結果となりました。

結論として言えることは以下の通りです。

強化学習により、モデルが「シーンを読み解き」「3D アセットを正しく見つける」能力は大幅に向上しました。しかし、その 3D アセットを衝突が生じない正確な位置に配置する「微細な空間操作能力」については、現在すべてのモデル（オープンソース・クローズドソースを問わず）が直面している共通の天井です。

翻車現場：二つの典型的な失敗パターン

「正確な編集」がなぜ難しいのかを解明するため、研究チームは失敗事例を多数精査しました。その結果、最も頻繁に発生し、かつ解決が困難な 2 つの誤りタイプが浮き彫りになりました。

1 つ目は、不正確な 3D 距離編集です。具体的には「方向の逆転」です。ユーザーが「岩を前方へ 7 メートル移動させる」と指示しても、モデルは移動距離の規模は正しく計算しながらも、座標系の理解ミスにより方向を逆に設定してしまいます。その結果、位置誤差が最大で 14 メートルに達する事態が発生します。これは数値計算の間違いではなく、空間認識における根本的な誤解です。

2 つ目は「過剰な編集」です。ユーザーは「箱の横に木を 1 本追加して」と指示しただけですが、モデルは新しい木を追加した際、不要な要素まで削除してしまうのです。例えば、元々存在していた大きな木が「ついでに」消されてしまいます。計画自体は正しくても、実行段階で「どの要素に触れてはいけないか」という状態を維持する能力が不足していることが原因です。

これらの事例から導き出される結論は明確です。多モーダル AI エージェントは意味理解の面ではすでに成熟していますが、「正確な空間実行」と「複数ラウンドにわたる状態保持」には依然として明らかな弱点があります。研究チームは、この 2 つの領域こそが今後の重点的な投資先であると指摘しています。

Vibe Coding のように、Vibe Worlding：実用可能な CLI プロトタイプの登場

このシステムが単なるベンチマークスコアを競うだけの「刷り込みツール」ではないことを証明するため、研究チームは実際に使えるコマンドラインインターフェース（CLI）のプロトタイプと、ブラウザ上で動作するリアルタイム 3D レンダリングビューを提供しました。ユーザーが自然言語で指令を入力すると、エージェントは即座に思考し、必要なツールを呼び出して編集を実行します。同時に、ブラウザ上の 3D ワールドもリアルタイムで更新されます。

シナリオ 1：ゼロから農場を構築する

ユーザーは「倉庫、作物畑、柵、そして数本の木を持つシンプルな農場を作成して」と入力しました。エージェントは空の地図からスタートし、倉庫や樹木、柵、作物などのアセットを検索。「農舎＋囲まれた菜園＋樹林」の 3 つのエリアに分割したレイアウトを計画します。その過程でレンダリング画像を確認し、自ら修正を加えることもありました。例えば、「柵が高すぎて壁のように見える」と判断して高さを下げたり、「樹冠が大きすぎて農舎を隠している」と見なして木全体を縮小したりするのです。

図 4：ゼロからのシーン構築。左側はエージェントの推論と自己修正プロセスをターミナルで表示、右側はリアルタイムレンダリングされた農場の様子。

シナリオ 2：既存の都市を編集する

繁忙する街並みを前に、ユーザーは「道路中央の車を削除し、緑色の建物 2 つも消して」と指示しました。エージェントはまず 3D マップから摩天楼、軍事施設、自動車、街灯、緑化樹などの要素を列挙し、対象となるオブジェクトを正確に特定します。その後、削除コマンドを 3 回連続で実行。さらに複数の視点から再レンダリングして、「必要なものだけを削除し、他の要素はそのまま残っている」ことを確認しました。最後に、変更点と修正内容を自然言語で要約して報告します。

図 5：多段階編集シナリオ。エージェントが指定された車両と建物を特定して削除し、他の要素は厳密に維持します。

「思考→実行→レンダリング確認→回答」という一連のループは、学習時に用いられた多モーダルフィードバック機構と完全に一致しています。現在、研究チームはこの CLI プロトタイプをオープンソース化しました。コミュニティがこれを土台に、より強力なエージェントフレームワークや専門的なスキルプラグインを開発することを期待しています。

真の「Vibe Worlding」まであとどれくらいなのか？

論文の考察セクションでは、まだ乗り越えるべき課題として以下の点が挙げられています。

ツールがまだ「原子化」されている点。 現在のサンドボックスは、検索・追加・削除・移動・回転といった低レベルな操作しか提供していません。将来的には、「直接サッカー場を敷設する」「矩形領域内にランダムに森林を生成する」といった高機能で組み合わせ可能なスキルが必要となります。低級な操作を一つずつ組み合わせてシーンを作るのではなく、もっと直感的なアプローチが求められています。

シナリオの規模がまだ小さい点。 VWE-Bench において最も複雑な世界でも 3D アセットの種類は 258 種に過ぎません。真の意味でのオープンワールド構築にはより大規模なシーンが必要であり、その実現にはマルチエージェントによる協調と役割分担が鍵となるでしょう。

結果指向の報酬が依然として希薄である点。 現在の RL（強化学習）訓練では、一連の行動軌跡全体に対して一つの結果報酬を与えています。今後は、より細粒度なプロセスレベルでの信用配分（例えば、「どのラウンドで衝突が発生したか」を具体的にモデルに教えるなど）を導入することで、訓練効率をさらに高める可能性があります。

データソースと美術スタイルの制限。 現在の 3D アセットライブラリはカートゥーン調が中心であり、「画像から世界を生成する」「動画から世界を生成する」といった多様な多モーダル設定はまだカバーされていません。

より深層的な課題として、完全な多モーダルフィードバックループが整ったとしても、距離や角度といった空間関係を定量化する「正確な空間推論能力」は、現在のすべての MLLM（強化学習の有無にかかわらず）に共通する弱点です。研究チームは、基礎モデルが確固たる空間的世界理解力を備えるためには、事前学習・中訓練の段階から 3D 空間データをより多く注入する必要があると考えています。

結びに

VibeWorlding が示した答えは「3D ワールド構築はすでに解決済み」というものではなく、むしろ逆です。論文の実験結果によれば、GPT-5.5 や Qwen3.8-Max といったクローズドソースの最先端モデルであっても、このタスクにおける全体成功率は 60% に満たないことが証明されています。

しかし同時に、より重要な事実も示されました。すなわち、「信頼性の高い検証器と報酬信号」があれば、オープンソースの中小規模モデルでも強化学習後の微調整によってクローズドソースの最先端モデルを逆転できるということです。これは「Vibe Coding」がプログラミング分野で辿ってきた道筋と極めて類似しています。まずツール化されたサンドボックス環境があり、次に検証可能な報酬が存在し、最後にオープンソースモデルによる大規模な追いつきです。

おそらく、3D ワールド構築における「Vibe Coding の瞬間」は、まさに今、幕を開けようとしているのです。

論文タイトル： VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?

著者チーム： Yansong Ning, Jingwen Ye, Zhongkai Wu, Yang Sun, Yiqin Zhu, Xingyi Li, Weidong Zhang, Hao Liu

所属機関： 香港科技大学（広州）、腾讯 AI プラットフォーム部

オープンソース情報：

• プロジェクトホームページ：https://usail-hkust.github.io/VibeWorlding-Gym/
• Code（サンドボックス環境と訓練フレームワーク）：https://github.com/usail-hkust/VibeWorlding-Gym
• Dataset（VWE-Bench 評価ベンチマーク）：https://huggingface.co/datasets/usail-hkust/VWE-Bench
• Model（VibeWorlder モデルコレクション）：https://huggingface.co/collections/usail-hkust/vibeworlder

微信で開くにはこちらをクリック