Seed3D 2.0リリース、高精度化と可用性の向上

原作：ByteDance Seed 2026-04-23 12:23 北京

幾何形状およびテクスチャマテリアルの生成においてSOTA（State of the Art）の性能を達成

高品質かつ大規模な3Dコンテンツは、具身知能（Embodied AI）や工業製造などの分野において重要なインフラとなりつつありますが、従来の手法で生成された3Dコンテンツは、幾何精度やマテリアルのリアリティなどの面で、まだ生産レベルの要件を満たすのが難しい状況です。

昨年、Seed3D 1.0は単一画像から高品質な3Dモデルへのエンドツーエンド生成を探求し、テクスチャ生成において突破を遂げました。本日、私たちはより高精度な新世代の3D生成大モデル「Seed3D 2.0」を正式にリリースします。チームは幾何精度とマテリアル品質を中心にモデルのアーキテクチャをアップグレードし、3Dコンテンツのダウンストリームでの利用可能性を拡張しました。これにより、3D生成が「実用レベル」へと一層推進されることを期待しています。

既存の3D生成モデルとの比較評価において、Seed3D 2.0は幾何形状生成とテクスチャマテリアル生成という2つの核心指標でともにSOTA（State of the Art）の結果を達成しました。モデルは複雑な構造の再現がより精緻になり、PBR（Physically Based Rendering）マテリアルの生成においても、より高いリアリティと安定性を備えています。

現在、Seed3D 2.0の技術レポートが公開されており、APIも火山エンジン（Volcengine）で利用可能になりました。プロジェクトのホームページにアクセスしてご確認いただけますので、ぜひ体験と意見交換をお待ちしています。

プロジェクトホームページ：

https://seed.bytedance.com/seed3d_2_0

体験エントリ：

火山方舟（Volcano Ark）体験センター - ログイン - 視覚モデルの選択 - 3D生成 - Doubao - Seed3D-2.0

1. 幾何形状生成：2段階DiT（Diffusion Transformer）の導入、構造の妥当性から詳細の信頼性へ

3Dコンテンツ生成における幾何形状とテクスチャの品質は、モデルの実用性を決定する2つの核心次元です。そのうち幾何形状の品質は物体構造が妥当かどうかを直接決定し、生成コンテンツが「実用可能」か「不可能」かを分ける重要な分水嶺となります。Seed3D 1.0では、モデルが「全体構造」と「詳細構造」の生成を同時に行う必要があり、この方式は物体の全体形状を迅速に捉えることができますが、鋭いエッジや詳細構造において「軟化」現象が発生しやすく、生成された辺が十分に直線的でなかったり、曲面が十分に正確でなかったりする可能性があります。

Seed3D 2.0の幾何形状生成の完全なフロー

Seed3D 2.0の改善アプローチは、Coarse-to-Fine（粗から細へ）の2段階生成戦略を導入し、「全体構造」と「幾何詳細」をデカップリングして個別に最適化することで、鋭いエッジ、薄肉構造、複雑なトポロジーといった幾何形状生成の難関に突破することです：

段階1：粗い幾何構造の生成。モデルはより大規模なパラメータを持つDiTを活用し、入力画像に基づいて粗粒度の幾何構造を生成し、全体のトポロジー関係と空間レイアウトを構築します。

段階2：高精度詳細の生成。モデルは段階1の出力を幾何アンカーとして利用し、鋭いエッジや精密な表面などの詳細復元に焦点を当てます。ここで2つの重要な事前知識（Prior）を導入します：

局所知覚事前知識：第1段階の粗い結果を潜在変数に変換し、後続の詳細生成に対して信頼性の高い初期化入力を提供し、「空中生成」に起因する不安定さを回避します。

ボクセル化位置エンコーディング：第1段階で生成された幾何表面上に点をサンプリングし、ボクセル化処理を施して位置エンコーディングとし、モデルに対して空間位置の制約を提供します。

さらに、Seed3D 2.0はVAE（Variational Autoencoder）側でも同期アップグレードを実施し、より少ないトークンでより高い再構築精度を実現しました。局所領域の詳細表現を強化し、コンテンツに応じて注意機構（Attention）を動的に割り当てることで、VAEモデルの再構築精度と推論効率を大幅に向上させました。

図に示すように、既存の主流3D生成モデルとの定性的比較结果表明、Seed3D 2.0は複雑構造の精密エッジの処理、薄肉構造の生成、入力画像の再現において、ベースライン手法を明らかに上回っています。

幾何形状次元の定性的比較

さらに、3Dモデリングの経験を持つ60名の人間評価者を募集し、約200のテストケースを対象に、Seed3D 2.0と6つの主流モデルの生成品質をペアごとの盲検評価で比較しました。Seed3D 2.0は幾何形状生成の比較テストにおいて顕著な優位性を示し、他のすべての3D生成モデルと比較して高い選好率（人間評価者がその生成品質をより優れていると判断した割合）を示し、アーキテクチャの革新がもたらす幾何品質の向上を検証しました。

純粋な幾何形状生成タスクにおいて、ユーザーがSeed3D 2.0を主流モデルよりも優れていると評価した割合

1. テクスチャ生成：統一PBRモデル、外観の類似から物理的一貫性へ

幾何構造の精度に加え、テクスチャマテリアルのリアリティも3Dコンテンツの品質を直接決定します。特にダウンストリームアプリケーションでは、RGB（Red Green Blue）の外観だけでは不十分であり、完全なPBRマテリアルによってのみ、3Dコンテンツが任意の照明条件下でも物理的に一貫した視覚効果を保証できます。

Seed3D 1.0は、RGB生成とPBR（Physically Based Rendering：物理ベースレンダリング）分解にカスケード型モデルを採用しており、中間ステップの誤差が段階的に蓄積し、最終的な材質品質に影響を及ぼしていました。Seed3D 2.0では、これを統一されたPBR生成モデルに簡素化し、MMDiT（Multi-Modal DiT：マルチモーダルDiT）の二流アーキテクチャを維持したまま、モダリティ固有の投影層を通じて、共有DiT層内で完全なPBRマップを統合的にモデル化可能にしました。

Seed3D 2.0のテクスチャ生成フロー

統一された生成アーキテクチャを基盤とし、さらに2つの重要な革新を導入することで、より高解像度における高精度な材質生成を実現しました。

MoE（Mixture of Experts：エキスパートの混合）アーキテクチャを採用し、高解像度材質の詳細と境界精度を向上させました。Seed3D 1.0は出力解像度の制約により材質分解の詳細を保持しにくく、モデルのパラメータ数と解像度を直接拡大すると計算コストが高すぎるという課題がありました。そのためMoEアーキテクチャを採用し、スパースなエキスパートルーティングにより、モデルのパラメータ数と解像度を拡大しつつ推論計算量を制御し、より豊かなテクスチャ詳細と高精度な金属度・粗さの境界を生成可能にしました。

VLM（Vision-Language Model：ビジョン・ランゲージモデル）の事前知識を導入し、未知の照明下での材質分解の安定性と正確性を強化しました。RGB画像からPBR材質を逆算することは業界の難題であり、同じ外観でも異なる材質と照明の組み合わせによって生じる可能性があり、モデル推論時には色調の偏りや金属度の誤判定などのエラーが頻発します。これを解決するため、VLMモデルを入力画像の材質タイプと物理属性の説明に用い、追加の制御信号としてDiTに注入することで、材質分解をより安定かつ合理的なものにしました。

テクスチャ材質生成の定性的比較において、Seed3D 2.0は生成のリアリティ、材質品質、視覚的詳細、テキストレンダリングなどのすべての次元でベースライン手法を上回っています。

例えば、ステンレス製の鍋という物体において、Seed3D 2.0の生成結果はより現実的な金属質感を示しています。表面反射には適度な粗さの変化があり、わずかな使用感も伴い、ハイライトの分布が自然で、部位間での材質表現が一貫しています。一方、他の手法では材質が均一になりすぎたり全体に暗くなったりしやすく、実物体に見られる微細な変化が欠如しやすいという課題があります。

テクスチャ生成次元の定性的比較

テクスチャ3Dコンテンツ生成における人間の評価スコアにおいても、Seed3D 2.0は他のベースライン手法をリードしており、現在業界で主流のモデルと比較しても、Seed3D 2.0への選好率は69%以上を記録しています。

テクスチャ生成タスクにおいて、ユーザーがSeed3D 2.0を他のベースラインモデルより優れていると評価した割合

1. Seed3D 2.0の応用タスク探求：部品レベル生成とシーン組み合わせ

多くの応用シーンでは、完全な3D物体を機能的な部品に分解する必要があります。例えば、インタラクティブシステムでは独立して操作可能な物体コンポーネントが必要であり、シミュレーション環境では関節運動が可能な部品構造が必要です。そのため、Seed3D 2.0はモデリングの柔軟性をさらに拡張し、構成部品を「自在に分離・結合」できることを実現しました。

部品レベル3Dコンテンツ生成フローの概要

Seed3D 2.0は「まず理解し、その後生成する」というパラダイムを採用し、複雑な部品生成フローを2つのステップに分解しました。生成された3Dコンテンツに対してまず部品レベルでの分割を行い、その後各部品の完全な形状を補完します。

まず、Seed3D 2.0は大量の特定の分割データを収集・注釈付けすることで、3Dデータ上で機能性などの次元に基づいてどのように分割するかを学習します。私たちはSeed3D-PartSegの3D理解モジュールを訓練し、完全な3Dメッシュに対する表面分割を実現可能にしました。この基盤之上、Seed3D-PartDiTはさらにグローバルな3D形状、分割されたポイントクラウド、および画像を入力として生成ネットワークを訓練し、最終的に表面の分割結果を補完して完全な部品化メッシュに組み立てます。

図に示す通り、椅子はモデルによって自動的に座面、背もたれ、台座に分割され、ロボットも手足などの部位ごとに細かく分解されます。この部品スケールでの表現は、その後の詳細なインタラクション操作の基盤となります。

独立した部品には、意味のあるインタラクションを生成するために適切な物理的接続が必要です。そのため、部品の分割を基盤としつつ、Seed3D 2.0はさらにジョイント化モデリング能力を導入しました。

このプロセスはマルチモーダル理解と生成技術を融合しています。モデルはまずVLMを用いて部品を運動学コンポーネントに分割し、ジョイントタイプ（「回転可能な部品」や「固定構造」など）を識別します。さらに幾何学的事前知識と組み合わせてジョイント軸の位置を推定します。運動の物理的妥当性を確保するため、モデルはさらに画像から動画生成（Image-to-Video）モデルを用いて運動参照を生成し、ジョイント部品の動作範囲を最適化します。最終的にモデルは、完全なジョイント情報を含む3DコンテンツをURDFなどの標準フォーマットで出力し、Isaac Simをはじめとする主流の物理シミュレーションエンジンとの互換性を実現します。

現実の物理世界は多くの物体が織りなすものであり、そのためSeed3D 2.0は単一オブジェクトの生成能力からシーン（場面）生成へと拡張しました。

適切なオブジェクト配置を実現するため、Seed3D 2.0は入力条件に応じてレイアウト戦略をインテリジェントに適応させます。テキスト入力の場合、ファインチューニングされた大規模言語モデル（Large Language Model, LLM）を用いて空間関係の推論とレイアウト生成を行います。マルチビュー画像や動画入力の場合、モデルは深度推定（Depth Estimation）などの視覚シグナルに加え、インスタンスセグメンテーション（Instance Segmentation）やオクルージョン修復（Occlusion Repair）などの能力を活用して、シーンの空間レイアウトを推論します。レイアウトを取得した後、Seed3D 2.0は3Dコンテンツを一つずつ生成し、空間関係に従って組み合わせることで、豊かで完全なシーンを構築します。

Seed3D 2.0のシミュレーションシーン生成フロー

さらに、前述のパーツレベル生成とジョイント化（関節付け）能力を組み合わせることで、Seed3D 2.0が最終的に生成するシーンは厳密な空間構造を持つだけでなく、その中のオブジェクトは物理的な相互作用をサポートするジョイント化された3Dコンテンツに変換可能となります。これにより、下流の物理シミュレーション用途への基盤が築かれます。

1. まとめと展望

Seed3D 2.0は幾何精度、PBR（Physically Based Rendering）マテリアルの品質、そして下流での実用性において顕著な進歩を遂げました。しかしながら、3D生成はいくつかの長期的な課題に直面し続けています。幾何生成の詳細度と汎化性能には改善の余地があり、テクスチャ生成ではオクルージョン（遮蔽）やマッピング誤差の問題が残っています。また、3D生成モデルの大規模な適用は推論効率によって制限されており、その実装シーンには未知の領域と探求の余地が残っています。今後、これらの方向性で引き続き研究を深化させ、3D生成技術がより多くのシーンで大規模に適用されるよう推進してまいります。

阅读原文

跳转微信打开