Seed3D 1.0がリリース、1枚の画像から高精度3Dモデルを生成、テクスチャ生成能力はSOTA

Seed3D 1.0 发布，一张图生成高精度 3D 模型，纹理生成能力 SOTA

原创 字节跳动 Seed 2025-10-23 11:58 北京

可拓展至场景生成，为世界模拟器提供支撑

世界模拟器对具身智能的发展至关重要，理想情况下可为机器人训练提供复杂的场景模拟和高质量的合成数据，还能支持实时交互的训练环境。

然而，当前技术依然面临瓶颈：基于视频生成的模拟器虽能产生逼真画面，但缺乏物理交互的能力；基于传统图形学的模拟器虽物理交互准确，但生成内容的多样性不够。

今天，字节跳动 Seed 团队推出 3D 生成大模型——Seed3D 1.0，实现从单张图像到高质量仿真级 3D 模型的端到端生成。Seed3D 1.0 基于创新的 Diffusion Transformer 架构，通过大规模数据训练完成，可生成包括精细几何、真实纹理和基于物理渲染（PBR）材质的完整 3D 模型。

Seed3D 1.0 生成的 3D 模型可集成至仿真环境供机器人训练

通过 Seed3D 1.0 生成的 3D 模型能够无缝导入 Isaac Sim 等仿真引擎，仅需少量适配工作即可支持具身智能大模型训练。此外，通过分步的场景生成，Seed3D 1.0 可从单个物体生成，拓展至构建完整的 3D 场景。

Seed3D 1.0 可根据图片生成包含古建筑群的 3D 场景

既存の 3D 生成モデルとの比較において、Seed3D 1.0 は優位性を示しています。そのテクスチャとマテリアルの生成性能は従来のオープンソースおよびクローズドソースモデルを上回り、幾何学的な生成性能は業界でより大規模なパラメータを持つモデルをも凌駕し、総合的な能力は業界のトップレベルに達しています。

現在、Seed3D 1.0 の技術報告書が公開され、API も稼働を開始しました。プロジェクトのホームページにてご確認いただけますので、ぜひ体験と交流をお楽しみください。

プロジェクトホームページ：

https://seed.bytedance.com/seed3d

体験エントリーポイント：

https://console.volcengine.com/ark/region:ark+cn-beijing/experience/vision?modelId=doubao-seed3d-1-0-250928&tab=Gen3D

1. Seed3D 1.0：エンドツーエンドで高精度な 3D コンテンツを生成

物理的な正確性を考慮し、Seed3D 1.0 はグラフィックス（Computer Graphics）に基づく世界シミュレーターの探索を選択しました。そして、このアプローチにおける 3D モデルの多様性の不足、手作業による制作コストの高さ、および開発期間の長期化という課題の解決を試みています。

Seed3D 1.0 の開発過程において、チームは大規模な高品質な 3D データを収集・処理し、Diffusion Transformer（拡散トランスフォーマー）に基づく拡張性の高い 3D 生成基盤モデルの訓練に活用しました。同時に、Seed3D 1.0 はエンドツーエンドの技術アプローチを採用し、単一の画像からシミュレーションレベルの 3D モデルへの高速な生成を実現しています。

Seed3D 1.0 データ構築

3D データの複雑さと多様性は、訓練における最大の課題です。図に示す通り、Seed3D 1.0 は完全な三段階のデータ処理パイプラインを構築し、膨大な量の異種元の生 3D データを高品質なトレーニングセットへと変換しました。

処理プロセスには 3 つの重要なステップが含まれます。まず、生データの座標系とファイル形式を統一します。次に、データ重複の排除、姿勢の正規化、カテゴリラベリングなどの前処理を行います。最後に、幾何表面の再構築と多視点画像のレンダリングを行い、標準化された訓練データを生成します。

チームはまた、大規模データの保存、インデックス作成、可視化をサポートする効率的な分散型データ処理フレームワークを開発し、安定した訓練基盤を構築することで、大規模拡散モデル訓練の信頼性を確保しました。

Seed3D 1.0 モデルアーキテクチャ

Seed3D 1.0 は、生成 AI で広く採用されている Diffusion Transformer（拡散トランスフォーマー）アーキテクチャを採用し、3D 幾何学的形状の生成とテクスチャマッピングモデルを設計しました。

高精度な幾何学的生成

Seed3D 1.0 は 3D 幾何学的形状の高精度な構築を実現でき、精密な構造ディテールを生成できるだけでなく、閉曲面や流形幾何（Manifold Geometry）などの形態における物理的な完全性を保証し、シミュレーション計算の要件を満たします。図に示す通り、Seed3D 1.0 の幾何学的生成には 2 つのコアモジュールが含まれます。

(1) VAE エンコーダ：3D 幾何学的形状のコンパクトな表現を学習し、複雑なメッシュ構造を効率的に処理しながら表面ディテールを保持します。

(2) Diffusion Transformer モデル：潜在変数空間内で入力画像に基づき、高品質な 3D 幾何学的形状を生成します。

このアーキテクチャ設計は、生成効率の向上と幾何学的形状の正確性および物理的な完全性の確保の両方を実現しています。

多視点テクスチャ生成

精巧な幾何構造に加え、テクスチャマップは 3D 生成の視覚効果と多様性を保証する上で不可欠です。図に示す通り、Seed3D 1.0 はマルチモーダル Diffusion Transformer アーキテクチャに基づき、多視点画像生成モデルを構築しました。このモデルは参照画像と 3D 幾何レンダリング図を入力とし、一貫性のある多視点のテクスチャ画像を出力します。

その核心的な革新は、コンテキスト内におけるマルチモーダル制御戦略と最適化された位置符号化メカニズムにあり、異なる視点間の一貫性を確保します。多視点生成におけるシーケンス長の増大という課題に対処するため、チームは生成品質を担保するためにオフセット時間ステップサンプリング技術を採用しました。

PBR マテリアル生成

高品質なマテリアルは、写実的な 3D レンダリングを実現する鍵です。PBR（Physically Based Rendering：物理ベースレンダリング）マテリアルは、反射率、金属度、粗さの 3 つのコンポーネントで構成され、物体の視覚的リアリティを決定します。現在の PBR 合成手法は主に 2 つのカテゴリーに大別されます。生成式アプローチでは参照画像と 3D 幾何情報を用いて PBR マップを合成し、一方、直接推定アプローチでは多視点画像から各マテリアルコンポーネントの分解学習を行います。高品質な PBR 訓練データの不足という制約により、生成式手法の結果は推定式手法に比べてリアルで自然さに欠ける傾向があります。

この考察に基づき、Seed3D 1.0 は推定アプローチのフレームワークを採用しました。既存手法と比較して、チームは Diffusion Transformer モデルネットワークに基づく PBR 生成モデルを提案し、効率的な生成を保ちつつマテリアル推定の精度を向上させました。データ量が限定的な状況においても、より優れた汎化能力を発揮します。

図に示す通り、Seed3D 1.0 は多視点画像から直接マテリアル分解を学習します。これにより各マテリアルコンポーネントの正確な分解が可能となるだけでなく、生成された PBR マテリアルはあらゆる照明条件下で真実味のある視覚効果を示します。

1. 評価結果：Seed3D 1.0 は保持力が突出しており、精巧な特徴を正確に再現可能

Seed3D 1.0 の生成品質を検証するため、チームは包括的な比較評価を実施しました。これは幾何生成とマテリアル・テクスチャ生成という 2 つの主要タスクを網羅し、定量的ベンチマークテスト、定性的分析、および人的評価を通じてモデルのパフォーマンスを多角的に評価したものです。

幾何生成：パラメータは少なく、効果はより優れている

上記の図に示す通り、Seed3D 1.0 は細部の保持と構造の完全性の面で他の手法を上回っており、15 億パラメータ（1.5B parameters）の Seed3D 1.0 は、業界で 30 億パラメータ（3B parameters）を持つモデル（Hunyuan3D-2.1）よりも性能が高く、複雑な物体の微細な特徴をより正確に再現することができます。

テクスチャ・マテリアル生成：画像保持性が先駆的

定性的な比較は、Seed3D 1.0 のテクスチャ生成における優位性を直感的に示しています。同モデルは参照画像の保持性において優れたパフォーマンスを発揮し、特に微細なテキスト生成においては顕著な強みを持っています。例えば蒸気パンク調の時計を例にとると、他のモデルが生成する詳細がぼやけてしまう場合でも、Seed3D 1.0 は時計盤の数字と機械部品の輪郭を鮮明に保ちます。人物生成においては、Seed3D 1.0 が顔の特徴や織物のテクスチャを正確に再現できる一方、ベースラインモデルは保持能力が全体的に不足しています。さらに、Seed3D 1.0 が生成する PBR（Physically Based Rendering：物理ベースレンダリング）マテリアルの表面はよりリアリティがあり、適切な金属反射や肌のサブサーフェス・スキャタリング（次表面散乱）を実現し、強い照明下でも自然な効果を示します。

人間による評価：幾何形状およびマテリアル・テクスチャの表現が突出

生成結果を包括的に評価するため、チームは 14 名の人間評価者を招き、43 枚の入力画像に基づいて各モデルの生成品質を多角的に評価しました。評価指標には、視覚的な鮮明さ、再現度、幾何形状の質、透視図と構造、マテリアルとテクスチャ、詳細の豊かさが含まれています。その結果、Seed3D 1.0 は 6 つのすべての次元で良好なスコアを獲得しました。

幾何形状生成においては、Seed3D 1.0 が幾何形状の質や透視構造の面で他のベースライン手法を上回っており、同時に Seed3D 1.0 のマテリアル・テクスチャの表現は際立っています。入力画像の保持、視覚的な鮮明さ、詳細の豊かさにおいて大幅に先行し、SOTA（State of the Art：最先端）レベルを達成しています。

1. 単一物体からシーン生成へ、世界シミュレータへのコンテンツ基盤を提供

Seed3D 1.0 の高品質な生成能力に基づき、チームはこれを 2 つの重要なアプリケーション・シーンに拡張しました。

シミュレーション級 3D モデル生成

以下の図に示す通り、単一の画像を入力するだけで、Seed3D 1.0 は Isaac Sim に直接統合可能な 3D モデルを生成し、物理シミュレーションやロボット操作テストに利用できます。

3D モデルをシミュレータにインポートするために、Seed3D 1.0 は視覚言語モデル（VLM）を利用して各モデルのスケールを見積もり調整し、現実世界の物理寸法に合わせています。Isaac Sim は水密な流形幾何体から自動的に衝突メッシュを生成し、摩擦係数などのデフォルトの物理特性を適用するため、手動での微調整なしに即時の物理シミュレーションを実現できます。

チームは Isaac Sim 内で把持や多物体相互作用といったロボット操作実験を行いました。物理エンジンは接触力、物体ダイナミクス、および操作結果をリアルタイムで返します。Seed3D 1.0 が生成したモデルには、ロボットによる把持計画に不可欠な精密な幾何学的詳細が保持されており、おもちゃや電子機器は正確な表面特徴を保ち続けています。

このようなシミュレーション環境は、具身知能の開発において以下の三大の利点を提供します：

多様な操作シーンを通じて訓練データを大規模に生成可能であること；

ロボットの動作による物理的影響をリアルタイムでフィードバックし、対話型学習を実現すること；

多視点・多モーダルな観測データを提供し、視覚 - 言語 - 行動モデルのための包括的な評価基準を構築すること。

完全な 3D シーン生成

段階的生成戦略を採用することで、Seed3D 1.0 は単一の物体の生成から、完全で一貫性のある 3D シーンの生成へと拡張できます。

図に示す通り、システムはまず視覚言語モデルを用いて入力画像からオブジェクトと空間関係の情報を抽出し、シーンレイアウト図を構築します。次に、各オブジェクトに対応する 3D モデルを個別に生成します。最後に、空間レイアウトに基づいて個々の物体を組み合わせて完全なシーンを構成します。このフレームワークにより、Seed3D 1.0 はオフィススペースから都市の街並みまで、多様な 3D 環境を生成することが可能となり、世界シミュレータに対するシーンコンテンツの基盤を提供しています。

1. まとめと展望

Seed3D 1.0 は三次元モデルおよびシーン生成において良好な性能を示しましたが、チームは 3D 生成大規模モデルに基づいて世界モデルを構築するには、生成精度や汎化性のさらなる向上など、依然として課題が残っていることを認識しています。大規模かつ自動化された高品質な 3D シーン生成は、まだ探求の初期段階にあります。

今後、チームは多モーダル大言語モデル（MLLM）を導入して 3D 生成の質と堅牢性を向上させるとともに、3D 生成モデルの世界シミュレータにおける大規模応用を推進していく予定です。

Seed3D 1.0 のリリースにより、一枚の画像から高精度な 3D モデルを生成できるようになりました。このモデルは、テクスチャ生成能力において SOTA（State of the Art：最先端）を達成しています。

原文を読む

WeChat で開くにはこちらへ