Seedance 2.0 正式リリース

オリジナル 字节跳动 Seed 2026-02-12 12:50 北京

統一多モーダル音声・映像の共同生成、複雑な運動表現における SOTA（State of the Art：最良性能）

本日、私たちは次世代の動画制作モデル「Seedance 2.0」を正式にリリースいたします。

Seedance 2.0 は統一された多モーダル音声・映像共同生成アーキテクチャを採用しており、テキスト、画像、オーディオ、ビデオの 4 つのモダリティ（様式）を入力可能とし、現在業界で最も包括的な多モーダルコンテンツ参照および編集機能を統合しています。

バージョン 1.5 と比較して、Seedance 2.0 の生成品質は大幅に向上し、複雑な相互作用や運動シーンにおける実用性がより高まっています。物理的精度、リアリティ、制御性が顕著に強化され、産業レベルの制作シーンのニーズにより適応しています。

その核心的な特徴は以下の通りです：

複雑なシーンにおける高い実用性：優れた運動安定性と物理再現能力を背景に、モデルは多主体間の相互作用や複雑な運動シーンにおいて卓越したパフォーマンスを発揮し、生成されたコンテンツの実用性は業界最高水準（SOTA）に達しています。

多モーダル能力の顕著な強化：統一された多モーダル音声・映像共同アーキテクチャに基づく訓練により、混合モダリティ入力をサポートします。ユーザーは最大 9 枚の画像、3 本のビデオクリップ、3 件のオーディオファイル、および自然言語による指示を同時に入力することができ、モデルは入力素材内の構図、動作、カメラワーク、エフェクト、音声などの要素を参照できます。これにより、従来の動画生成における素材の境界を打破します。

動画生成の制御性の大幅な向上：モデルの指示遵守と一貫性表現が全面的に強化され、安定した動画延長や動画編集をサポートします。これにより、一般ユーザーも監督（ディレクター）のように振る舞い、動画制作の全プロセスを容易に掌握できるようになります。

産業レベルコンテンツ制作への深い対応：モデルは 15 秒間の高品質なマルチショット音声・映像出力をサポートし、ステレオ（二声道）オーディオ機能を備えています。これにより究極に近い臨場感のある視聴覚効果を実現可能で、参照および編集機能と組み合わせることで、映画、広告、EC（電子商取引）、ゲームなどのシーンにおけるコンテンツ制作コストを大幅に削減できます。

現在、Seedance 2.0 は「即夢 AI」や「豆包」などのプラットフォームにて提供を開始しており、体験とフィードバックをお待ちしています。

プロジェクトホームページ：

https://seed.bytedance.com/seedance2_0

体験エントリーポイント：

1）即夢 Web 版 - 動画生成 - Seedance 2.0 を選択；

2）豆包 App ダイアログボックス - Seedance2.0 - 2.0 モデルを選択；

3）火山方舟体験センター - Doubao-Seedance-2.0 を選択。

リアルな視聴覚効果と監督級コントロール

音声・映像生成を「所想即所見（想うがままに見る）」へ

基本能力と多モーダル効果の飛躍的な向上により、Seedance 2.0 はユーザーに全く新しい創作体験をもたらします。

Seedance 2.0 は前世代モデルでは実現が難しかった複数人による競技スポーツの生成を完了でき、オーディオ効果はより自然で没入感があり、入力も単一のテキストや画像に限られず、創作プロセスはより自然かつ効率的になります。これにより、ユーザーは真の「監督」のように創作を掌握できるようになります。以下に、その能力の特徴を具体的に紹介します。

1. 複雑な動きと相互作用を安定して表現し、物理法則を忠実に再現

Seedance 2.0 の生成パフォーマンスは大幅に向上し、特に人物の動作モデリングにおいては、これまでに見られなかった自然さ、一貫性、そして物理的な妥当性を示しています。

時系列の精密さを要する複雑な相互作用シーンを高忠実度で合成することが可能で、例えば二人組フィギュアスケートのシーンでは、モデルは同期したジャンプ、空中での回転、正確な着氷といった一連の高難度動作を巧みに演じ出します。同時に、生成プロセスにおいては現実世界の運動法則への遵守が保たれ、従来の AI 動画に見られるような物理的な誤謬を回避しています。

T2V プロンプト：競技レベルの二人組フィギュアスケートの現場。オープニングはローアングルで氷上の滑走を追跡し、氷屑と反射の詳細が鮮明に描写される。回転パートに入ると、男性選手の軸がわずかに逸れてミスが発生し、回転のリズムが一時的に崩れる。女性選手は即座に重心を調整し、冷静な眼差しで「私についてきて」と合図を送り、男性選手を無理やりリズムに合わせようとする。その後、トワール（持ち上げ）動作へとシームレスにつながり、ラインは清潔で安定している。ハイライトは同期ジャンプの組み合わせで、空中での姿勢はまっすぐ、着氷は断固としており、音と映像が完璧に同期している。女性選手は濃紺のフィギュアスケートドレスを着用し、男性選手は競技用のスポーツウェア姿である。全体として、緊張感のあるミスから冷静な完走までの完全な物語を提示しており、トップレベルの二人組フィギュアスケートにおける技術力と心理的強度が体現されている。

より繊細なクローズアップショットにおいても、微妙な光と影の屈折変化、衣類が風に揺れる際に現れる重力感、あるいは人物と環境との間にある自然で滑らかな相互作用動作など、モデルが生成する映像は極めて写実的なディテールと厳密な物理的論理を示し、まるで実際の撮影された映像のようである。

I2V プロンプト：女の子が優雅に洗濯物を干し、干し終わったらバケツから別の一枚を取り出し、力強く服を揺らす。

1. 多様な「全能リファレンス」に対応し、創作の自由度が大幅に向上

Seedance 2.0 は多様な「全能リファレンス」をサポートしており、異なるテキスト、画像、動画、音声を入力として組み合わせることが可能である。モデルは多様な入力内容を正確に理解し、指示に従ってそれらの映像構成、カメラワーク、動作のリズム、音響の特徴などの要素を参考にして生成を行うことができる。さらには文字によるストーリーボード（分鏡）の内容そのものを直接参照することもでき、創作の自由度が大幅に向上している。

R2V プロンプト：@画像 1 女の子が次元の壁を破り、連続して複数の名画の世界へ穿越する。リアルな質感を保ちつつ、油彩画の世界は 3D の高彩度アニメーションスタイルで表現される。彼女は @画像 2 の回転する星空の下で興奮した表情を浮かべ、次に @画像 3 のカップルの抱擁を好奇心を持って見つめる。カップルは照れくさそうに毛布で顔を隠す。その後、@画像 4 の真珠の耳飾りの少女と一緒にセルフィー（自撮り）をし、直ちに @画像 5 の二人の侍の間をすり抜ける。@画像 6 と一緒にグーフェイス（おどけた顔）をして叫び、@画像 7 のモナリザの隣へ走っていき、頭を撫でられ頬に顔を寄せられる。@画像 8 の女性の前で振り返り衣装を変え、二人はお互いに礼をする。その後、@画像 9 のゴッホと一緒に絵を描き、最後にカメラから背を向けて夕日を見つめ、すぐに振り返って甘く微笑む。コントラストが高く、映画のような質感で、トランジション（転換）は滑らかでシームレス、人物は生き生きとしている。

R2V プロンプト：@画像 1 のストーリーボード（分鏡脚本）を参照し、@画像 1 の分鏡、画角、カメラワーク、映像、およびキャプションを参考にする。登場人物は @画像 2、シーンは @画像 3、小道具は @画像 4 で、15 秒間の癒やし系動画を創作する。

1. より強力な制御性で、生成と編集の指示を正確に遵守

Seedance 2.0 の動画生成における制御性も大幅に向上している。その指示への従順性は顕著であり、多数のキャラクター間相互作用や微細な動作記述を含む複雑なスクリプトに対しても、正確に再現して生成し、安定した主役の一貫性を保つことができる。同時に、モデルは一定の演出家としての思考能力を持ち、自らカメラワークを計画し、視覚的なプレゼンテーションテンプレートを設計することも可能である。

T2V プロンプト：馬年の新春家庭映像。アルバムをめくるように一列に並んだ家族メンバーの一人ずつの写真が素早くスクロールされ、各写真がカメラが通り過ぎる瞬間に「生き返る」：おじいちゃん、おばあちゃん、両親、そして子供たちが微細な表情変化と共に、それぞれ固有の動作（例：赤包み（お年玉）を渡す、ぬいぐるみを掲げる、猫が鈴を振るなど）を一組行う。異なる人物同士は、背景の赤いランタンと春聯（春節の飾り）が動的に点灯する中で、ページをめくるように素早く横移動し、シームレスにつながっていく。最終的に画面は賑やかな家族写真へと集約され、全員で「馬年の団らん、すぐに福が来る」と一斉に叫ぶ。効果音も笑い声に合わせて同期し、雰囲気は温かみから歓喜へと転換し、光と影は自然に流動する。

同時に、Seedance 2.0 は動画編集機能を新たに追加し、指定された断片、キャラクター、動作、あるいはプロットに対する定向修正をサポートするようになりました。本モデルはまた動画延長機能も提供しており、ユーザーの指示に従って連続したショットを生成することが可能で、単に生成が得意なだけでなく、「続きを撮影する」こともできます。

R2V プロンプト：動画を延長し、茶色の馬に乗ったオレンジ色の服を着た男性を追跡撮影。彼は前方にあるオレンジ色の花を咲かせた大きな木に向かってスピードを上げ、枝から二つの花を折ります。その後、他の人々も次々と馬に乗ってカメラの画面内に入ってきます。カメラはこのオレンジ色の服を着た男性が馬から降りる様子をズームインし、彼を素早く周囲を取り囲むように撮影します。彼は振り返り、白い馬に乗った白衣の女性へと歩み寄り、花を捧げます。中国風の仕女画スタイル、3D、陽気な民謡、皮影芸風、主調は黒・白・オレンジ。

1. 二声道オーディオ機能、高仿真没入型音響効果の同期生成

Seedance 2.0 はさらにオーディオ機能をアップグレードし、二声道ステレオ技術を統合することで、高仿真かつ没入型の音響効果生成を実現しました。本モデルは背景音楽、環境音、あるいはナレーションなど、複数のオーディオトラックを並列出力することをサポートし、画面のリズムに正確に同期させることができます。

T2V プロンプト：武侠スタイルの視覚・聴覚的大作。竹林の中で白衣の剣客と蓑衣（さやがい）を着た刀客が対峙しています。カメラは二人の間をゆっくりと移動し、焦点は雨滴と剣柄の間で切り替わり、雰囲気は極限まで圧迫され、雨音しか聞こえません。突然稲妻が走り、二人同時に突撃します。サイドアングルからの撮影でカメラが急速に横移動し、泥が飛び散る足元を捉えます。二兵が交差する瞬間、画面は極端なスローモーションに切り替わり、刀剣が雨水を震わせて形成した円環状の衝撃波や、剣気によって切断された竹の葉を明確に描写します。その後通常速度に戻り、二人は背中合わせに着地し、蓑衣刀客の斗笠（たかさぎ）が割れます。画面は突然切り替わります。

同時に、本モデルの音響設計は非常に自然で、すりガラスの軽やかなこすれ声、毛織物の揉みほぐす音、アクリル板を軽く叩く音、気泡紙を軽く押さえる音など、繊細な音響効果を実際に再現し、シーンの没入感を強化します。厳格な音声と映像の時系列制御と相まって、オーディオと視覚的な動作がきっちり一致するように確保され、プロフェッショナルレベルの視聴覚コンテンツ制作をよりよくサポートすることができます。

T2V プロンプト：没入型第一人称視点の手元 ASMR 動画。近接クローズアップショット。暖かい黄色い柔らかな光の下、細い手が順番に異なるアイテムを優しくトリガーします：すりガラスの軽やかなこすれ声、毛織物の揉みほぐす音、アクリル板を軽く叩く音、気泡紙を軽く押さえる音、木製の櫛の歯がなぞる軽やかな音。指の動きはゆっくりと優しく、背景音楽はなく純粋に自然なトリガー音のみで、画面の雰囲気はリラックスして癒やされます。

1. 全シーン広範対応、専門的なコンテンツ制作のハードル低下

動画コンテンツ生産の多様なニーズに対応するため、Seedance 2.0 は極めて高いシーン適応性を示しています。商業広告、映画・テレビの特効、ゲームアニメーション、ナレーション動画など、あらゆる分野において本モデルは高品質な生成効果を提供します。

AI による生成で複雑な特効制作や実写撮影プロセスを代替することで、Seedance 2.0 は専門的なオーディオ・ビデオコンテンツの制作コストを大幅に削減し、生産サイクルを短縮します。これにより、クリエイターや企業がアイデアをより効果的に実現することを支援します。

I2V プロンプト：絵の中の人物が罪悪感を感じており、目を左右に動かして絵枠から顔を覗かせ、素早く手を伸ばして絵枠の外に出し、コカ・コーラを一口飲んで満足そうな表情を見せます。その時足音が聞こえ、絵の中の人物は慌ててコカ・コーラを元の位置に戻します。すると西部劇の牛仔（カウボーイ）がコップに入ったコカ・コーラを持って立ち去ります。エンディングではカメラがズームインし、純黒の背景の下で頂光に照らされたコカ・コーラのクローズアップになります。画面最下部には芸術的なフォントで字幕とナレーションが表示されます：「宜口可乐，不可不尝！」（宜口コークは、必ず味わうべし！）。

T2V プロンプト：1920 年代ジャズクラブ風のチャールストンダンス。金色のフリンジドレスを着た女性ダンサーと縞模様のスーツを着た男性ダンサーがハイレベルなパフォーマンスを披露します。動作には高速のカットステップ、空中での投げ受け、そして大げさな腕振りを含みます。カメラはダイナミックに追従撮影し、足元のクローズアップショットを挿入します。重点的に表現するのは、蹴り上げのたびにフリンジが狂ったように揺れる物理的なディテール、肌についた汗の輝き、そして煙に包まれたレトロなフィルムの粒状質感です。背景にはジャズバンドと歓声を送る観客がおり、熱狂的なパーティーの雰囲気を盛り上げています。

*注意：上記のデモに含まれる人物主体を参照とした生成動画はすべてモデル能力の演示であり、関連する人物主体は AI によって生成されたものか、あるいは既に権限を取得したものです。実写の人物像を主体参照として使用して動画を生成する場合は、本人の確認または事前に合法的な権限取得が必要です。

Seedance 2.0 評価結果

総合的なパフォーマンスが業界をリード

Seedance 2.0 の多様なマルチモーダルシナリオにおける総合能力を客観的かつ包括的に評価するため、チームは映画・映像分野の専門家と連携し、音声・映像生成、参照、編集の各シーンを網羅する総合評価セットおよび関連評価基準を構築しました。本次评估重点考察模型在多模态参考生成、复杂音视频指令遵循、复杂运动稳定性、专业镜头语言、音视频表现力及视听一体化协同等维度的表现。

1. テキストから動画へ、画像から動画への評価

動画の次元において、Seedance 2.0 は業界でトップレベルに位置しています。その運動安定性、指示の遵守、そして画面の美しさの各次元において顕著な向上が見られ、構造の正確さや崩壊の問題が効果的に改善され、生成される複雑な動作は滑らかで繊細なものとなっています。モデルは高張力の大規模アクションから微細な表情に至るまで精密に表現でき、プロフェッショナルレベルの組み合わせカメラワークと物語のリズム制御もサポートします。

長いスクリプトや開放的な指示に対しては、モデルは良好に応答し、適切に发挥します。また、生成される動画には一定の映画化された美しさがあり、物体の質感、光影の構図、衣装・小道具のデザインにおいて高い完成度が示されています。ただし、Seedance 2.0 は詳細な安定性、擬似現実度、そして動的な生き生きとした表現について継続的な改善が必要です。

音声の次元においては、Seedance 2.0 は依然として強力なパフォーマンスを発揮し、音声表現力が大幅に向上しました。そのステレオ（二声道）オーディオは層が豊富で繊細であり、シナリオに応じてより適切なプロンプト情境にマッチする効果音や曲調旋律を生成できます。前バージョンと比較して、モデルの視聴覚一体化体験がさらに強化され、セリフ、効果音、バックグラウンドミュージック、そして画面内容がより密接に融合しています。同時に、中国語の方言、戏曲（伝統的な演劇）、歌唱シーンにおける指示への応答精度も顕著に向上しました。ただし、Seedance 2.0 は依然として複数人物の口型マッチングや偶発的な音声歪みなどの課題を解決し続ける必要があります。

Seedance 2.0 テキスト生成動画能力評価

Seedance 2.0 画像生成動画能力評価

1. マルチモーダル参照生成評価

Seedance 2.0 は業界をリードする総合的なパフォーマンスを示しています。モデルがカバーする参照タスクはより包括的となり、マルチモーダル参照生成、動画編集、動画の継続など多様な創作シーンをサポートします。同時に、参照コンテンツに対する理解の深さと応答精度において優位性を持ち、編集タスクにおいては他モデルと比較して Seedance 2.0 の指示への応答がより完全で、生成される画像もより現実的です。一貫性の表現においては、主体のイメージと音声の再現において相対的に良好なパフォーマンスを示し、特に動作論理、エフェクトスタイル、そして物語的ナレーションにおける参照の一貫性において顕著な優位性を示しています。ただし、モデルは複数主体間の一貫性、文字の再現精度、そして複雑な編集効果においては依然として改善の余地があります。

Seedance 2.0 の多様なタスクにおけるパフォーマンス評価

まとめと展望

Seedance 1.5 の「音画一体の同期生成」から、Seedance 2.0 の「統一された多様なメディアによる音声・映像の共同生成」へと進化を遂げました。Seedance シリーズは常に、究極かつ統一されたアルゴリズムフレームワークを通じて、現実世界を精密に再現することを目指しています。

膨大な世界の知識、スパースアーキテクチャ（sparse architecture）の効率性、そして多様なメディアによる共同訓練によって生み出される強力な汎化能力を背景に、今回のバージョンでは物理法則の遵守と長期的な一貫性の課題を解決しました。同時に、クリエイターには前例のない自由度を与え、音声・映像生成の品質と制御性をプロフェッショナルな生産現場の要件を満たすレベルまで引き上げました。

しかしながら、Seedance 2.0 はまだ完璧ではありません。生成結果には依然として多くの欠陥が残っています。今後は、大規模モデルと人間のフィードバック（human feedback）との深いアライメントを継続的に探求し、より効率的で、より安定した、そしてより想像力豊かな音声・映像制作ツールを通じて、より多くのクリエイターをサポートしていく所存です。

原文を読む

WeChat で開くにはこちらへ