Seedance 2.0で素晴らしい動画を作成する方法
Replicate が公開した Seedance 2.0 は、プロンプトの忠実度や物理挙動の再現性において劇的な進歩を遂げ、映画のような高品質な AI 動画生成を可能にする画期的なモデルである。
キーポイント
技術的飛躍と「AI らしさ」の克服
以前の低品質な生成から脱却し、プロンプトへの忠実度、音声統合、そして特有の「不自然さ(AI look)」を解消する劇的な改善が報告されている。
複雑な物理現象とスケールの再現
宇宙ステーションの衝突や恐竜の大群など、大規模な破壊、破片の挙動、カメラワークを含む複雑な物理シミュレーションを高精度に生成できる能力を示している。
映画製作者向けの高度な制御
マイケル・マン監督風の映像や、動的なモーションブラー、特定の照明条件など、具体的な撮影技法や芸術的スタイルをプロンプトで指示可能となっている。
業界における位置付けの変化
Google の Veo 3 や Kling などの競合モデルとの比較において、数ヶ月ぶりの大きなステップチェンジとして位置づけられ、映画制作への応用が可能と評価されている。
高度な物理シミュレーションと詳細描写
Seedance 2.0は、足踏みによる地面の揺れや破片の飛散など、複雑な物理現象を8K解像度でリアルに再現できます。
映画監督風の映像スタイルの再現
スティーヴン・スピルバーグやロラン・エメリッヒなどの著名監督の撮影技法や雰囲気をプロンプトで指定し、高品質な映像を生成可能です。
多様な入力リファレンスの活用
Seedance 2.0 は最大 9 枚の画像、3 クリップの動画、3 ファイルの音声、およびテキストプロンプトを同時に使用でき、それぞれから構成、カメラワーク、リズムなどを抽出して統合できます。
影響分析・編集コメントを表示
影響分析
Seedance 2.0 の登場は、AI 動画生成が単なる実験的なギミックから、実用的な映画制作やコンテンツクリエーションのツールへと転換する重要な転換点となる可能性が高い。特に物理法則の理解と複雑なカメラワークの再現性向上により、クリエイターが意図した映像を効率的に実現できる環境が整いつつあり、業界全体の生産性とクオリティの底上げを加速させるだろう。
編集コメント
この記事は、AI 動画生成技術が「不自然さ」から脱却し、実写映画に匹敵する物理的リアリティを獲得した瞬間を捉えています。特に複雑な動作シーンの生成能力は、今後クリエイティブ業界におけるワークフローの根本的な変革を促すでしょう。
以前、AI動画は完全にダメでした。(私たちは誰もが数えきれないほどウィル・スミスがスパゲッティを食べている動画を見ていますので、ここでは省略します。)
しかし昨年、GoogleのVeo 3シリーズや快手(Kuaishou)のKlingといった先駆者たちによって、AI動画が本当に急成長し始めたことが確認できました。新しいモデルがリリースされるたびに、プロンプトへの準拠性、オーディオ統合、「AI特有の外観」の問題解決といった点で改善が進んでいました。
Seedance 2.0は、数ヶ月で見られた中で最も大きなステップアップです。このツールを使って映画を作ることができます。
**
低地球軌道にある2つの巨大な宇宙ステーション間の壊滅的な衝突。金属がスローモーションで引き裂かれ、ステーション同士が擦れ合いながら衝突し、破片の雹が外側へ渦を巻いて飛び散ります。モジュール全体は缶詰のように潰れます。加圧区画が結晶化する大気の激しい爆発とともに吹き飛びます。ソーラーパネルは粉々に砕け、虚空へ向かって後方回転しながら舞い散ります。カメラは wreckage(残骸)の中を転がり、腕をばたつかせる宇宙飛行士がラグドールのように通り過ぎる様子を捉えます。爆発の波紋がステーションの背骨に沿って広がっていきます。背景には雄大な地球が静かで無関心な様子で浮かんでいます。超写実的、壊滅的なスケール、ISO破片フィールド、8k、重力衝突シーケンスのエネルギー。
バイオメカニカルグライダーに乗った大胆な空中盗賊が、混沌とした浮遊島市場を飛び交い、空中の商人たちを軽やかにすり抜け、通過する飛行船や群れるグリフォン、係留された交易拠点をかわしながら滑空する。彼は崩れかけた石造りのアーチ、賑やかなロープブリッジ、滝を抜け、狭い隙間を正確かつスタイリッシュにバレルロールで通過する。シネマティックな追跡ショットが彼の下降を追跡し、ダイナミックなモーションブラーと結晶や霧に反射する幻想的な斑紋の日差しが強調されている。空の街は、羽ばたく翼、叫ぶ商人たち、絶え間ない垂直運動でエネルギッシュなファンタジーの雰囲気を放っている。エピックなハイファンタジーアクションの美学を持つ超写実的なディテールで、雲を通り抜ける速度、敏捷性、恐れ知らずの勢いを捉えている。
夜間の雨に濡れた高速道路での高速度カーチェイス。2台のムッスルカーが時速140マイルで激しい交通を縫うように走行し、ヘッドライトが豪雨をかき分ける。1台の車が大型トラックに接触し、火花が6車線に飛び散る。カメラは先頭の車のボンネットに取り付けられており、雨粒がレンズを叩く。上空のネオン標識がぼやけて見える。追跡する車が2台のバスの間の隙間をフィッシュテール(スライド)しながら通過する。タイヤが溜まった水上でハイドロプレーニングを起こす。超写実的、モーションブラー、濡れたアスファルト上の反射、8k、マイケル・マンの撮影技法。
密集したジャングルを巨大な恐竜の大群が駆け抜ける。何十頭ものブラキオサウルスやパラケラトプスが樹木を突き破って現れ、その巨大な体躯が幹を枝のように折っていく。カメラは地面の高さにあり、雷鳴のような足音ごとに揺れる。空気中には埃や破片が舞う。頭上の樹冠からプテラノドンの群れが飛び出す。大群は倒木を避けて分かれ、カメラは踏み潰されるのをかろうじて免れる。超写実的、ジャングルの葉が四方に飛び散る、ジュラシック・パークのエネルギー、8k、スティーブン・スピルバーグ監督の撮影技法。
夕暮れ時、空母から戦闘機が発進する。カタパルトが作動し、戦闘機は2秒間で時速0から170マイルに加速する。アフターバーナーが青白い炎を噴く。カタパルトレールからは蒸気が吹き上げる。カメラは甲板から追跡し、戦闘機が船首を離れて少し落下した後、オレンジ色の空へ急角度で上昇していく様を追う。二重の航跡を残して。甲板の乗組員はジェット機からの衝撃風圧に耐える。海は地平線まで広がっている。超写実的、トップガン風の撮影技法、8k、二つのターボファンエンジンの悲鳴のような轟音とカタパルトの金属的な衝撃音。
ジャングル深处の古びた繁茂した寺院を、一人の探検家が徒歩で横断している。蔓に包まれた巨大な石造りの柱が頭上高くそびえ立っている。崩れかけた天井の隙間から差し込む金色の光線が、浮遊する塵や昆虫を照らし出している。探検家は垂れ下がった根のカーテンを押し分け、上部の遺跡が反射する静かな水溜りがある広大な地下空間を発見する。蛍が空間内を漂っている。超写実的、インディアナ・ジョーンズ風の雰囲気、8k、壮大な発見の瞬間、空間に響き渡る滴る水の音。
巨大な津波が沿岸都市に激突する。建物が崩壊し、水の壁が通りを押し進んでいく。車は洪水に巻き込まれ、転がり落ちる。カメラは屋根から波が通り過ぎる様子を捉え、水が高層ビルに衝突して爆発する。破片と泡があらゆる方向で渦を巻く。空は嵐の雲で暗闇に包まれている。超写実的、破滅的なスケール、8k、ロラン・エメリック監督の災害映画、百万トンの水の耳をつんざく轟音。
ゴールデンアワーの峡谷を舞台にした劇的な馬乗り Chase。黒い牡馬に乗った騎手が、狭い崖の縁を全速力で駆け抜け、背後から赤い塵が舞い上がる。峡谷の壁は両側で高くそびえ立ち、低い日差しの中で琥珀色に輝いている。馬は道途の隙間を飛び越え、四つの蹄が地面から離れ、たてがみと尻尾が流れるように揺れている。カメラは平行する崖から横方向に追従して撮影している。岩が崖の端から崩れ落ちる。騎手は振り返って後方を見つめる。超写実的、壮大なウエスタン映画の撮影スタイル、8k解像度、峡谷の壁に響く蹄音。
これは非常に革新的なビデオモデルです。
この投稿では、Seedance 2.0 の実用的かつ最もクールな機能の一部について議論し、この驚くべきテクノロジーの扱い方を理解していただくことを目的としています。読み終える頃には、実際に素晴らしいビデオを生成するのに役立つすべてのトリックを習得しているはずです。
参照機能の活用
ほとんどのビデオモデルはテキストプロンプトを受け取り、クリップを生成します。Seedance 2.0 はこれとは異なります。最大9枚の画像、3本のビデオクリップ、3つのオーディオファイル、そしてテキストプロンプトを入力できます。モデルは各要素の使用方法を理解します。写真から構図を引き出し、ビデオクリップからカメラワークを抽出し、オーディオトラックからリズムを取り入れ、それらがどのように連携するかを言葉で記述することができます。
このプロセスはプロンプト作成というよりも、監督作業に近いものです。
例を見てみましょう。このキャラクターをこの室内に配置します:


そして、この音声(resemble-ai/chatterbox-turbo 由来)を使って彼に話させてみましょう。
画像、動画、音声などの入力アセットを参照する際は、プロンプト内でそれぞれ [Image1] や [Audio1] と表記します。例えば:
[Image2] は [Image1] の内部にあり、彼は [Image2] のスタイルを保ちつつ、[Image1] のリアリズムが維持されています。彼は [Audio1] を発しています。
このトリックに関連するいくつかのヒントがあります。プロンプト自体に入力した音声のテキストを記述すること、および動画の再生時間を音声の長さと同じに設定することが役立ちます。
参照機能を活用することで、動画全体のスタイルの一貫性を保つことができます。以下の例をご覧ください。特定のスタイルの画像をいくつか入力し、Seedance 2.0 にそれらを1つの動画に変形(モーフィング)するよう依頼しました。これは、従来のビデオ編集者であれば数日かかる作業だったでしょう。
すべての写真間で滑らかなモーフィングを作成します
背景音楽を依頼していませんでしたが、私にはうまく機能しています!
Seedance 2.0 における参照機能が、以下のような一般的なワークフローに拡張されていることがわかります:
- キャラクターの一貫性:キャラクターの外観を生成 across で維持するため、そのキャラクターの参照画像を提供する
- モーション転送:動画クリップをアップロードすると、モデルがその動きのパターンを新しいコンテキストで再現します
- スタイルと構成:画像を視覚的な参照として、フレーム構成、カラーパレット、または芸術的スタイルに使用します
- オーディオ駆動のリズム:音楽トラックを提供すると、モデルはカットと動きをビートに同期させます
同じエンジンからのオーディオ
Seedance 2.0 は、まずビデオを生成してからその上に音声(ダビング)を追加するわけではありません。オーディオとビデオは同じ統一されたアーキテクチャから生成されるため、ミリ秒レベルで同期されています。
モデルは、複数のレイヤーされたトラックを持つステレオ(dual-channel stereo)の双チャンネル音声を生成します。これにより、バックミュージック、環境音(ambient sound effects)、キャラクターのナレーションのミックスを得ることができます。
スモーキーなナイトクラブで、ジャズピアニストの手がグランドピアノの鍵盤を素早く動くクローズアップ。各鍵盤を押すたびに、暖かい琥珀色の光の波紋がピアノのラッカー表面に広がって見えます。カメラはゆっくりと後退し、フルバンド(アップライトベース、ブラシを使うドラムセット、テナーサックス)が明らかになります。ミュージシャンたちは互いに頌え合い、ソロを交換し合います。シガレットの煙が一本のスポットライトビームの中を渦巻きます。超写実的、親密なジャズクラブの雰囲気、8k解像度、ピアノ鍵盤のシャープなアタック、ウォーキングベースライン、ブラシで叩くスネアドラム、息遣いを感じるサックスのメロディ。
各楽器は個別に聞こえ、ミュージシャンの動きと同期しています。ピアノの鍵盤、ウォーキングベースライン、ブラシで叩くスネアドラムはすべて、視覚要素とは別に後から重ねられたものではなく、ビジュアルと同時に一貫して生成されています。
ダイアログについても同様です。すべての言葉がくっきりと明確に届き、唇の動きに正確に合わせています。そして一般的に、長く複雑なダイアログでさえ、ワンショットで生成するのはかなり容易です。
典型的で日常着の服装をした二人の奇抜な大人が、雨の降るウェストビレッジの街角で激しく活発な会話を交わしている、タイトなミディアムショット。オーバーサイズのトレンチコートを着た片方は手荒くジェスチャーをし、「SOURDOUGH PRETZEL」という文字が脈打つようなエレクトリックブルーで浮かび上がり、「これただのプレツェルじゃないよ、アーサー!発酵種を使ったプレツェルなの!」と言う。もう一人の男性は「誰が気にするものか。プレツェルはプレツェルだ!」と答える。
物理演算の扱い
このモデルで最も気に入っているのは、複雑な物理現象を扱える能力です。これは以前の動画モデルにとって大きな課題でした。複雑な動きや相互作用がある場合、アーティファクト(ノイズ)が多数発生していました。Seedance 2.0 では、そういったものが自然に動作します。派手なものでさえもです。
このモデルでは、これらの衝突がどれほど驚くべきリアリティを持って見えるかという点に魅了され、ハイクオリティなスペース関連の動画制作に夢中になっています。
低軌道にある2つの巨大な宇宙ステーションの破滅的な衝突。金属がスローモーションで引き裂かれ、ステーション同士が擦れ合いながら衝突し、破片の雹が螺旋状に外側へ飛び散る。モジュール全体は缶詰のように潰れる。加圧区画からは結晶化する大気の激しい爆発と共に中身が吹き出す。太陽光パネルは粉々に砕け、虚空へ向かって後方回転しながら舞い上がる。カメラは残骸の中を旋回し、白いEVA(宇宙遊泳用)スーツを着た孤立した宇宙飛行士が無力に腕を振りながら通り過ぎる。爆発の波紋がステーションの背骨に沿って広がっていく。背景には雄大な地球が、静かで無関心な様子で浮かんでいる。超写実的、破滅的なスケール、軌道内の破片群、8k解像度、重力衝突シーケンスのエネルギー。
この例をご覧ください。ここでは入力画像から始め、Seedance 2.0にシーンのアニメーションを依頼しただけです。通常の動画モデルであれば、車両は剛体として前方へ移動するだけですが、Seedance 2.0 は荒れた地形を航行する際に車両が上下に揺れるという一歩踏み込んだ処理を行っています。これは高予算映画から期待される品質に近いものです。
この画像をアニメーション化
同じ物理的な理解は、スタイライズされた出力にも適用されます。ここでは、ByteDance製のDreamina 3.1からの入力画像から始めました。油絵としてレンダリングされていても、流体力学は正確に保たれています——水は適切な粘度で動き、飛沫は正しく分裂し、表面はそれらしく振る舞います。
この画像をアニメーション化
カメラ計画によるマルチショット出力
Seedance 2.0は、マルチショット構成を用いて最大15秒間の動画を生成します。このモデルは、カメラの動き(カット、トランジション、トラッキングショット、プッシュインなど)をプロンプトから計画し、個々のカメラ操作をすべて指定する必要はありません。
タイムコード付きマルチショットプロンプティング
単一の15秒間の生成内で個々のショットを指示するには、プロンプト内にタイムスタンプを記述します。
例のフォーマット:**
あなたが望むシーンをリストアップするだけでも可能ですが、このタイムコード方式により、クリップの長さを正確に調整できます。驚くべきことに、プロンプト内にこれほど密度が高く具体的な情報が含まれていても、モデルは幻覚(ハルシネーション)を起こしません。
各ショットでは、カメラの位置、被写体の動作、照明の状態を指定する必要があります。ショット間のトランジションに関する言語(「ハードカットで切り替える」、「シームレスに変形する」など)は、モデルに即興を任せるのではなく、明確なカット指示を与えます。
以下は、タイムコード付きプロンプティングが何を実現できるかを示す4つの例です。
夕暮れの侍 — ドリーズームとクレーンショット:
**
[0-4秒]:地面からのローアングル広角ショット、静止画。風が吹き荒れる尾根に血のように赤い夕焼けを背景にした孤独な侍のシルエット。風に揺れる背の高い草、遠くから迫る雷鳴の轟き。
[4-8秒]:侍の顔へのドリーズーム。気づきが訪れる瞬間、背景が引き伸ばされ歪む一方で、被写体はフレーム内に固定されたまま。ヒッチコック『めまい』のような効果。太鼓の音が盛り上がっていく。
[8-12秒]:ホイップパンで、尾根の上を昇るスウィーピングクレーンショットへと切り替わり、谷間を進む千の松明を持つ軍隊が現れる。戦角が鳴り響き、煙が風景を漂う。
[12-15秒]:極端なクローズアップへのスナップカット。侍の手が刀の柄を握り、指の関節は白く、一滴の汗がスローモーションで落ちる。刀が抜かれる音が響き渡り、その後静寂が訪れる。ハイパーリアル、8k、黒澤明の撮影技法、ハンス・ジマーのサウンドデザイン。
香水CM — 商品動画、UGC(ユーザー生成コンテンツ)など:**
**
(0-3秒) 散りばめられたピンクの牡丹の中に置かれた高級香水ボトルのマクロショット。浅い被写界深度、暖かい午後の光に浮かぶ花弁、柔らかい環境音楽。
(3-7秒) カメラが近づく。右から女性の手がフレームに入り、指がガラスボトルに優しく触れる、シルクが擦れ合う音。
(7-12秒) スローモーションのスプレーへのハードカット。金色のミストが空中に拡散し、粒子が暗い背景に対してリムライトを捉える。アトマイザーのヒス音。
(12-15秒) ヒーローフレームへのシームレスな引き。製品は中央に配置され、体積光、ミニマルなクリーム色の背景、エレガントな静寂。ハイパーリアル、8k、ファッションCMの撮影技法。
火星着陸 — インターステラー風の孤立感:**
**
[0-4秒]:ワイドショット、固定三脚。夕暮れ時の赤い火星の平原に一人の宇宙飛行士が立ち、靴元で塵が渦巻き、砂漠を渡る風の低い唸り音がする。
[4-8秒]:中景へのゆっくりとしたズームイン。宇宙飛行士が膝をつき、手袋をはめた手を土の上に置く。バイザーには夕焼けが反射し、ヘルメット内から呼吸音が聞こえる。
[8-12秒]:手袋をはめた手が赤い砂塵をすくうクローズアップへのハードカット。低重力環境でのスローモーションで砂粒が落ち、各粒子が消えゆく光を捉える。
[12-15秒]:バイザーの反射に映る、小さな青い点としての地球を捉えた極端なクローズアップ。静止画のまま保持し、単一の心臓の鼓動の後、静寂へ。ハイパーリアリスティック、8k、重力によるシネマトグラフィ、『インターステラー』のサウンドデザイン。
ネオン東京 — ブレードランナーの雨シーン:**
[0-4秒]:ワイドな設定ショット。静止カメラ。夜間のネオンに照らされた東京の路地。雨が降り注ぎ、濡れたアスファルトには反射が溜まり、遠くからの都市の喧騒と金属製の雨よけに当たる雨音が聞こえる。
[4-8秒]:ミディアムショット。ゆっくりとドリーイン(前進)。黒いトレンチコートを着た人物が、赤い紙傘をさしてカメラに向かって歩く。ネオンサインの光がその顔にちらつく。
[8-12秒]:クローズアップのトラッキングショットへのシームレスなモーフ。人物の手が傘を落とし、雨が顔に当たる。空を見上げる様子が映され、雨の音が高まる。
[12-15秒]:ネオンの水たまりに落ちる雨滴をスローモーションで捉えた極端なクローズアップへのハードカット。各水滴が反射された色の輪として弾け、低音の轟音が静寂へ収束していく。ハイパーリアリスティック、8k、『ブレードランナー2049』のシネマトグラフィ、ロジャー・ディキンスの照明。
これら4つの手法はすべて、映画製作における同じエスカレーションパターンに従っています。すなわち、「ワイドショット > ミディアムショット > クローズアップ > 極端なクローズアップ」の順序です。この進行は、15秒という時間枠に自然に対応し、モデルが作業するための明確な構造を提供します。
APIの使い方
Seedance 2.0で動画を生成する方法は以下の通りです:
プロンプト作成のヒント
このモデルから最大限の性能を引き出すための、私の最終的なプロンプト作成のヒントを以下に示します:
- 詳細に記述する。プロンプトには膨大な量の細部を詰め込みましょう。「車の追跡」と書くのではなく、「雨に濡れた東京の街を高速で夜間走行する追跡シーン、湿ったアスファルトにネオンの反射が流れる、霧を切り裂くヘッドライト」といった具体的な描写を行ってください。
- 視覚だけでなく音声も記述する。このモデルは音声をネイティブに生成するため、プロンプト内で音について言及することで、意図した結果が得られます。「ツインタurbfanエンジンの絶叫のような轟音と、カタパルトによる金属製の激しい衝撃音」といった記述は、モデルに対して明確な音声の方向性を示します。
- 「ハイパーリアル、8k」を品質の基準として使用する。これらの用語は、モデルを高忠実度の出力へと導きます。
- 被写体だけでなくカメラワークも記述する。「カメラは先頭の車のボンネットに取り付けられている」「急速なドリーズーム(焦点距離を変えながらカメラを移動する技法)」「カメラは地面の高さにある」といった記述は、ショットに grounding(接地感/安定性)をもたらし、より説得力のある結果を生み出します。
- 複数の参照タイプを組み合わせることで最大限の制御を実現する。キャラクターの外見には画像を、モーションスタイルには動画クリップを、リズムにはオーディオトラックを使用します。
原文を表示
AI video used to be utterly bad. (We’ve all seen Will Smith eat spaghetti more times than we can count, so I’ll spare you.)
Last year, however, we really began to see AI video take off with front-runners like Google’s Veo 3 series and Kling from Kuaishou. With each new model release, we inched toward improvements with prompt adherence, audio integration, and solving the “AI look.”
Seedance 2.0 is the largest step change we’ve seen in months. You can make movies with this thing.
A catastrophic collision between two massive space stations in low Earth orbit. Metal shears apart in slow motion as the stations grind into each other, sending a hailstorm of debris spiraling outward. Entire modules crumple like tin cans. Pressurized compartments blow out in violent bursts of crystallizing atmosphere. Solar panels shatter and cartwheel into the void. The camera tumbles through the wreckage as an astronaut ragdolls past, arms flailing. Explosions ripple down the station spine. Earth looms enormous in the background, serene and indifferent. Hyper-realistic, catastrophic scale, ISO debris field, 8k, Gravity collision sequence energy.
A daring aerial rogue diving on a bio-mechanical glider through a chaotic floating-island bazaar, weaving effortlessly through airborne merchants, dodging passing airships, flocking griffins, and tethered trading posts. He plummets past crumbling stone arches, busy rope bridges, and cascading waterfalls, barrel-rolling through narrow gaps with precision and style. Cinematic tracking shots follow his descent, enhanced by dynamic motion blur and ethereal dappled sunlight reflecting off crystal formations and mist. The sky-city pulses with an energetic fantasy vibe—flapping wings, shouting vendors, and nonstop vertical motion. Ultra-realistic detail with an epic high-fantasy action aesthetic, capturing speed, agility, and fearless momentum through the clouds.
A high-speed car chase on a rain-drenched highway at night. Two muscle cars weave through heavy traffic at 140mph, headlights slicing through the downpour. One car clips a semi-truck sending sparks showering across six lanes. The camera is mounted on the hood of the lead car, rain hammering the lens. Neon highway signs blur overhead. The pursuing car fishtails through a gap between two buses. Tires hydroplane on standing water. Hyper-realistic, motion blur, reflections on wet asphalt, 8k, Michael Mann cinematography.
A massive dinosaur stampede through a dense jungle. Dozens of brachiosaurus and parasaurolophus crash through the tree line, their enormous bodies snapping trunks like twigs. The camera is at ground level, shaking with each thundering footstep. Dust and debris fill the air. A flock of pterodactyls bursts from the canopy overhead. The stampede parts around a fallen tree, the camera narrowly avoiding being trampled. Hyper-realistic, jungle foliage flying everywhere, Jurassic Park energy, 8k, Spielberg cinematography.
A fighter jet launches from an aircraft carrier at sunset. The catapult fires and the jet accelerates from zero to 170mph in two seconds, afterburners blazing blue-white. Steam erupts from the catapult track. The camera follows from the deck as the jet clears the bow and drops slightly before climbing steeply into the orange sky, leaving twin contrails. Deck crew brace against the jet blast. The ocean stretches to the horizon. Hyper-realistic, Top Gun cinematography, 8k, the screaming roar of twin turbofan engines and the metallic slam of the catapult.
A lone explorer treks through an ancient overgrown temple deep in the jungle. Massive stone columns wrapped in vines tower overhead. Shafts of golden light pierce through gaps in the crumbling ceiling, illuminating floating dust and insects. The explorer pushes through a curtain of hanging roots and discovers a vast underground chamber with a still pool of water reflecting the ruins above. Fireflies drift through the space. Hyper-realistic, Indiana Jones atmosphere, 8k, epic discovery moment, dripping water echoing through the chamber.
A massive tidal wave crashes into a coastal city. Buildings crumble as the wall of water surges through the streets. Cars are swept up and tumble through the flood. The camera captures the destruction from a rooftop as the wave passes below, water exploding against skyscrapers. Debris and foam churn in every direction. The sky is dark with storm clouds. Hyper-realistic, catastrophic scale, 8k, Roland Emmerich disaster movie, the deafening roar of a million tons of water.
A dramatic horseback chase through a canyon at golden hour. A rider on a black stallion gallops at full speed along a narrow ledge, red dust billowing behind them. The canyon walls tower on both sides, glowing amber in the low sun. The horse leaps over a gap in the trail, all four hooves off the ground, mane and tail streaming. The camera tracks alongside from a parallel ridge. Rocks crumble from the ledge edge. The rider looks back over their shoulder. Hyper-realistic, epic Western cinematography, 8k, thundering hooves echoing off canyon walls.
It’s quite a revolutionary video model.
This post is going to discuss some of the practical and the coolest capabilities of Seedance 2.0 so that you will understand how to hold this incredible piece of technology. After reading through, you’ll have all the tricks that can help you generate some actually wonderful video.
Reference anything
Most video models take a text prompt and give you a clip. Seedance 2.0 works differently. You can feed it up to 9 images, 3 video clips, 3 audio files, and a text prompt. The model understands how to use each piece. You can pull the composition from a photo, the camera movement from a video clip, the rhythm from an audio track, and describe how it all works together in words.
The process is something closer to directing than prompting.
Here’s an example. Let’s place this character in this interior:


And let’s make him speak this audio (from resemble-ai/chatterbox-turbo):
To reference any input assets (images, video, or audio), we refer to each as [Image1] or [Audio1] in our prompt. For example:
[Image2] is in the interior of [Image1] where he is kept the style of [Image2], but the realism of [Image1] remains. He says [Audio1].
Couple tips with this trick — it helps if you type out your input audio in the prompt itself and also if you set the video duration to the same length as your audio.
With the ability to reference, you can keep stylistic consistency in your videos. Take a look at this example where I fed in a couple of images of a particular style and asked Seedance 2.0 to morph them into one video. This could have taken days for a video editor to do.
Create fluid morphs between all of the photos
Didn’t even have to ask for the background music, but it works well for me!
You can see how references in Seedance 2.0 extend to a couple common workflows:
- Character consistency: Provide reference images of a character to maintain their appearance across generations
- Motion transfer: Upload a video clip and the model reproduces its movement patterns in a new context
- Style and composition: Use an image as a visual reference for framing, color palette, or artistic style
- Audio-driven rhythm: Supply a music track and the model syncs cuts and movement to the beat
Audio from the same engine
Seedance 2.0 doesn’t generate video and then dub audio on top. Audio and video come from the same unified architecture, which means they’re synchronized at the millisecond level.
The model produces dual-channel stereo with multiple layered tracks. This means you can get a mix of background music, ambient sound effects, and character voiceover.
A close-up of a jazz pianist’s hands flying across the keys of a grand piano in a smoky nightclub. Each keystroke produces a visible ripple of warm amber light across the piano’s lacquered surface. The camera slowly pulls back to reveal the full band — upright bass, drums with brushes, a tenor saxophone. The musicians nod to each other, trading solos. Cigarette smoke curls through a single spotlight beam. Hyper-realistic, intimate jazz club atmosphere, 8k, the crisp attack of piano keys, walking bassline, brushed snare, breathy saxophone melody.
Every instrument is individually audible and synced to the musician’s movements. The piano keys, the walking bassline, the brushed snare — all generated together with the visuals, not layered on after.
The same applies to dialogue. Every word lands crisp and clean, fixed precisely to lip movements. And generally, it’s pretty easy to one-shot even long and complex dialogue.
A tight medium shot of two eccentric adults in typical, everyday clothing—one in a slightly oversized trench coat, the other in a weathered denim jacket—deep in a heated, animated conversation on a rainy West Village street corner. The one in the trench coat gestures wildly, the words “SOURDOUGH PRETZEL” appearing in pulsating electric blue: “It’s not just a pretzel, Arthur! It’s a sourdough pretzel!” The second guy says ‘Who cares. A pretzel’s a pretzel!’
Dealing with physics
What I love most about this model is its ability to handle intricate physics. This was a huge problem with prior video models. Any complex motion or interaction would be riddled with artifacts. With Seedance 2.0, stuff just works. Even crazy stuff.
I’m obsessed with creating high-octane space videos on this model just given how incredible and realistic these crashes can look.
A catastrophic collision between two massive space stations in low Earth orbit. Metal shears apart in slow motion as the stations grind into each other, sending a hailstorm of debris spiraling outward. Entire modules crumple like tin cans. Pressurized compartments blow out in violent bursts of crystallizing atmosphere. Solar panels shatter and cartwheel into the void. The camera tumbles through the wreckage as an isolated astronaut in a white EVA suit ragdolls past, arms flailing helplessly. Explosions ripple down the station’s spine. Earth looms enormous in the background, serene and indifferent. Hyper-realistic, catastrophic scale, orbital debris field, 8k, Gravity collision sequence energy.
Take a look at this example. We started with an input image for this one and just asked Seedance 2.0 to animate the scene. Typical video models would just have the vehicle move forward as a rigid body, but we see that Seedance 2.0 takes the extra step to have the vehicle bob as it navigates the rough terrain. This is more the quality we would expect to see from a high-budget film.
Animate this image
The same physical understanding carries through to stylized output. Here, we started with an input image from Dreamina 3.1, also from Bytedance. Even rendered as an oil painting, fluid dynamics stay accurate — water moves with the right viscosity, splashes break apart correctly, surfaces behave like surfaces.
Animate this image
Multi-shot output with camera planning
Seedance 2.0 generates up to 15 seconds of video with multi-shot compositions. The model plans camera language from your prompt — cuts, transitions, tracking shots, push-ins — without you having to specify every camera move.
Time-coded multi-shot prompting
You can direct individual shots within a single 15-second generation by writing timestamps into the prompt.
Example Format:
You could even just list out the scenes you want, but this time-coded approach allows you to really dial in the length of clips. What’s crazy is that it doesn’t hallucinate, even with this amount of dense and specific information in your prompt.
Each shot should specify camera position, subject action, and lighting state. Transition language between shots (“hard cut to,” “seamless morph into”) gives the model explicit cut instructions rather than letting it improvise.
Here are four examples that show what time-coded prompting can do:
Samurai at sunset — dolly zoom and crane shot:
[0-4s]: Low-angle wide shot from ground level, static, a lone samurai silhouetted against a blood-red sunset on a windswept ridge, tall grass bending in the wind, the distant rumble of approaching thunder.
[4-8s]: Dolly zoom on the samurai’s face as realization hits — the background stretches and warps while the subject stays locked in frame, a Hitchcock vertigo effect, drums building.
[8-12s]: Whip pan to a sweeping crane shot rising above the ridge, revealing an army of a thousand torches advancing through the valley below, war horns blaring, smoke drifting across the landscape. [12-15s]: Snap cut to extreme close-up, the samurai’s hand grips the katana hilt, knuckles white, a single drop of sweat falls in slow motion, the sound of a blade being drawn rings out, then dead silence. Hyper-realistic, 8k, Akira Kurosawa cinematography, Hans Zimmer sound design.
Perfume commercial — product videos, UGC, etc.:
(0-3s) Macro shot of a luxury perfume bottle among scattered pink peonies, shallow depth of field, petals floating in warm afternoon light, soft ambient music.
(3-7s) Camera glides closer, a feminine hand enters frame from the right, fingers gently touch the glass bottle, the sound of silk rustling.
(7-12s) Hard cut to slow-motion spray, golden mist diffuses through the air, particles catching rim light against a dark background, the hiss of the atomizer.
(12-15s) Seamless pull-out to hero frame, product centered, volumetric lighting, minimal cream background, elegant silence. Hyper-realistic, 8k, fashion commercial cinematography.
Mars landing — Interstellar-style isolation:
[0-4s]: Wide shot, static tripod, a lone astronaut stands on a red Martian plain at dusk, dust swirling at their boots, the low hum of wind across the desert.
[4-8s]: Slow push-in to medium shot, the astronaut kneels and places a gloved hand on the soil, visor reflecting the sunset, breathing audible inside the helmet.
[8-12s]: Hard cut to close-up of the gloved hand lifting a handful of red dust, grains falling in low gravity slow motion, each particle catching the fading light.
[12-15s]: Extreme close-up on the visor reflection showing Earth as a tiny blue dot, static hold, a single heartbeat, then silence. Hyper-realistic, 8k, Gravity cinematography, Interstellar sound design.
Neon Tokyo — Blade Runner rain sequence:
[0-4s]: Wide establishing shot, static camera, a neon-drenched Tokyo alley at night, rain pouring, reflections pooling on wet asphalt, the distant murmur of city traffic and rain hitting metal awnings.
[4-8s]: Medium shot, slow dolly forward, a figure in a black trench coat walks toward camera under a red paper umbrella, neon signs flickering on their face.
[8-12s]: Seamless morph into close-up tracking shot, the figure’s hand drops the umbrella, rain hits their face, they look up at the sky, the sound of rain intensifies.
[12-15s]: Hard cut to extreme close-up of raindrops hitting a neon puddle in slow motion, each drop exploding into rings of reflected color, bass rumble fading to silence. Hyper-realistic, 8k, Blade Runner 2049 cinematography, Roger Deakins lighting.
All four follow the same escalation pattern from filmmaking: wide > medium > close-up > extreme close-up. That progression maps naturally onto a 15-second window and gives the model clear structure to work with.
Getting started with the API
Here’s how to generate a video with Seedance 2.0:
Prompting tips
Here are my final prompting tips to juice the most out of this model:
- Overdescribe. Pack tons of detail into your prompt. Don’t write “a car chase” — write “a high-speed night pursuit through rain-slicked Tokyo streets, neon reflections streaking across wet asphalt, headlights cutting through mist.”
- Describe the audio, not just the visuals. Since the model generates audio natively, talking about sound in your prompt will get exactly what you want. “The screaming roar of twin turbofan engines and the metallic slam of the catapult” gives the model clear audio direction.
- Use “hyper-realistic, 8k” as quality anchors. These terms push the model toward its highest fidelity output.
- Describe the camera, not just the subject. “The camera is mounted on the hood of the lead car,” “swift dolly zoom,” “the camera is at ground level” — these ground the shot and produce more convincing results.
- Combine reference types for maximum control. Use an image for character appearance, a video clip for motion style, and an audio track for rhythm.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み