音声と映像を完璧に融合、一つのシーンで没入感を | Seedance 1.5 Pro 音声・動画創作モデル正式リリース

声画俱全，一镜入戏 | Seedance 1.5 pro 音视频创作モデル正式発表

原文：字节跳动 Seed 2025-12-16 18:43 北京

新たな視聴体験の幕開け

舞台の中央、スポットライトが集中する中、一段と高らかに響く旦角（たんかく）の唱腔に合わせて、役者が鼓点に合わせた一連の槍の動作を披露します。これは実際の公演ではなく、Seedance 1.5 pro が一鏡で生成した創作断片です。その演技は専門的な戏曲（けいぎょく）表演とはまだ大きな隔たりがありますが、声と韻律の雏形（すうけい）はすでに窺えます。

注：生成された動画における役者の唱腔、化粧・衣装、身振り手振りは、実際の劇種の規範とは依然として明らかな隔たりがあり、台詞も伝統的な戯文ではありません。これは AI 技術が戏曲の美学に挑む一次探索としての試みです。

本日、私たちは次世代のオーディオビジュアル創作モデル「Seedance 1.5 pro」を正式に発表いたします。

Seedance 1.5 pro はオーディオとビデオの共同生成をサポートしており、テキストからオーディオ・ビデオへの合成や、画像による誘導でのオーディオ・ビデオ生成など、多様なタスクを実行可能です。これにより、Seedance の動画生成は視覚的な次元に限定されず、自然に音声を融合させるものとなりました。

Seedance 1.0 バージョンでは、モデルの性能における「下限」を改善することに重点を置き、運動生成の安定性を最適化しました。一方、Seedance 1.5 pro はオーディオ同期生成をサポートするだけでなく、視覚的なインパクトと運動効果の「上限」を引き上げることに注力しています。より大胆な技術アプローチを採用することで、Seedance 1.5 pro は視聴覚の協調性、視覚的緊張感、物語の整合性などの面で飛躍的な進歩を遂げました：

精密な音画同期と多言語・方言サポート：モデルは生成過程において高い視聴覚的一貫性を達成し、役者の口パク（リップシンク）、トーン、そしてパフォーマンスのリズムとの適合精度を向上させました。モデルはネイティブに多言語および特徴的な方言のアクセントをサポートしており、それら固有の音声韻律と情感の緊張感を捉えることができます。

映画並みのカメラワーク制御と動的緊張感：モデルには自発的なカメラ演出能力が備わっており、ロングショットでの追従やヒッチコック・ズーム（ドリーイン/アウト）といった難易度の高いカメラワークを実行可能です。同時に、映画並みの映像のつなぎ目と専門的なトーンを実現し、動画の動的緊張感を大幅に向上させました。

意味理解と物語の整合性の強化：意味理解を強化することで、モデルは物語的文脈をよりよく解析できるようになりました。これにより、音声・映像セグメント全体の物語的整合性が大幅に向上し、プロフェッショナルなコンテンツ制作を強力に支えるものとなっています。

総合評価において、Seedance 1.5 pro は優れた結果を残し、主要な能力は業界の最前列にあります。現在、Seedance 1.5 pro は即夢 AI（Dreamina）および豆包（Doubao）で利用可能です。ご使用いただき、フィードバックをお寄せください。

Model Card：https://arxiv.org/pdf/2512.13507

プロジェクトホームページ：https://seed.bytedance.com/seedance1_5_pro

体験エントリーポイント：

（1）即夢 Web 版 - ビデオ生成 - 「ビデオ 3.5 Pro」を選択；

（2）豆包 App ダイアログボックス - 「写真を動かす」- 写真のアップロード -「1.5 Pro モデル」を選択 - プロンプトを入力（ベータテスト中）

音と映像だけでなく、物語も。

素材生成から作品表現へ

Seedance 1.5 pro は単なるコンテンツ断片の生成に満足するのではなく、動画と音声を一つのまとまりとして捉え、多様な創作ニーズに応えることを目指しています。モデルが持つ視聴覚の協調性、動的な演出制御、そして文化的文脈への理解は、映画制作、短編ドラマ生成、広告生産、そして伝統芸能の演劇など、あらゆるシーンにおいて優れた物語表現力と視聴の融合度を示しています。

次章では、具体的なシナリオを通じて、Seedance 1.5 pro がどのようにプロフェッショナルな創作を支援するかを詳しく解説します。

1. 繊細で一貫性のある物語表現力による映画芸術制作への対応

Seedance 1.5 pro は意味理解において大きな飛躍を遂げ、これにより繊細で複雑な人間の感情を解析し、緊張感あふれる芸術的表現へと変換することが可能になりました。同時に、高精度の視聴覚協調技術により、モデルは音声・映像・シーン雰囲気を深く融合させ、一貫性のある精緻な表現を生成することで、コンテンツの物語的な感染力を強化します。

クローズアップショットにおいて、モデルは繊細な感情の捉え能力を発揮します。セリフがない場合でも、微細な表情の変化を通じて感情の铺垫を引き継ぎます。例えば、生成されたサイバーパンク映画風の動画では、指示に基づいて物語の背景を推測し、人物の状態を精緻に演じ分けます。その感情変化は自然で層があり、環境や音楽の雰囲気と見事に調和しています。

デモ視聴時のヒント：音量を大きくすると、より効果を実感できます。

T2V プロンプト：サイバーパンク廃墟スタイル、暖色と寒色の光影が交互に現れる。カメラは手持ちで若い東アジア女性を追跡し、彼女の目から涙を浮かべた抑圧された悲しみから、朝日の金色の光が顔に降り注ぐにつれて、優しくて確かな表情へと変化する微細な変化をクローズアップで捉える。人物の肌にはリアルなフィルムの質感があり、浅い被写界深度で背景はボケる。

物語性のあるクローズアップショットの生成に加え、Seedance 1.5 pro はプロンプトに基づいて基本的な物語構造を持つショットシーケンスを構成することもできます。例えばアニメ作品の制作では、花火が咲き誇る様子や男女主人公による日本語での告白シーンを複数の連続したショットとして生成し、感情を込めた声線と組み合わせることで、流れるような物語的論理を示します。

T2V プロンプト：夏の祭りの花火大会アニメスタイル、花火の爆発が柔らかい輪郭光を提供。カメラは広角の花火から和服を着た男女主人公がいる人群中へとズームインし、クローズアップで告白前の心理準備をする女生徒と、照れくさそうに「実は...」と口を開く男生徒を捉える。女生徒が先に「大好きです」と告白し、二人が互いの気持ちを確かめた後、親密に抱き合う。花火の音や群衆の環境音、そして日本語のセリフが融合し、ロマンチックで一貫性のある物語的雰囲気を醸成する。

1. プロフェッショナルなカメラワークと動的緊張感による高難易度シーンへの対応

Seedance 1.5 pro はカメラワークの制御と動的緊張感を最適化し、高難易度の複雑なシーンの生成をより効果的に処理できるようになりました。

モデルは、高いダイナミクスと強いインパクトを持つ運動シーンを比較的余裕を持って演じ分けることができます。スキーの動画では、音と映像の動きが協調することで、Seedance 1.5 pro は強烈な臨場感を創出します。カメラはスノーボーダーの軌跡を高速で横切り追従し、雪霧が飛び散る瞬間を繊細に捉えることで、極限運動の速度と力をリアルに再現しています。

I2V プロンプト：スキーヤーは専門装備を身にまとい、雪山の背景の中で機敏な技巧を見せる。カメラは長回しで低アングルからスキーヤーを追って滑り降りる様子を捉え、カービングによる刃切りと雪霧が炸裂する瞬間を捉えた後、クイックカットでスローモーションのクローズアップへ移行し、最後にスキーヤーがターンしてコーナーを飛び出す様子を追い続ける。BGM は Future Bass のダイナミックな曲調で、風の環境音と合わせて、全体的に活気あふれる雰囲気を演出する。

同時に、モデルは自発的なカメラワークの調整能力を備えており、難易度の高いカメラ運動を実行し、精度が求められる生成シーンにも対応可能である。赤い絨毯でのプレミア上映会シーンをシミュレーションする際、モデルはカメラを素早くパンさせる効果を生み出し、現場の慌ただしさや華やかさを演出。女性の明確な中国語の発声と相まって、現場の雰囲気を効果的に再現した。

T2V プロンプト：晩礼服を着たアジア系のファッションブロガーが赤い絨毯に登場し、興奮気味にこう語る。「空気には香水と野望の匂いが満ちている！今夜の紅地毯はまさにファッション編年史の現場だ。さあ、あのハイライトな瞬間を捉えにきて！」

生成された掃除ロボットのプロモーションビデオでは、商業広告のようなスタイルでカメラがゆっくりと押し込み、ロボットの動きに密着して追従し、製品を効果的に焦点化している。

T2V プロンプト：ミニマリスト調の現代豪邸。夕暮れの余韻が大理石の床面に映り込む。一台の黒い高級フローリングクリーナーが自動作動中、微かな青い光を発して塵を検出する。カメラワークは床に密着した低アングルで追従し、機械の流線型のラインを披露する。音声には AI 女性によるナレーションを合わせ、「見えない微細な塵こそがアレルギーの元凶。レーザーで塵を可視化し、インテリジェントな周波数変換で、床を裸足で歩く自由へと返す。」

1. 多言語と方言への対応により、コメディなどのスタイル化された演技の質感を強化

Seedance 1.5 pro は多言語音声生成をサポートし、中国語、英語、日本語、韓国語、スペイン語、インドネシア語など、各言語の発音や韻律を比較的自然的に表現できる。特に中国語の文脈においては、四川方言や広東語など複数の方言アクセントもシミュレート可能で、短編ドラマやエンターテインメントコンテンツに対してより自然な演技の質感を提供する。

例えば、パンダが竹を食べる最中に突然四川弁でカメラに向かって愚痴をこぼす際、モデルは方言特有の発音と表情をマッチングさせ、動画に生き生きとした生命力を与える。

T2V プロンプト：実写による高級な質感。竹林の中で本物のパンダが竹を噛み砕いているが、突然止まって四川弁で愚痴る。「今日の竹、ちょっと古くないか？どうなってんの？ちょっと可哀想すぎるよ〜」。その後カメラは急激にズームインして近接クローズアップとなり、パンダは首を傾げて狡い笑みを浮かべ、カメラに近づいて小声でこう言う。「ねえ、カメラマンのお兄さん、外卖（外食）頼んでもいい？微辛でお願い！」

1. 精密な効果音生成により、ゲームなどの視聴覚コンテンツの没入感を向上

人声だけでなく、Seedance 1.5 pro は環境効果音や音楽的な雰囲気に対しても優れた理解力を示す。モデルは画面の内容に基づいて環境音を叠加し、空間感を作り出し、「見ているものが聞こえる」を実現する。

ピクセルアート風のゲーム映像においては、キャラクターのランニングやジャンプに滑らかに追従するカメラワークだけでなく、シーンに即した 8-bit ゲーム効果音も同期して生成され、高速な動きの中での音と映像の協調性を示している。

T2V プロンプト：8 ビットピクセルアートスタイル。夕陽の下で勇者が走り跳ねる。スキャンライン効果が加わり、レトロな電子ゲーム風の BGM が流れる。

3D スタイルのゲーム映像においては、モデルは詳細に富むオープンワールドを生成し、キャラクターの移動に合わせて足音や息遣いが正確に同期。遠くで聞こえる低いカラスの声と相まって、視聴覚的なインタラクションの没入感を高めている。

I2V プロンプト：3D ゲーム CG 映像。革ジャンを着た男が廃墟となった教会跡地で行動する。彼は警戒して立ち止まり、安全を確認した後にダッシュし、最後にアーチの縁で急停止して周囲を注視する。画面は左側の高い窓からの逆光撮影で、暖色系の黄褐色を呈している。音声には足音、心臓の鼓動、フクロウの声が精密に叠加され、緊張感のある背景音楽と相まってサスペンスな雰囲気を醸し出す。

上記の能力を基盤として、Seedance 1.5 pro は映画、広告、短編ドラマ、アニメーションなど、多様なジャンルでの創作を強力にサポートする。特に I2V タスクにおいては、モデルは高いスタイルの一貫性を示し、複数のカット切り替えや複雑な動きの中でも人物の特徴を安定して維持し、素材クリップから完成作品までの制作プロセスにおける連続性を向上させる。

Seedance 1.5 pro 評価結果

指示の遵守と音声表現が突出

モデルの総合能力を客観的に評価するため、チームは総合評価ベンチマーク SeedVideoBench 1.5 を構築しました。このテストセットは映画監督と技術専門家が共同で策定した評価基準に基づき、モデルが視覚的複雑指令の遵守、運動の安定性と生動性、美的品質、ならびに音声指令の遵守、音画同期、音質表現力などの次元におけるパフォーマンスを重点的に検証します。

動画生成においては、比較対象となる他モデルと比較して、Seedance 1.5 pro は動作やカメラワークといった複雑な指令に対する理解が相対的に精密であり、プロンプトで設定された物語性と映像スタイルをより良くマッチングさせることができます。評価結果によると、その動的表現は比較的豊かで、人物表情のクローズアップも生々しく、複雑なカメラワークは比較的滑らかで参考画像とのスタイル接続も自然に統一されており、全体的な画面質感は実写撮影により近いものとなっています。ただし、運動の安定性についてはさらなる向上余地があります。

Seedance 1.5 pro の動画生成能力評価

音声生成においては、Seedance 1.5 pro は業界トップレベルに位置しています。モデルは音声指令の遵守、音画同期、音質と表現力などの次元において安定かつ均衡したパフォーマンスを発揮し、相対的に正確に対応する人声や指定された効果音を生成できます。特に中国語セリフシーンにおいては高い完全性と発音の明瞭さを備えており、多種多様な方言指令にも対応可能です。

同種モデルと比較して、Seedance 1.5 pro が生成する人声はより自然で機械的な違和感が少なく、効果音のリアリティと空間的反響も実態に近く、同時に音画のズレ現象が顕著に減少しています。今後、複数キャラクターの交代会話や歌唱シーンにおけるパフォーマンスを重点的に向上させる必要がありますが、総合的に見れば、このモデルはすでに中国語および方言による対話駆動型の短編ドラマ、舞台芸術、映画ナレーションなどのシナリオにおいて部分的に応用可能です。

Seedance 1.5 pro の音声生成能力評価

マルチモーダル統合生成アーキテクチャ

視覚・聴覚ストリームの精密な協働を実現

Seedance 1.5 pro は、音声と映像を共同で生成する基盤モデル設計を採用しており、基盤アーキテクチャ、データリンク、後期トレーニング、推論プロセスの再構築を通じて、多様な複雑タスクにおけるモデルの汎化性能を向上させました。

Seedance 1.5 pro のトレーニング・推論フレームワーク図

多様なモダリティを統合したアーキテクチャ：チームは、MMDiT アーキテクチャに基づく統一された音声・映像の共同生成フレームワークを提案しました。このフレームワークは、深い跨モダリティ情報相互作用メカニズムを通じて、視覚と聴覚の流れが時間的な同期と意味的整合性において精密に協調することを可能にしています。大規模な混合モダリティデータセット上で多様なタスクのトレーニングを行うことで、当モデルは様々な下流タスクにおいて堅牢な汎化能力を実現しました。

多段階データパイプライン：チームは、音声・映像の一貫性、運動表現力、そしてカリキュラム化されたスケジューリングをバランスよく調整する多段階データリンクを設計しました。このアプローチは、ビデオ記述の豊かさと専門性を著しく強化し、音声記述も組み込むことで、高忠実度の音声・映像生成タスクに対して高品質で多様なデータ基盤を提供します。

精緻な後学習最適化：チームは高品質な音声・映像データセットを用いて教師あり微調整 (SFT) を実施し、音声・映像シーンに特化した RLHF アルゴリズムを導入しました。具体的には、多次元報酬モデルが文からビデオを生成するタスク (T2V) や画像からビデオを生成するタスク (I2V) のパフォーマンスを効果的に強化し、運動の質、視覚的な美しさ、および音声の忠実度を包括的に向上させました。

効率的な推論加速：チームはさらに多段階蒸留フレームワークを最適化し、生成に必要な関数評価回数 (NFE) を大幅に削減しました。量子化や並列処理などの推論インフラストラクチャの最適化を統合することで、モデルのパフォーマンスを維持しつつ、エンドツーエンドの推論速度で 10 倍以上の加速を実現しました。

まとめと展望

前世代のビデオ生成モデルである Seedance 1.0 と比較して、Seedance 1.5 pro は没入感のある音画体験と作品レベルの物語表現において決定的な一歩を踏み出しました。

音声・映像の共同アーキテクチャと精緻な後学習に支えられ、Seedance 1.5 pro は多様なモダリティからの指示に対して良好に従うことを実現しています。映画館レベルの高ダイナミックなカメラワークから、口パクの精度が求められる方言演技に至るまで、高い可能性を示しています。ただし、モデルは高難易度の運動における物理的な安定性や、複数キャラクター間の対話・歌唱などにおいてさらに改善の余地があることも認識しています。

今後、Seed チームはより長時間にわたる物語生成と、よりリアルタイムなエッジデバイスでの体験を突破することに注力し、モデルが物理世界の法則を理解する能力と多様なモダリティの知覚能力をさらに強化していきます。Seedance シリーズのモデルが、より生き生きとし、より効率的で、ユーザーにより理解される存在となり、クリエイターが感覚の境界を打破し、視覚・聴覚の創造を実現できるよう支援することを願っています。

声と画の両方が完璧に揃い、一瞬で物語の世界へ没入 | Seedance 1.5 pro の音声・映像創作モデルが正式発表（続き 6/6）

原文を読む

WeChat で開くにはこちらへ