Fun-CineForge：初の映画・テレビ級音声合成マルチモーダル大規模モデル

オリジナル 音声モデル+1 2026-03-16 15:07 浙江

噂を聞けば：AI による吹き替えと、映画・テレビ作品レベルの AI 吹き替えの間には、銀河系全体分の隔たりがあるという？

AI に映画の吹き替えを任せることは難しいのか？役者の感情の爆発を再現できるのか？キャラクターが口を開け閉めする一瞬一瞬の映像に正確に合わせられるのか？観客に機械による音声だと気づかれないようにできるのか？

映画・テレビ作品、アニメーション、ゲーム制作において、吹き替えは単に「文字を読み上げる」ことなどではなく、画面内のキャラクターの姿や感情の変化、口元の動きと高度に一致させる必要がある演技作業です。だからこそ、AI は"映画・テレビ作品レベル"のシーンにおいて、いまだ真に実用化されるに至っていないのです。

通義実験室（Tongyi Lab）は、映画・テレビ作品レベルの多様なシナリオに対応可能な吹き替えを支援する初のマルチモーダル大モデル「Fun-CineForge」を発表し、オープンソース化しました。さらに、高品質なデータセット構築方法も公開しています。「データ＋モデル」の一貫した設計を通じて、Fun-CineForge は映画・テレビ作品レベルの AI 吹き替えが長年直面してきた重要な課題の解決を試みています。

実際の映画・テレビ作品制作の現場では、高品質な吹き替えは同時に以下の 4 つの厳しい試練を通過する必要があります：

口型同期（Lip-sync）：合成された音声は、画面内の人物の唇の動きと高度に同期している必要があります。

感情表現：キャラクターの顔の表情や指示記述に基づき、感情やトーンを人間のように自然に表現し、自由に制御できること。

音色の一貫性：複数のキャラクターが出演する複雑なシーンにおいても、各キャラクターの音色の類似性と一貫性を維持すること。

時間同期（Time-alignment）：画面内で話者が隠れていたり存在しなかったりする場合でも、音声は正しい時間帯に合成される必要があります。

しかしながら、既存の AI 吹き替え手法には、一般的に以下の 2 つのボトルネックが存在します：

01

高品質なマルチモーダルデータセットの不足。

高品質な吹き替えデータセットは複数のモダリティ（情報源）の情報に依存しており、現在の吹き替えデータセットはデータ量が少なく、注釈の種類も限定的で、大モデルの有効な訓練には不十分です。また、高度に人手による注釈作業に依存するためコストが高く、大量生産が困難です。さらに、対話シーンや複数人物が登場する長編動画データの欠如により、大モデルは複雑な吹き替えシナリオに対応できません。

02

モデル能力の不足。

従来の吹き替えモデルは手法上、ビデオ映像内で明確に確認できる唇の領域のみを利用して音と映像の同期を学習しています。しかし、実際の映画・テレビ作品の吹き替え制作では、複数人物による対話、頻繁なカット切り替え、顔の隠蔽、顔のぼやけなど、多くの複雑なシーンが存在します。現在の技術では、話者の顔が欠如しているシナリオにおいて音と映像を同期させることが困難です。

上記の問題を解決するため、通義実験室は Fun-CineForge を提案しました。今回のオープンソース化の核心は二つの部分から成り、映画・テレビ作品の吹き替えにおける「データ - モデル」の循環を確立することを目的としています：

1️⃣ モデル側：複雑な映画・テレビシーンに対応する多モーダル吹き替え大モデル

2️⃣ データ側：大規模多モーダル吹き替えデータセット構築プロセス（CineDub）

データ基盤の上に、Fun-CineForge は CosyVoice3 の強力な音声合成の基盤能力をベースに、複雑な映画・テレビシーンに対応する吹き替え大モデルを構築し、「動画＋テキスト→音声」というタスクを完了します。

入力には以下が含まれます：

無音の動画クリップ

吹き替え用テキスト

キャラクター属性と感情の手がかり

時間情報

参照音声

このモデルは、参照音声の音色を元に、時間情報や動画情報と高度に同期した音声を合成することができます。

Fun-CineForge はまず、自動化されたデータセット生産プロセスを構築し、元の映画・テレビ素材を構造化された多モーダルデータへ変換します。

このプロセスには、音声分離、テキスト転写、長動画のセグメンテーション、オーディオ・ビデオ連動話者分離などが含まれます。その中で、汎用大モデルの思考連鎖（Chain of Thought）に基づく双方向補正メカニズムにより、転写テキストおよび話者分離結果のエラー率が大幅に低下しました。

中国語の文字誤り率は 4.53% から 0.94% に低下し；

英語の単語誤り率は 9.35% から 2.12% に低下し；

話者分離のエラー率は 8.38% から 1.20% に低下しました。

データは、独白、ナレーション、対話、複数話者など、典型的な多様なシーンを網羅しています。各データには、転写されたセリフ、フレームレベルの顔・唇データ、キャラクター属性および感情の手がかり、ミリ秒単位のタイムスタンプ、そしてクリーンな音声トラックが含まれています。

これらは相互に補完し合い、大規模モデルのプロフェッショナルな吹き替え能力を訓練するための堅固な基盤を提供しています。

データセット統計（左右にスワイプして表示）

注釈：350 本以上の中国語・英語の映画やドラマから生成された CineDub データセットにおける、シーンカテゴリ、年齢分布、性格分布、音声特徴のホットワードに関する統計情報です。

Fun-CineForge の最も重要な技術的革新は、音声合成モデルにおいて初めて「時間モダリティ（Time Modality）」を導入した点にあります。従来の TTS（Text-to-Speech：テキストから音声への変換）モデルは通常、テキスト内容や音声特徴、あるいは視覚情報にのみ注目しますが、映画やドラマの吹き替えにおいてはもう一つの重要な次元が存在します。それが「時間」です。

具体的には以下のようになります。

いつ話し始めるか

いつ話し終わるか

その時間帯にどのキャラクターが話しているか

これらの情報は、モデルに対して「どの時間帯で、誰が何を話しているのか」という理解を深めるのに直接寄与します。視覚情報（モダリティ）から話者を識別できない場合でも、時間モダリティは強力な教師信号として機能し、発声が正確にそのべき時間帯に発生するように導きます。

この仕組みにより、モデルは複雑なシーンにおいても吹き替えを行う能力を獲得しました。

上記の能力を実現するために、Fun-CineForge モデルは 4 つの情報源を同時に活用しています。これらは互いに補完し合い、相乗効果を発揮します。

視覚モダリティ：唇の動きを学習し、顔の表情を理解する；

テキストモダリティ：セリフの内容を提供し、キャラクターの属性や感情のトーンを記述する；

音声モダリティ：モデルが予測する対象となる情報です；

時間モダリティ：発声のタイミングを制御し、対話シーンにおいては話者の身元を示す役割を果たします。

実験結果によると、Fun-CineForge 配音モデル（音声合成モデル）は、複数の主要指標において既存のオープンソース配音モデルを上回っており、具体的には以下の通りです。

音声自然度

文字誤り率 (Word Error Rate: WER)

感情表現力

音色類似度

唇形同期 (Lip-sync)

時間アライメント能力

指示従順性

その中で、Fun-CineForge 配音モデルは、独白とナレーションという 2 つの単人音声合成シナリオにおいて最も優れた効果を発揮し、初めて 2 人対話や複数人の対話シーンにも対応可能となりました。また、正確な時間アライメント、音画同期、そして音色の一貫性を実現しています。

私たちは、自社で構築した CineDub データセットを用いて Fun-CineForge を包括的に評価しました。これには独白、ナレーション、対話、複数人シーンなど、多様な典型的な映像音声合成シナリオが含まれています。その結果、単人シナリオでの効果が最も優れており、独白とナレーションにおける中国語の文字誤り率はそれぞれ 1.49% と 1.90% に留まり、音画同期も極めて精密であることが示されました。

独白シナリオにおいて、Fun-CineForge を DeepDubber-V1 および InstructDubber と比較しました。その結果、Fun-CineForge は文字誤り率、唇部同期、時間アライメント、音色類似度などのあらゆる指標において、ベースラインモデルを明確に上回ることが示されました。

注：CER/WER は中国語/英語の単語誤り率（↓低いほど正確）、SPK-SIM は音色類似度（↑高いほど似ている）、SPK-TL は時間アライメント誤差（↓低いほど精密）、LSE-C/D は唇部同期度（C↑高いほど/D↓低いほど良好）です。

現在、Fun-CineForge はオープンソース化されており、開発者は即座に、感情表現やカット切り替え、顔の遮蔽などを含む複雑なシナリオにおける中国語・英語の映画・テレビドラマ吹き替え能力を体験できます。

Fun-CineForge プロジェクトのホームページ：https://funcineforge.github.io/

（同サイトでは、独白、ナレーション、対話、複数話者、音色クローン、指示制御など豊富なサンプルを提供しており、音色クローンや指示制御といった上級機能も体験可能です。これらのサンプルには、実際の映画・テレビドラマ制作現場で遭遇する可能性のある、感情表現、頻繁なカット切り替え、話者の頻繁な交代、話者の顔の遮蔽またはカメラが他のキャラクターに向いている状況、暗い映像、複数の人物が共存するシーンなど、多様な複雑なシナリオが含まれています。）

技術論文 Fun-CineForge: A Unified Dataset Toolkit and Model for Zero-Shot Movie Dubbing in Diverse Cinematic Scenes

データセットのサンプル：ウェブサイトでは、元のビデオを除去した CineDub データセットのサンプル（CineDub-CN および CineDub-EN の中国語・英語 2 言語種）がオープンソース化されており、参考として利用可能です。

コードとモデル：3 つのプラットフォームで同時にオープンソース化されています。ぜひご体験ください～

GitHub: https://github.com/FunAudioLLM/FunCineForge

HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge

ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/

現時点では、AI 音声技術はカスタマーサポートやアシスタントなどの分野で広く応用されていますが、専門的なアニメーションや映画コンテンツの制作・後工程においては、より高い要求が存在します。動画が長くなるほど、指定するタイムスタンプ区間や参照となるキャラクターオーディオが増加し、音画同期性能や音色クローンの精度は低下し、複数人による対話シーンにおける堅牢性も低下します。

Fun-CineForge は、音声大モデル技術を専門的な吹き替え制作分野に適用するための新たな技術ソリューションを提供するもので、現時点では 30 秒以内の動画クリップに対する推論をサポートしています。

今後、多模態大モデルの能力がさらに向上していくにつれ、AI が映画・アニメーション・ゲームなどのコンテンツ生産分野でより大きな役割を果たすことを期待しています。

おすすめ記事

imageCoPaw オープンソース！あなたの専用スマートパートナーを自由に改造しよう

一言で自由生成！音声双モデルがリリース

原文を読む

WeChat で開く