PrismAudio：音声と映像の同期、音響効果の追従

オリジナル 通義実験室 2026-03-24 15:34 浙江

より思考する AI 音響師、PrismAudio オープンソース公開！

あなたが動画を見ています：馬が草原を走っている。

この動画に音を付けようとするなら、音が本物らしく見えること、そして映像と「同期」していることを保証する必要があります。

上記の「とても簡単」なタスクを完了するには、同時に四つの試練を通過しなければなりません。

音は正しいか？ 必ず蹄の音でなければならず、鳥の声や風の音であってはならない（意味的一貫性）

タイミングは正確か？ 蹄が地面に落ちる瞬間、音も同期して鳴り始め、早すぎず遅すぎてもならない（時系列同期性）

聞こえは良いか？ 音には質感と階層性があり、電子合成音のように耳障りであってはならない（美的品質）

位置は正しいか？ 馬が左から右へ走っていくなら、音も左チャンネルから右チャンネルへと移動するべきである（空間的正確性）

現在の音声生成モデルは時として「片方を見て他方を忘れる」ことがあります：音を本物らしくすることに追求すると、タイミングが不正確になったり、タイミングの正確さに追求すると、音質が悪化したりします。これは、モデルが一つの基準で全ての要求を同時に満たそうとするため、目標同士が互いに「ぶつかり合う」からです。

この問題を解決するために、私たちは PrismAudio を持ち込みました。

論文アドレス：arXiv: 2511.18833

オープンソースアドレス：https://prismaudio-project.github.io/

PrismAudio とは何か？何ができるのか？

PrismAudio は動画から音声を生成する（Video-to-Audio）フレームワークです。

特別注記：私たちの研究の重点は、環境音/効果音の合成にあります。例えば、馬の蹄の音、風雨の音、金属を叩く音など、映像内容と同期する背景音であり、人物に吹き込む音声ではありません～

PrismAudio は、強化学習（Reinforcement Learning）と思考連鎖（Chain of Thought）を緊密に結びつけた初の動画生成環境音フレームワークです。簡単に言えば、モデルに「まず考え、次に発声する」ことを教え、同時に四人の「先生」が評価を行う仕組みです。

意味の先生は映像を見つめ、モデルに「これは馬の蹄の音であり、鳥の声ではない」と認識させるよう教えます。

時系列の先生はストップウォッチを持ち、音と動作がきっちり一致しているかを監督します。

美学の先生は音質を厳しく選び抜き、音が自然で階層性があり、耳障りであってはならないと要求します。

空間の先生は音を聞いて位置を特定し、音が来るべき方向から来ているかを確認します。

しかし、ここで問題が生じます：四人の先生が同時に評価する場合、要求が異なる場合はどうすればよいのでしょうか？例えば、意味の先生が「この音は似ている」と言い、時系列の先生が「だが半拍遅れている」と言う場合、どちらに従えばよいのか？

PrismAudio の解決策は、モデルにまず考えさせ、その後に行動させることです。

第一段階：まずメモを書き、次に発声する

従来の音声生成モデルは「エンドツーエンド」です：動画を入力し、直接音声を出力します。モデル内部で何が起こっているのか、誰も知らず、誰も制御できません。

しかし、私たちはモデルが「当てずっぽう」ではなく、「考えを持って」生成することを望んでいます。そのため、モデルにいきなり音声を生成させるのではなく、まず「メモを書く」ようにしました。

「この動画には何が映っているか？どのような音を発すべきか？」

「音はいつ始まり、いつ終わるか？順序はどうなるか？」

「音の質感はどうあるべきか？清脆なのか、それとも低く響くのか？遠近感はどのように処理するか？」

「音源は左側にあるのか右側にあるのか？移動はあるか？」

四つのメモを書き上げ、一つの完全な「行動指針」に拼接（つなぎ合わせ）し、それを音声生成モデルに実行させます。これが私たちが言う分解型思考連鎖です。モデルが「思いつきで」音を出すのではなく、思考プロセスを分解して書き出し、各ステップが根拠を持つようにするのです。

第二段階：四人の先生による継続的な評価

生成されたオーディオの良し悪しをどう判断するか？「リアルな声に似ているか」という一つの基準だけでは、モデルが再び「片手間に他方を犠牲にする」という老舗の問題に陥ってしまいます。そこで、私たちは各専門家に「採点者」（報酬関数）を一人ずつ割り当て、四人の専門家が互いに干渉することなく各自で採点する仕組みを導入しました。

意味理解担当の先生は MS-CLAP を用いて、音声と映像の内容が一致しているかを確認します。

時間軸担当の先生は Synchformer を用いて、音声と動作の同期を精密に測定します。

美学担当の先生は Meta Audiobox Aesthetics を用いて、明瞭度、ダイナミクス、豊かさなど複数の次元から音質を評価します。

空間担当の先生は StereoCRW を用いて、左右チャンネルの情報と映像内の音声源の位置が一致しているか検証します。

これら四つの得点を合計して総合スコアとし、モデルの目標はこの総スコアを常に高めていくことです。こうすることで、モデルは一つの基準に振り回されることなく、四つの要件を同時に満たす必要が生じ、どの次元でも遅れをとることがなくなります。

第三步：効率的なトレーニングによるボトルネックの解消

採点メカニズムが整ったので、次は強化学習を用いてモデルを最適化します。

しかし、ここには現実的な問題があります。拡散モデルに対する強化学習のトレーニングは、非常に時間がかかるのです。

従来の方法では、各ステップでランダムサンプリングを行う必要があり、コストが極めて高くなります。もし各ステップでこのように手間をかければ、トレーニングを一つ完遂するまでに数週間かかるかもしれません。そこで私たちは、効率的なトレーニングアルゴリズム「Fast-GRPO」を設計しました。

その核心となる考え方は非常にシンプルです。「ランダム探索」を刃の先だけに限定することです。生成プロセスの極めて短い時間だけランダムサンプリングを行い、残りの時間は高速チャネルを進みます。これにより、探索空間は維持しつつ、トレーニング時間を大幅に短縮できます。

結果として、特定の指標のみを最適化する際にも、Fast-GRPO は従来の方法が 600 ステップかかる性能を、わずか 200 ステップで達成しました。

効果はいかほどでしょうか？

私たちは厳格なテストを実施し、従来の VGGSound テストセットにおいて、PrismAudio が既存の最良手法を全面的に上回りました：

私たちが独自に構築した複雑なシナリオ向けテストセット「AudioCanvas」では、その差はさらに広がりました：

🎉 PrismAudio はパラメータ数がわずか 5.18 億で、9 秒分のオーディオ生成に要する時間は 0.63 秒です。数十億のパラメータを有するモデルと比較しても、はるかに軽量かつ実用的です。

AI に高品質な動画吹き替えを行わせる鍵は、パラメータやデータをただ積み重ねることではなく、人間のように思考し、バランスを取る方法をモデルに学ばせることにあります。「タスクの分解」「多角的フィードバック」「効率的最適化」というこのアプローチは、動画吹き替えだけでなく、他の多目的生成タスクに対しても新たな視点を提供するものです。本研究はトップカンファレンスである ICLR 2026 に採択され、コードも近日中にオープンソース化されます。ぜひ一緒に探索してください。

創空間（スペース）

https://huggingface.co/spaces/FunAudioLLM/PrismAudio

PrismAudio：声画同频，音效随行 (続き 3/3)

https://www.modelscope.cn/studios/iic/PrismAudio

オープンモデルの重み（ウェイト）公開

https://huggingface.co/FunAudioLLM/PrismAudio

https://www.modelscope.cn/models/iic/PrismAudio

💬 今日のインタラクション

手元に「音声なしの動画」で吹き替えが必要なものはありますか？ぜひ PrismAudio で試してみてください。ご使用後のフィードバックはコメント欄へお気軽にどうぞ。抽選でオリジナルグッズをプレゼントします。

おすすめ記事

一言で自由生成！音声双モデルがリリース

Fun-CineForge：初の映画・テレビ作品レベルの吹き替えに対応する多モーダル大規模モデル

WeChat で開くにはこちらへジャンプ