高度なモダリティ条件と相互作用によるテキストから音付き動画生成の制御に関する研究

記事の3ポイント

1. 1

   テキスト条件付けのボトルネック解消

   既存手法で問題となる共有キャプションによるモダリティ干渉と、訓練用詳細キャプションと推論用簡易プロンプトの乖離という課題を特定し、解決策を提示した。

2. 2

   クロスモーダル融合メカニズムの再検討

   テキスト、音声、動画の各モダリティ間での最適な特徴量相互作用を実現する融合機構が未だ不明確であるという現状を指摘し、その最適化に向けた研究を進めた。

3. 3

   Text-to-Sounding-Video (T2SV) の定義と目標

   テキスト条件に整合する形で動画と音声を同時に生成し、両モダリティを同期させることを目的とした T2SV 生成技術の進展における現状分析を行った。