ネイティブ統一型多モーダルモデルにおける理解と生成の相乗効果を検証

統合型マルチモーダルモデル（UMM）は、単一のモデル内で視覚的理解と生成を同時に行いますが、機能的な統一が学習の相乗効果を保証するわけではありません。両者の目的はお互いを強化し合うこともあれば、リソースを争い、あるいは単に共存するだけの場合もあります。本研究では、事前学習されたビジョンの事前知識を持たない、統制的かつ構造的にネイティブな環境において、表現レベル、タスクレベル、システムレベルの各段階で両者の関係を調査しました。

表現レベルにおける分析の結果、それぞれの目的が他方にとって有用なシグナルを提供することが明らかになりました。生成は理解のために学習される視覚的特徴を豊かにし、一方、理解は生成のためのビジョン・言語アライメントを強化します。しかしながら、両方の目的を同じ計算パスに強制した場合、いずれか一方が優位になりがちです。この非対称的な劣化を防ぐには、競合する視覚的計算を専門化する一方で意味的な相互作用を保持する、タスク分離型のアーキテクチャが必要です。

タスクレベルでは、3 つのケーススタディを通じて、理解と生成のタスクが共通の知識に依存している場合、双方向の正の転移が生じることを示しました。システムレベルでは、画像の理解と生成を明示的に必要とする複雑なタスクにおいて、エンドツーエンド型の UMM がマッチングされたプランナー・エグゼキューターパイプラインを上回る性能を発揮することを示しています。

これらの結果は、UMM の価値が統一されたインターフェースを超えたところにあることを示唆しています。適切な専門化、共有されるタスク知識、そしてエンドツーエンドの最適化によって、単なる共存を相乗効果へと変えることが可能なのです。