多モーダル事前学習の物理法則：知識フローとモダリティ相乗効果に関する研究

記事の3ポイント

1. 1

   知識フローの解明

   言語、視覚的理解、視覚生成がモダリティ間でどのように知識を転送するかを分離し、影響と非対称性の明確なパターンを明らかにした。

2. 2

   相乗効果と競争の要因

   データの複雑性がモダリティ間の相乗効果か競争かを決定することを示し、共有アテンションや正規化などのアーキテクチャ選択が相乗効果を促進すると特定した。

3. 3

   早期統合の有効性

   学習の初期段階からモダリティを統合して共同訓練することが、後期のアライメントや逐次訓練よりも効果的であることを示し、遅れた統合が「ビジョン・ラジネス」現象を引き起こすことを発見した。