Apple、言語モデルと正規化フローを統合した多モーダル生成モデル「STARFlow2」を発表

記事の3ポイント

1. 1

   既存アプローチの構造的欠陥の特定

   既存のアプローチは、離散トークン化による視覚忠実度の低下や、因果的なテキスト生成と反復拡散に基づくノイズ除去を組み合わせる構造的不対称性、あるいはビジョン・ランゲージモデルの適応に伴う事前学習された理解力の劣化という構造的断絶に直面している。

2. 2

   自己回帰型正規化フローの採用

   本研究は、自己回帰型トランスフォーマーと同等の因果マスク、KVキャッシュ機構、および左から右への構造を共有する「自己回帰型正規化フロー」が最適な解決策であることを示唆し、これを統合モデルに適用している。

3. 3

   統一されたマルチモーダル生成の実現

   言語モデルと正規化フローを橋渡しすることで、テキストと画像の交差シーケンスを理解し、推論し、生成する構造的に断絶のない統一型マルチモーダルモデルの構築を目指す。