潜在状態計算による視覚推論の必須化手法 CVRR の提案

潜在視覚推論は、明示的なテキスト思考連鎖ではなく、隠れた状態の計算を通じて多モーダルな推論を行うことを目指しています。しかし、視覚情報が潜在的な状態として存在しているからといって、モデルが回答を生成する際に実際にその状態に依存しているとは限りません。特に、画像条件付きの代替経路が残っている場合、この限りはありません。

私たちは、事前学習された視覚能力を維持しつつ、再帰的計算を予測に対する必須の画像条件付き経路とする「因果的視覚再帰推論（CVRR）」を導入しました。CVRR は、事前学習済みビジョン・ランゲージモデルが画像を取り込んだ後に質問の隠れた状態から再帰を開始し、同じ固定された視覚証拠を繰り返し読み込みながらこの状態を反復更新します。

デコードの前には、視覚状態と元の多モーダル KV キャッシュが削除され、最終的な再帰状態のみが画像条件付き情報を回答に伝達します。V^*、MMVP、BLINK、MME-RealWorld-Lite の各ベンチマークにおいて、CVRR はこの厳格なインターフェース下でも強力な性能を維持しますが、同じ制約条件下で再学習された潜在的推論器は、比較可能な視覚能力の回復に失敗します。

因果介入による検証では、質問が固定されている場合でも予測が再帰的コンテンツに対して敏感であることを示し、持続する視覚証拠が再帰的軌道を因果的に修正することを明らかにしました。これらの結果は、単に潜在的な情報性を有することと、実際に推論に使用される潜在的計算を区別するものです。