潜在状態計算による視覚推論の必須化手法 CVRR の提案

記事の3ポイント

1. 1

   潜在状態の計算必要性の確立

   画像情報が潜在状態に存在するだけではモデルがそれを利用している保証がないため、再帰計算を予測のための必須経路とする手法を提案する。

2. 2

   CVRR による厳格な制約の実装

   質問の隠れ状態から再帰を開始し固定された視覚証拠を繰り返し読み込むことで、最終的な再帰状態のみが画像条件付き情報を保持する構造を実現した。

3. 3

   厳格なインターフェース下での性能維持

   V^*, MMVP, BLINK, MME-RealWorld-Lite の各ベンチマークにおいて、既存の潜在推論器が同等の能力を回復できない中で CVRR は高いパフォーマンスを維持した。