テキスト条件付き JEPA：意味豊かな視覚表現を学習する手法

画像ベースのJoint-Embedding Predictive Architecture (I-JEPA) は、マスクされた特徴量の予測を通じて視覚的自己教師あり学習への有望なアプローチを提供します。しかし、マスクされた位置における本質的な視覚的不確実性により、特徴量予測は依然として困難であり、意味表現を学習できない可能性があります。本研究では、画像キャプションを用いて予測の不確実性を低減するText-Conditional JEPA (TC-JEPA) を提案します。具体的には、入力テキストトークンに対してスパースなクロスアテンション（sparse cross-attention）を計算する微細なテキストコンディショナーを用いて、予測されたパッチ特徴量を調整します。このような…