自己視点動画理解モデルにおける時間的意識のインセンティブ化に関する研究

記事の3ポイント

1. 1

   時系列認識の欠如という課題

   マルチモーダル大規模言語モデルは視覚理解で高い性能を示すが、特に自己視点設定ではイベントの順序や進化に関する推論において時間的認識が不足している。

2. 2

   既存学習目標の限界

   現在のトレーニング目的は時系列推論を明示的に報奨せず、フレームレベルの空間的な近道に依存する傾向があることが欠陥の一因となっている。

3. 3

   TGPOアルゴリズムの提案

   Apple は時間的整合性を促すための強化学習検証可能報酬（RLVR）アルゴリズム「Temporal Global Policy Optimization (TGPO)」を提案した。