マルチモーダル蒸留における視覚証拠の帰属手法 VAD

記事の3ポイント

1. 1

   視覚証拠の分離と評価

   既存手法では言語的仮説や教師固有の影響が混在する修正信号に対し、VAD は反事実的なアプローチで視覚証拠に基づく部分のみを抽出・評価する。

2. 2

   対照実験による推定アルゴリズム

   VAD は学生モデルの生成接尾辞に対して、関連証拠を含む場合と除去した場合の固定教師の確率変化を比較し、視覚的寄与方向の代理変数を算出する。

3. 3

   学習目標の再構築と訓練

   抽出された視覚的介入成分から学生モデルに紐づく学習目標を再構築し、これを主監督信号として使用することで、誤った回答に対する視覚的反証を強化する。