Hugging Face、テスト時ポリシー最適化手法「TTPO」を発表

記事の3ポイント

1. 1

   既存手法の限界と非対称性の発見

   従来の RL や OPSD は正解ラベルに依存し、多数決疑似ラベルを用いた場合も誤った投票が教師を汚染する脆弱性がある。研究者らは、疑似ラベルと異なるロールアウトが通常は誤りであるという非対称な失敗モードを観察した。

2. 2

   TTPO の非対称目的関数

   提案された TTPO は、一致するロールアウトを OPSD で蒸留し、不一致のロールアウトをグループ化 RL でペナルティを与える非対称な目的関数を採用する。これにより疑似ラベルのエラー下でも安定した学習が可能となる。

3. 3

   トークンレベルでの選別と最適化

   TTPO は収束済みの位置を蒸留で重み付け下げ、自信ある誤りだけを RL でペナルティを与えるトークンレベルの選別を行う。これにより多数決ルーティングがモデル改善とともに自己監督を強化する。