Hugging Face、長期的エージェントタスク向け学習手法「AgentOPSD」を論文公開

記事の3ポイント

1. 1

   ターンレベルの信用帰属メカニズム

   従来の報酬ベースの手法では見落としがちな、長期的なエージェントタスクにおける重要な意思決定（pivotal decisions）を特定するために、トークンレベルの教師・生徒対数確率差を集約する手法を採用している。

2. 2

   批評家不要の再帰的ベイズ更新

   追加の批評家モデルやロールアウトを必要とせず、対数オッズ空間でベイズ信念状態を再帰的に更新することで、スパースな結果監督信号からターンレベルの信用信号を生成する。

3. 3

   既存手法との比較優位性

   ALFWorld、WebShop、Search-QA における Qwen2.5 モデルでの評価により、GRPO や強力な自己蒸留ベースラインを上回る性能（ALFWorld で 89.1% の成功率）を示した。