LLM の長時間タスク対応に「Progressive Point Matching」手法を提案

記事の3ポイント

1. 1

   長期タスクにおけるスパース報酬の限界

   数時間から数日にわたる長期タスクでは、最終結果のみで評価するスパース報酬（0 または 1）が信号対雑音比を指数関数的に低下させ、学習効率を著しく損なう。

2. 2

   既存のバイアス付き手法の問題点

   プロセス報酬や自己蒸留などの既存のアプローチは漸近的に不偏ではないため、論理的には正しくても最終的なタスク成功に寄与しない行動を過剰に強化するリスクがある。

3. 3

   Progressive Point Matching (PPM) の提案

   推論プロセスをマルコフ状態空間内のパス発見と捉え、中間結果に対して部分的なクレジット（評価）を与えることで、不偏性を保ちながら効率的に学習する新枠組みを提示した。