Hugging Face、自己蒸留における永続的整合性手法「PCSD」を公開

記事の3ポイント

1. 1

   報酬スパース性の克服

   長期的な多ターン軌道で単一の結果信号しか得られない強化学習の課題に対し、PCSD は教師モデルからの継続的なサポートを捉えることで、トークンレベルでの稠密な監督信号を提供する。

2. 2

   適応的重み付け手法

   教師に有利な信号の局所的持続性からトークンレベルの蒸留重みを導出し、指数減衰集約とトレンド認識変調を組み合わせることで、ノイズや一時的な低下の影響を低減する。

3. 3

   GRPO との統合による性能向上

   提案手法は GRPO（Group Relative Policy Optimization）と共同最適化され、推論時のスキル追加なしで ALFWorld 全体において既存ベースラインを大幅に上回る結果を獲得した。