エージェント型強化学習：トークンの入力と出力を正しく扱う方法（16 分読了）

LLM を用いた強化学習において、モデルがサンプリングされた正確なトークン上で動作するように保証することは極めて重要です。再トークナイゼーションはドリフトを引き起こし、信頼性の低い勾配をもたらす可能性があります。この問題に対する解決策は、デコードされたトークンを二度とエンコーディングしないこと、およびサンプリングされたトークンのためのバッファを維持してドリフトを防ぎ、正確な損失計算を可能にすることです。このアプローチは、現代のテンプレートの多くが満たす「プレフィックス保存型チャットテンプレート」という性質に依存しており、冗長な再レンダリングなしで信頼性の高い強化学習ループを実現します。