Hugging Face、文脈管理エージェントに微細 RL を教える手法発表

長期にわたるエージェントタスクでは、大規模言語モデル（LLM）が複数回の対話を通じて分散した情報を反復的に検索・統合・維持する必要があります。しかし、すべての対話履歴を保存し続けると、作業コンテキストは常に肥大化してしまいます。

最近の能動的なコンテキスト管理手法では、専門ツールを使ってモデル自身が作業コンテキストを編集できるようになりましたが、依然として3 つの重要な課題に直面しています。(1) ツールセットが検索・削除・要約に限定されており、グローバルプランニングや長期記憶、適応的な圧縮に対応していないこと。(2) 最終結果への影響が多様であるにもかかわらず、コンテキスト管理アクションを一律に扱う非効率的な探索が行われていること。(3) リンクルーン（RL）において、最終的な軌道レベルの報酬が中間のコンテキスト編集アクションすべてに割り当てられるという粗いクレジットアサインメントの問題です。

これらの課題を解決するため、私たちは長期エージェント推論のための能動的なコンテキスト管理フレームワーク「ContextPilot」を導入しました。私たちのアプローチでは、プランニング、長期記憶、ソフトなコンテキストオフロード機能を備えたツールセットを体系的に拡張しています。さらに、コンテキスト管理に特化した RL 手法を提案します。この手法は、コンテキストとエントロピーの変動を利用して重要な編集判断を特定し、分岐サンプリングの対象となるアクションを選別します。また、対応するコンテキスト編集アクションを経由したすべての分岐軌道から、アクションレベルのアドバンテージを推定します。

長期コンテキスト QA や深層検索タスクにおける実験では、ContextPilot がよりコンパクトな作業コンテキストでより強力なパフォーマンスを発揮し、さまざまなベースモデルやベンチマークにおいて既存のベースラインを一貫して上回ることが示されました。コードは https://github.com/Tencent/ContextPilot で公開されています。