Berkeley AI Research、LLM の信念更新手法を公開し長期対話効率化を目指す

タスクの範囲が広がるにつれ、LLM のコンテキストは無限に拡張できるわけではありません。自己要約機能により、簡潔で解釈可能なコンテキストを実現できますが、その代償として性能が大きく低下するリスクがあります。特に高品質なデータが不足している人間支援ドメイン（例：共同コード生成）ではこの課題が顕著です。

そこで提案するのが ABBEL です。これは、要約の情報内容を自然言語の「信念状態」という形式で抽出し、それを監督するフレームワークです。

動機：再帰的要約のコスト

ソフトウェア開発など、複雑化するタスクを言語モデルが効果的に支援するためには、人間とのやり取りを数百乃至数千ステップにわたって継続できる能力が不可欠です。こうした長期間のタスクにおいて、すべての対話履歴をコンテキストとして保持し続けるのは現実的ではありません。

これまでのヒューリスティックなアプローチは、要約生成、すなわち「コンテキスト圧縮」でした。例えば、Cursor の最新モデル Composer 2.5 は、パフォーマンス向上のためにトレーニング中に圧縮技術を採用しています（Cassano et al., 2026）。Composer と並んで、オンラインコーディング競技で人類の競争相手全員を常に上回る成績を収めた初のシステムである Grandcode (DeepReinforce et al., 2026) も、最新の効率的アテンションモデル（Qwen 3.5-397B）1 の一つを採用しているにもかかわらず、コンテキスト要約の活用が不可欠であると判断しました。

しかし、圧縮には問題があります。ベンチマーク上ではパフォーマンスの差が小さく見えるにも関わらず、Cursor などのモデルサーバーは、タスクの最中にコーディングアシスタントで圧縮機能を使うことをユーザーに避けるよう推奨し続けています（Heule et al., 2026）。

その理由を理解するには、以下の結果をご覧ください。これは「Combination Lock」というゲーム（最大 16 回の試行が可能な Wordle に似たパズル）における、文脈要約モデルと完全文脈モデルの強化学習微調整後の性能比較です。2 両方のモデルタイプは学習を通じて改善しますが、要約モデルは完全文脈モデルとの差を埋めることができません。

*Fig. 1: RL 微調整中の Combination Lock における目標単語の推定平均試行回数（低いほど良い）。文脈要約ポリシーは学習とともに改善しますが、完全文脈ポリシーとの差は埋まりません。

タスク完了中にモデル自身に要約を行わせることは、学習問題の複雑さを増します。通常であればより多くのデータで訓練することで対応可能ですが、現実世界の対話環境で見られる性能低下は、高品質な訓練環境を生成するために人間シミュレータを効果的に作成・利用することが難しいことに起因している可能性が高いです（Lin et al., 2025、Tomlin et al., 2025）。したがって、収集可能な限られた量で不揃いな多ターン対話軌道上での要約学習が上手になるほど、そのモデルは下流のユーザーにとってより有用なものになります。

ABBEL: 信念ボトルネックを通じた行動

*図 2：オートエンコーダーに着想を得た信念の格付け。モデルは過去の信念、行動、観測（bt, at, ot）を符号化し、事後信念 bt+1 を生成します。報酬は、その信念から履歴内の選択された情報をどれだけ正確に再構成できるかに基づいて与えられます。

学習効率の低さを解消するため、要約生成タスクを独立させました。再帰的ベイズ推定から着想を得て、要約を「信念状態」として定義し、新しい情報に基づき定期的にモデルを更新するようプロンプトします。3

‹ Prev

Pause

Next ›

1 / 16

*図 3：ABBE のロールアウト。最新の観測に基づく信念の更新と、現在の事後信念のみを条件とした行動選択が交互に行われます。

信念格付け

次に、信念状態の内容を抽出し、その監督を行います（図 2「Belief Grading」参照）。信念の格付けは、良い信念の特徴を捉えるように設計されたヒューリスティックを報酬として用いた補助的な強化学習タスクとみなすことができます。例えばコーディング分野では、「短ければよい」という基準に加え、「git diff の再構成が可能であるほどに近い状態が望ましい」といった基準も存在し、これらのバランスを取ることで優れた信念が得られます。

良いヒューリスティックを定義するのが難しい領域においては、我々は汎用的なオートエンコーダに着想を得た格付け関数を提案します。この関数では、現在の言語モデル πθ を履歴からの情報のエンコーダーかつデコーダーとして扱い、信念状態をコードとみなします。各信念 b_{t+1} は、現在のモデル πθ が最新の観測値 o_t を再構成する際にどれだけ有効に活用できるかによって格付けされます。

*式 1: 再構成に基づく格付けの目的関数。ここで b_{t+1} は更新後の信念、o_t は直前の行動直後の最新観測値、b_t は事前の信念、p_I はタスクのプロンプト、πθ は現在のモデルです。高い評価は、最新の観測値をデコードするために必要な情報を保持している信念に対して与えられます。

信念の格付けによって何が得られるのか？

CollabBench における共同コーディング

我々は、Sweet-RL の CollabBench エンバイロメント（Zhou et al., 2025）を用いた、人間主導の支援型コーディングという動機付けられた領域において、信念格付けの有効性を示します。

一般化された再構成ベースの信念評価関数を用いることで、フルコンテキストモデルとの性能差を約50%縮小できました。また、信念評価なし（no BG）で要約するモデルを訓練する場合と比較して、学習ステップ数を50%削減しています。訓練後、ABBEL はピークコンテキストトークン長（Peak Tokens）で測定される通り、フルコンテキスト設定よりもはるかに少ないメモリしか使用しません。

図 5: CollabBench の結果。再構成信念評価を採用した ABBEL-rec-BG は、ピークトークン数を削減しながらもフルコンテキスト（FULL CTX）モデルとの差の約半分を回復し、学習ステップ数も 100 から 50 に短縮しています。

コードロック（Combination Lock）

さらに、コードロックタスクにおいても、ドメイン知識を活用した信念評価器を備えた ABBEL が、フルコンテキストモデルを上回る学習効率を実現できることを示しました。この評価器は、過去の履歴から有用な統計量を計算し、その情報が信念状態から再構成可能かを確認する仕組みです。

図 6: コードロックタスクにおけるターゲット単語の推測に必要な平均試行回数（低いほど良好）。ドメイン知識に基づく信念評価を採用した場合、ABBEL はこの設定においてフルコンテキストモデルに匹敵するか、あるいはそれを上回る性能を発揮します。一方、信念評価を適用しない場合は学習速度が低下します。

多目的質問応答

3 つ目の環境である多目的質問応答（MEM1 Zhang et al., 2025 から。これは典型的な再帰的要約の修正版でエンドツーエンド最適化を行った最近の研究）では、信念状態を推論から分離する利点を示しました。具体的には、「ピーク信念長ペナルティ（詳細は論文参照）」が、一般的に推論長のペナルティ化で見られるような性能低下を抑えつつ、メモリ使用量を大幅に削減できることを実証しています (Arora et al., 2025)。