エージェントの文脈管理「階層型メモリ」

AI エージェントの成敗を分ける「文脈管理」：プロンプトからコンテキストエンジニアリングへの転換点

AI エージェントの開発において、今最も注目すべきパラダイムシフトは「プロンプトエンジニアリング」から「コンテキストエンジニアリング」への移行です。多くの開発者がモデルに何を見せるかという戦略的な文脈管理を軽視しがちですが、実際の現場ではこの選択がエージェントの成敗を分ける決定的な要因となっています。

本記事では、AI エージェント「Alex」の開発を通じて直面した無限ループ問題と、それを解決するために採用された「階層型メモリ（スマートトリンケーション）」の実践的アプローチについて解説します。単なるプロンプトの調整を超え、モデルに何を記憶させ、何を忘れるかを設計する重要性がここにあります。

プロンプトから文脈へ：戦略的な情報選択が成敗を分ける

昨年中盤以降、業界では「コンテキストエンジニアリング」の重要性が急速に高まっています。かつてはプロンプトの最適化が全てでしたが、現在はモデルに何を見せるかという戦略的な判断こそが、エージェントの成功を左右します。

エージェントが失敗するか成功するかの真の要因は、プロンプトそのものではなく、モデルに何を見せるかという戦略的な文脈選択にかかっています。

コンテキスト管理とは、単にトークン制限（ウィンドウ）の範囲内に収めることではありません。最も重要なデータは何かを判断し、不要な情報を意図的に排除する「製品および UX の問題」です。適切なデータを持たなければ文脈が崩れ、誤った回答を返すため、ユーザーは製品を使い続けられなくなります。

愚かな切り捨てと要約の罠：なぜ従来の手法では失敗するのか

開発初期段階で直面した最大の課題は「無限ループ」でした。エージェント自身を使って他のタスクを解決させようとした結果、コンテキストが肥大化し、制限に達してエラーが発生。再試行しても同じデータが含まれるため、また失敗するという悪循環に陥りました。

この問題を解決するために試された2 つの初期手法は、いずれも限界を示しました。

1. 単純な先頭切り捨て（愚かなトリンケーション）

最初の対策として、「長いコンテキストの塊から先頭の 100 文字だけ残せばよい」と考えました。しかし、これは推論能力を壊す結果となりました。

先頭だけを保持する手法では、エージェントは直前の文脈を完全に忘れてしまい、まるで新しい会話のように振る舞ってしまいます。フォローアップの質問に対して「何を話しているのか理解できません」と答えるなど、推論が破綻しました。

2. 自動要約への依存

次に、「LLM は要約が得意だから、文脈を要約して送れば解決するのでは？」と考えました。しかし、この手法も一貫性がなく、何が重要かを制御できませんでした。

LLM に任せてデータを把握させると、重要な情報が欠落したり、信頼性の低い判断を下したりします。要約のみでは、コンテキストの断絶や重要な情報の欠落を招き、推論能力が維持できないことが判明しました。

解決策：先頭・末尾保持と外部メモリを組み合わせた「スマートトリンケーション」

最終的に採用されたのが、「スマートトリンケーション」と外部メモリの組み合わせです。これは現在、開発中のエージェント「Alex」でも実際に使用されている実用的なアーキテクチャパターンです。

具体的な仕組み

1. 先頭と末尾の保持: コンテキストの先頭 100 文字と末尾 100 文字はそのまま残し、モデルに文脈の開始点と直近の状態を認識させます。
2. 中間部分のメモリ化: 先頭と末尾の間にある「重いデータ」や過去の詳細なやり取りは切り捨てず、外部メモリ（データベース）に格納します。
3. オンデマンド参照: エージェントが必要と感じた際、いつでもその文脈をメモリから呼び出して取得できます。

このハイブリッド戦略により、エージェントは常に最新の状況と全体の文脈を理解しつつ、過去の重要なデータも必要に応じて参照できるようになりました。数ヶ月間、この修正を繰り返すことなく安定して動作していることが証明されています。

長時間セッションのリスク：遅発的失敗を検出する評価手法

スマートトリンケーションを導入しても、会話が進むにつれて「遅発的に発生する失敗」が潜んでいました。ユーザーはチャットをリスタートせず、10 ターンを超える長いセッションを続けることが多いためです。

会話の非常に遅い段階で物事を忘れてしまうバグは、ユーザーからの報告やデータ確認まで気づかず、発見が遅れてしまいます。

これを防ぐため、「ロングセッション評価」の実装が不可欠となります。具体的には、10 ターンまでの会話を学習させ、その直後の 11 番目のターンで文脈管理の正しさをテストする手法です。これにより、ユーザーからの報告を待つ前に、コンテキストの断絶や記憶の欠落を検出・修正することが可能になります。

負荷分散：サブエージェントによる文脈の分離

さらに、単一のエージェントにすべてのデータを詰め込むのではなく、「メインエージェント」と「サブエージェント」を分けるアプローチも有効です。

• メインエージェント: チャット履歴や軽量なコンテキストのみを担当。ユーザーとの対話体験を滑らかに保ちます。
• サブエージェント: 膨大なデータ検索や複雑な推論タスクを担当。重いデータコンテキストはここに保持されます。

メインの会話を軽く保ちつつ、必要な処理をサブエージェントに委任することで、システム全体の破綻を防ぎ、ゲームチェンジャーとなる効果を生んでいます。

まとめ：長期記憶と評価指標が今後の課題

AI エージェントの実用化において、プロンプトの調整だけでなく「文脈エンジニアリング」への転換が不可欠です。先頭・末尾の保持、外部メモリとの連携、サブエージェントによる負荷分散といった戦略は、コンテキストの肥大化問題を解決する有力な手段となります。

しかし、まだ課題は残っています。特に「長期記憶」の実装や、どの文脈を保持すべきかを判断する明確な指標（ヒューリスティック）の確立は、現在取り組んでいる最中の重要な課題です。開発者は、コンテキスト管理が反復的なプロセスであることを理解し、モデルに何を見せるかという根本的な問いかけを継続して行う必要があります。