LangSmith Engine がエージェントの追跡を永続的記憶へ変換

エージェントは「失敗」からどう学ぶか？LangSmith Engine が変える自律進化の仕組み

多くの AI エージェントは、過去の失敗を記録するだけで、実際の行動には反映されません。その結果、同じミスを繰り返す悪循環に陥ってしまいます。しかし、LangChain の新機能「LangSmith Engine」と「Context Hub」を使えば、エージェントが過去の痕跡から学び、自律的に改善し続ける「継続学習ループ」を構築できます。

エージェントの記憶には「3 層構造」がある

まず、なぜ現在の多くのエージェントが学習できないのかを理解するために、その記憶構造を見直しましょう。エージェントのメモリは単なる保存場所ではなく、時間を通じて一貫した行動をとるための文脈です。ここには明確な 2 つの層と、それをつなぐループが存在します。

1. 作業用メモリ（短期）：現在の会話やツールの結果、中間推論など、その瞬間のタスク解決に必要な情報です。これはスレッド内で完結し、一貫性を保つ役割を果たしますが、システム全体の持続的な記憶にはなりません。
2. 長期メモリ：実行を跨いで存続する文脈で、以下の 3 つのカテゴリに分けられます。

• 意味記憶：事実、好み、ドメイン知識など、エージェントが「知っている」安定した情報。
• 事象記憶：過去の相互作用や結果、パターンなど、エージェントが「経験してきた」データ。
• 手続き記憶：どのように行動すべきかという指示、ワークフロー、ルール、意思決定ポリシーなど。

重要なのは、この 2 つの層をつなぐ読み書きループです。実行中、エージェントは長期メモリから必要な情報を短期メモリへ取り込みます。そして実行後、「何か意味のあることが学ばれた」と判断された場合、そのシグナルを長期メモリへ書き戻すことができます。

「痕跡が信号となり、信号が記憶となり、その記憶が次の実行を導く。」

このループこそが、エージェントの自律的な進化を支える基盤です。

LangSmith Engine：失敗から学び直す「背景プロセス」

では、どうやってこの学習ループを実現するか。鍵となるのがLangSmith Engineです。

エージェントとユーザーのやり取りで生成される「トレース（追跡データ）」には、失敗したツール呼び出しや不適切な出力といった有用な証拠が含まれています。しかし、トレースを保存するだけでは、エージェントは良くなりません。「何が起きたか」は分かりますが、「次回何を覚えるか」までは自動的には変わりません。

ここで Engine が登場します。Engine はバックグラウンドで動作する知的プロセスとして、以下の役割を果たします。

• 問題の特定：トレースプロジェクト全体をスキャンし、繰り返される問題や異常を検知します。
• 根本原因の診断：なぜその失敗が起きたのかを分析します。
• 修正策の提案：具体的な改善案を提示し、評価カバレッジの追加も支援します。

これにより、同じ問題が発生しても検出され、自動的に学習サイクルが回ります。Engine は単なる監視役ではなく、エージェントの行動を変えるための「提案者」なのです。

Context Hub：Git ベースで管理される永続的記憶

Engine が発見した問題を解決し、実際にメモリを更新する場所がContext Hubです。

これは Git ベースのバージョン管理システムを活用した、エージェントのメモリストアです。エージェントのコアルール（Markdown ファイル）や再利用可能なスキルファイル、環境固有の設定などをここで管理します。

• バージョン管理：Git を使うため、変更履歴が残り、ステージングから本番環境への移行も容易です。
• 直接適用：Engine が提案した修正は、Context Hub 内のファイルに直接適用できます。
• 自動読み込み：更新されたコンテキストは、次の実行時に自動的にエージェントに読み込まれます。

つまり、「トレースがシグナルになり、シグナルがレビュー済みのメモリとなり、そのメモリが次の実行でより良い振る舞いにつながる」という完全なサイクルが完成します。

実証：金融アシスタント「NOVA」の自律進化デモ

この仕組みの実践的な検証として、動画では金融アシスタント「NOVA」を用いたデモが行われました。以下にそのプロセスを解説します。

1. Context Hub の構築とエージェント設定

まず、LangSmith 上で新しい Context Hub リポジトリを作成し、NOVA のコアメモリ（agents.md）と 3 つのスキルファイル（語彙、チャート描画、通貨書式など）を定義しました。これにより、Git ベースでバージョン管理された永続的記憶が準備されます。

次に、LangChain の Deep Agents フレームワークを使ってローカルに NOVA を構築します。ここで重要なのは、バックエンドの設計です。

• 状態バックエンド（State Backend）：一時ファイルやスクラッチパッドとして機能し、スレッド内の状態を保持します。
• コンポジット・バックエンド：デフォルトの状態バックエンドと、永続的メモリ用の Context Hub を統合します。memories 以下のパスは Context Hub にマウントされ、それ以外は一時ファイルとして扱われます。

この構成により、「作業ファイルはローカルに、長期メモリは Context Hub に保持する」という理想的な分割が実現しました。

2. Engine による問題検知と修正提案

NOVA を実行し、ユーザーとの対話で「今月の支出内訳を見せて」と質問すると、トレースが LangSmith に自動ログ出力されます。Engine はこのトレースをスキャンし、分析を開始します。

分析結果として現れたのは、トーンルール違反の問題でした。

• 問題点：NOVA が禁止されたフィラー語（"great", "here's", "let me" など）を使って応答していたこと。
• 根本原因：トーンルールが agents.md ファイル内に記述されているだけで、サブエージェントのシステムプロンプトに再述されておらず、小規模モデルである Claude が優先度を低く扱っていたためです。

Engine はこの違反を検知し、「明示的な例（few-shot プロンプティング）を追加してルールを強化すべき」という具体的な修正提案を行いました。また、サブエージェントのプロンプト変更も併せて提案しています。

3. 自動適用と改善確認

開発者は Engine の提案を承認し、agents.md ファイルに修正を直接適用しました。この変更は Context Hub に保存され、次の実行時に自動的に読み込まれます。

再テストの結果、フィラー語は検出されず、トーンが大幅に改善されました。ユーザーとの対話から生じたシグナルが、Engine によって分析され、メモリが更新されたことで、エージェントは自律的に進化したのです。

まとめ：手動調整の時代は終わる

LangSmith Engine と Context Hub の組み合わせは、AI エージェント開発における「手動プロンプト調整」のボトルネックを解消します。開発者が一つひとつルールを手動で書き直す必要はなく、エージェント自身が過去の失敗から学び、永続的記憶を更新し続ける自律的な改善サイクルが標準化されます。

これは単なる機能追加ではなく、生産環境での信頼性を高めるための重要な一歩です。企業レベルでは、エージェントの挙動を継続的に監視・最適化できるため、本格的なエンタープライズ AI 実装への道が開かれました。