LangChain、深層エージェントのベンチマーク手法を公開

エージェントの設計は難しいものです。その理由の一つに、評価が困難であることが挙げられます。

Deep Agents（オープンソースでモデルに依存しないエージェント・ハネス）の開発を進める中で、私たちは常に多くの決断を迫られてきました。プロンプトはどうするか、どのツールを含めるか、ミドルウェアの選定はどうか、などです。こうした試行錯誤の中で、私たちが下した判断を検証するための堅牢な評価セットが必要でした。

最近、私たちは評価フレームワークを見直しました。本稿では、Deep Agents をどのように評価すべきかという私たちの考え方を共有します。

Harbor によるエンドツーエンドの評価

最近の私たちの評価活動は、一連のエンドツーエンド（E2E）テストを特定することに注力しています。以前はより小さく「ユニット」スタイルのテストを行っていましたが、現在もそれらは残っています。しかし、エージェントが処理するタスクが次第に長くなり、実行時間も延びていることを踏まえ、私たちはより包括的なエンドツーエンドの評価へと移行しました。

これを実現するために、評価ランナーとして Harbor を採用しました。Harbor はエージェントの評価を実行するための人気のあるオープンソースフレームワークで、特にコードベンチマークのリーダー的存在である Terminal Bench の基盤となっていることで知られています。

Harbor を使用するには、以下の 3 つを提供する必要があります：

• あなたのエージェント：Deep Agents のベンチマークを行っています
• データセット：以下のセクションを参照してください
• サンドボックス：Harbor の評価はローカル環境と LangSmith Sandboxes の両方で実行しています

各 データセット には、以下の要素からなる タスク が含まれます。

• 環境（Dockerfile または Docker Compose の YAML ファイル）
• 指示（Markdown 形式）
• 評価スクリプト（test.sh）

単純な LLM 評価と比較すると、以下の 2 つの主要な違いがあります。

1. エージェントが動作する環境が極めて重要です。そのため、タスクの一部として明示的に定義する必要があります。単純な LLM 評価では環境は不要で、LLM を呼び出すだけで済みますが、エージェントには環境が必要です。
2. エージェントの評価はスクリプトによって行われます。多くの場合、エージェントは追加のファイルを生成したり、何らかの方法で状態を変更したりします。最終的な回答を眺めるだけでは不十分で、その過程で作成された成果物（アーティファクト）も確認する必要があります。

3 つのベンチマーク：それぞれの業務タイプに対応

現在、私たちは 3 つのベンチマークを実行しており、それぞれがエージェントの異なる種類の作業をカバーしています。Deep Agents は汎用性の高いハーンネス（枠組み）であるため、複数の異なるドメインにわたる能力を検証する必要があります。

• Harbor-Index：自律的でエンドツーエンドの作業を評価するベンチマーク。Harbor により、ソフトウェアエンジニアリング、検索、データ分析、長期にわたるツール利用など 54 のベンチマークから選出された 6,000 件以上の候補から厳選された 82 タスクで構成されています。
• 𝜏³-bench：対話型タスク。30 のサブセットで多段階の会話をカバーし、ユーザーはシミュレートされますが、評価は実際の成果に基づいて行われます。
• ContextBench：情報検索タスク。30 の調整済みタスクからなり、各タスクには完全なコーパスがサンドボックス内に含まれており、エージェント自身が情報を探索して回答を結合する必要があります。

image.png)

これは始まりに過ぎません。これらのタスクセットは、今後さらに拡充していく予定です。

私たちが重視している実践

私たちが特に信頼し、採用しているいくつかの手法があります：

• タスクは複数回実行する。ベンチマーク対象のエージェントは本質的に非確定的な性質を持つため、単一の試行では十分な精度で推定できないほどのばらつきが生じる。
• 迅速な反復に使える「軽量版」ベンチマークを維持する。当社の場合は、解けるが難しい最前線のタスクに重みを置いた固定されたサブセットだ。この「軽量版」はフルセットの約8倍速く、コストも6分の1で済む。すべてのモデルに対してフルセットを実行するのは高価になるため、反復作業中は軽量版を使い、本番での評価が必要な場合にのみフルセットを実行する。
• ベンチマークとは別に機能スイートも維持する。これらは、ツール選択やメモリ管理、ファイル操作など特定のハッチング動作をそれぞれ対象とした、高速で確定的なユニットテストの集合だ。これはベンチマークの統合層に対するユニットテスト層に相当する。

自信を持って反復する

これらのベンチマークを使って、私たちは自信を持って反復作業を進めています。意思決定を行う際、ベンチマークの変化を確認することで、正しい方向へ進んでいるという確信が持てます。

具体的な例として、Deep Agents の 0.7 リリースに向けた準備にこれを活用しました。今回のリリースでは、ハッチングを簡素化し、かつては必要だったかもしれないプロンプトを取り除くことを目指しています。これにより、Deep Agents を実行するユーザーにとってのメリットが生まれます。1 回の実行あたりのトークン数が減り、モデルの注意力をユーザー自身が記述した指示に集中させることができるようになります。

検討している具体的な変更点の 2 つは、To-do リストミドルウェアの削除と、システムプロンプトの大幅な簡素化です。これらの要素がエージェントハネスに引き続き必要かどうかを判断するために、本ベンチマークを活用しています。

関連コンテンツ

観測可能性と評価

評価エンジニアリングの自動化に向けて

Vivek Trivedy

2026 年 7 月 22 日

5 分

image.png)

オープンソース

LangGraph

エージェントアーキテクチャ

LangGraph における 3 年間のグラフエンジニアリング

S. Runkle、H. Chase

2026 年 7 月 22 日

4 分

観測可能性と評価

IssueBench - エンジンの評価方法

N. Bray,

A. Nargolwala

2026 年 7 月 20 日

6 分

エージェントが実際に何をしているか可視化する

LangSmith は、エージェントエンジニアリングに特化したプラットフォームです。開発者はこれを使って、エージェントの意思決定を一つずつデバッグしたり、変更の影響を検証したり、ワンクリックでデプロイしたりできます。