Harbor と LangChain が統合評価スタックを構築

AI エージェントの進化に対応する評価の新基準：Harbor と LangChain が構築する「隔離された検証環境」

AI エージェントがファイル操作や長時間の実行、複雑な計画を行うようになると、従来の「出力文字列を比較するだけ」の評価手法では不十分になっています。これに対し、LangChain はオープンソースフレームワーク「Harbor」との統合により、Docker やクラウド上で完全に隔離されたサンドボックス環境で評価を実行する新しい標準を提案します。

複雑化するエージェントへの評価課題

かつては、LLM や単純なエージェントの評価も、出力されたテキストが正しいか否かを判断すれば十分でした。しかし、現在ではエージェントにコンピューター全体へのアクセス権を与え、ファイルの読み書きやコード実行、環境内の変更を行わせるケースが増えています。

特に「Deep Agent」のような複雑なアーキテクチャが登場し、評価はさらに困難を極めています。Deep Agent は単にツールをループで呼び出すだけでなく、計画ツールやサブエージェント、ファイルシステムへのアクセス機能をパッケージ化しています。

例えば、「騒音汚染に関するレポート生成」というタスクにおいて、エージェントは以下の一連の行動を行います。

1. info フォルダ内の既存ドキュメントを読み込み、関連情報を抽出する
2. 複数のソースを合成して論理を組み立てる
3. reports フォルダに report.markdown という形式でレポートを保存する
4. ソースからの主張を正しく引用しているかを確認する

このように環境自体が変更されるプロセスを評価するには、実行前の状態と実行後の状態を厳密に比較できる「新しい評価設定」が必要です。

エージェントの能力が向上し、ファイル読み込みやコード実行、環境内の変更を行えるようになった今、複雑で長時間実行されるエージェントの評価には、環境変化を考慮した新しいアプローチが必要となります。

Harbor が提供する「3 つの要素」とは

この課題に対処するために開発されたのが、オープンソース評価フレームワーク「Harbor」です。Harbor は、エージェントがリアルな環境で動作する様子を再現可能かつクリーンに検証するための基盤を提供します。

Harbor を機能させるには、以下の 3 つの要素を組み合わせる必要があります。

1. エージェント: ツールやプロンプト、ロジックを統合し、タスクを実行する主体です。LangGraph エージェントなどが該当します。
2. サンドボックス: 実行環境です。ローカルでは Docker を使用するか、クラウド環境（例：LangSmith Sandbox）を利用します。これにより、各評価が互いに干渉せず、クリーンな状態で開始されます。
3. データセット: タスクの集合体であり、フォルダ構成で管理されます。

この「サンドボックス」こそが、従来の評価手法との決定的な違いです。各タスクは独立した Docker コンテナ内で実行されるため、ファイルシステムの変更や環境変数の影響を完全に隔離できます。

決定論的な合格判定を実現するデータセット構造

Harbor におけるデータセットは、単なるテストケースの集まりではなく、タスクの実行と検証を包括的に定義したフォルダ構成です。各タスクは以下の要素を含むサブフォルダとして管理されます。

• task.toml: タイムアウト設定や CPU/メモリ制限などの環境変数を定義します。
• instruction.md: エージェントに与える主要な指示書です。「騒音汚染に関するレポートを生成せよ」といった具体的なタスクが記述されます。
• environment フォルダ: サンドボックスが実行するベースイメージを含みます。これがすべてのクリーンな実行の起点となります。
• tests フォルダ: タスクの成功・失敗を決定論的に判定する検証スクリプト（PyTest）が含まれます。

検証スクリプトは Python ファイル内に記述され、以下のようなアサーションを実行します。

1. レポートが指定された正しいパスに存在するか
2. フォーマットが要件通りか
3. コンテンツが正しく、適切なソースを引用しているか

また、オプションで solution フォルダを用意し、Oracle エージェントによる正解との比較も可能です。この構造により、人間の主観に頼らず、機械的に「合格・不合格」を判定することが可能になります。

LangChain との統合と可視化ワークフロー

Harbor を既存の開発フローに組み込む際、特に重要なのが LangGraph エージェントとの連携です。Deep Agent を Harbor に登録するには、主に 2 つのファイルを用意します。

1. レジストリファイル（JSON または langgraph.json）: エージェントの依存関係やグラフ参照を定義します。
2. エージェント構築コード: 実際に Deep Agent を作成する関数を含みます。

これらの準備が整えば、以下の手順で評価を実行できます。

まず、Harbor と LangSmith の連携パッケージをインストールします。

pip install harbor[langsmith]

次に、モデル API キーと LangSmith API キーを環境変数として設定し、harbor run コマンドを実行します。ローカルで Docker を使用する場合や、クラウドの LangSmith Sandbox を利用する場合は、引数を切り替えるだけで実行可能です。

• -P: データセットが存在するパスを指定
• --agent-type langgraph: エージェントタイプを指定
• -e docker または --langsmith: 実行環境をローカル Docker か LangSmith Sandbox に指定

評価結果は、自動的に LangSmith の可視化プラットフォームへ送信されます。ここでは、各タスクが 0（失敗）か 1（成功）のスコアを獲得したか、レイテンシや使用トークン数などのメトリクスを確認できます。

タスクを 1 つ実行するだけでは面白くありませんが、Docker またはクラウドで LangSmith Sandbox を使えば、複数のタスクを並列実行し、結果を時間経過とともに追跡・検査することが可能です。

まとめ

AI エージェントの高度化に伴い、ファイル操作や複雑な計画を行う Deep Agent への評価には、環境変化を考慮した「隔離された検証」が不可欠です。Harbor は、Docker やクラウドを活用したサンドボックスと、決定論的な検証スクリプトを組み合わせたオープンソースフレームワークとして、開発現場における評価の標準化と自動化を加速させます。

LangChain との統合により、ローカル環境からクラウド基盤までシームレスに評価を実行・可視化できるこの仕組みは、エンタープライズレベルでの AI 導入やセキュリティ担保を支える重要なインフラとなるでしょう。