Harbor と LangSmith を活用した本番用エージェント評価パイプライン構築

LLM エージェントの本番評価を革新する：「Harbor」と「LangSmith」が導く新しいテストワークフロー

生成 AI アプリケーションの開発現場では、LLM やエージェントの評価基準が単純な文字列の出力確認から、ファイル操作や環境実行を含む複雑なものへと急速に移行しています。しかし、従来のローカル環境での手動テストでは、スケールするエッジケースへの対応や信頼性の担保に限界が生じていました。

そこで注目すべきは、オープンソースの評価フレームワーク「Harbor」と観測プラットフォーム「LangSmith」を連携させた本番用パイプラインです。この組み合わせにより、各タスクを完全隔離された環境で並列実行し、意思決定プロセスまで可視化できる信頼性の高い評価システムが実現します。

単純な文字列比較から「環境操作」へ：評価の複雑化と課題

かつて LLM の評価とは、出力されたテキストが期待値と一致するかを人間やスクリプトで確認するだけのシンプルな作業でした。しかし、現代のエージェントは単なる会話に留まりません。

エージェントはファイルの読み込み、スクリプトの実行、環境操作を行うようになり、各実行を独自のクリーンで隔離された環境で行う必要があります。

例えば、データアナリストとして振る舞うエージェントが sales.csv ファイルを読み込み、製品 A の販売数量や単価を更新するタスクを想定してください。ローカル環境では、エージェントが正しくファイルを書き換え、収益計算も適切に行われたかを確認できます。しかし、このアプローチには明確な欠陥があります。

1. スケーラビリティの限界: エッジケース（異常値や特殊なフォーマットなど）が増えるにつれ、すべてのケースを人間が手動で検証するのは現実的ではありません。
2. デバッグの非効率性: 失敗したタスクの原因を特定するために、一つひとつの個別トレースを手動で確認する作業は膨大な時間を要します。

この課題を解決するためには、各実行を完全に分離し、自動判定を行う仕組みが不可欠となります。

Harbor が実装する「サンドボックス化」と並列実行の威力

この問題を解決するのが、LangChain が開発したオープンソースフレームワーク「Harbor」です。Harbor の核となる機能は、サンドボックス化にあります。

Harbor は、各タスクを独立したマイクロ VM（仮想マシン）で並列実行します。これにより、あるタスクの失敗が他のタスクに影響を与えることなく、かつクリーンな状態で検証が可能になります。具体的な仕組みは以下の通りです。

• 完全な隔離: 各実行ごとに専用のマイクロ VM が割り当てられ、エージェントコードと特定のタスクのみがコピーされます。
• 事前定義された環境: Docker イメージを用いて、テストに必要なファイルや初期状態を事前にセットアップできます。
• 自動判定（検証者）: タスク終了後、決定論的な Bash スクリプトや PyTest によって結果が自動的に合格・不合格と判定されます。

例えば、「製品 A の販売単価を 50 に更新し、収益も再計算する」というタスクに対し、Harbor は以下のチェックを実行します。

1. 正しい行が更新されたか？
2. 販売単価が 50 に変更されているか？
3. 収益値が計算ルールに従って適切に変更されているか？

これにより、数百ものエッジケースを並列で処理しつつ、人間が介在することなく正確な合格判定を行うことが可能になります。

LangSmith との連携：思考プロセスの可視化とコスト管理

Harbor による高速・高精度な実行結果は、そのまま「LangSmith」へと送られます。ここでの価値は、単なるスコアリングにとどまらない点にあります。

エージェントの推論過程や、ファイルの読み込み、出力の作成など、すべてのツール呼び出しと判断を詳細に追跡できます。

LangSmith の観測プラットフォームでは、以下の情報が一元管理されます。

• トレース（Trace）の可視化: タスクが失敗した場合、エージェントがどこで迷走し、どのファイルを読み込み、どのような推論を行ってエラーに至ったのかを時系列で追跡できます。
• コストとパフォーマンス: トークン数や実行コストといったメトリクスも同時に記録され、評価の経済的効率性も把握可能です。
• 一貫したデータセット管理: 過去のすべての実行履歴が保存されるため、リグレッションテスト（回帰テスト）として機能し、アップデートによる品質低下を即座に検知できます。

実践：Harbor を用いた評価パイプラインの構築方法

では、実際にこのワークフローをどう実装するのでしょうか。基本的な手順は以下の通りです。

1. 環境の準備: pip install harbor で Harbor と LangSmith の連携機能をインストールします。また、OpenAI や LangChain 用の API キーをシェルにエクスポートしておきます。
2. データセットの設計: タスクごとにフォルダを作成し、以下の要素を含めます。

• instruction.md: エージェントに行わせるべき指示（Markdown 形式）。
• env/: Docker イメージや初期ファイルを含む環境フォルダ。
• test/: Bash スクリプトまたは PyTest で記述された自動判定ロジック。
• task.toml: CPU やメモリなどのリソース制限を定義。

1. 実行コマンド: harbor run コマンドを実行します。データセットのパス、エージェントコードのパス、そして LangSmith 連携フラグ（-e langsmith）を指定するだけで、並列実行と結果の自動アップロードが完了します。

実行後、LangSmith のダッシュボードに移動すれば、各タスクのスコアや詳細なトレースを確認できます。失敗したケースがあれば、そのトレースをクリックしてエージェントの思考プロセスを深掘りし、修正を加えることができます。

まとめ：信頼性の高い AI エージェント開発への道

Harbor と LangSmith の連携は、複雑化する生成 AI アプリケーションの開発において、標準的な品質保証ワークフローを提供するものです。これにより、大規模なエッジケーステストや本番環境へのデプロイ前の検証が自動化され、AI エージェントの実用化スピードが劇的に加速します。

開発者はもはや手動でのチェックに頼る必要はありません。隔離された環境で並列実行し、思考プロセスまで追跡可能なこの新しいアプローチを採用することで、より信頼性の高いエージェントを迅速に世に出すことが可能になります。