Clay の創設者 Jeff Barg と LangChain CEO Harrison が、同社が月間 3 億回もの AI エージェント実行をどのように管理しているかを議論します。彼らは LangSmith を活用して、エージェントの品質評価（LLM-as-a-judge や決定論的マッチング）、コスト最適化、および大規模なトラブルシューティングを実現しています。特に、開発初期からトレーシングを「Day Zero」で導入し、モデル非対応のアプローチやメタプロンプターによる自動マッピングなど、スケーラブルなアーキテクチャの重要性が強調されます。
AI エージェントを本番運用する開発者にとって、スケーラビリティと信頼性を確保するための具体的なアーキテクチャとツールの使い方が学べる必見のケーススタディです。
- 01
大規模エージェント運用
月間 3 億回の実行を処理し、平均 30 ステップの複雑なワークフローを管理するインフラ戦略。
- 02
品質評価とコスト最適化
LLM-as-a-judge と決定論的マッチングを組み合わせた多角的な評価手法で、コストとスループットを両立。
- 03
LangSmith の早期導入
開発の最初の日（Day Zero）からトレーシングを標準化し、スケーラブルなデバッグと分析基盤を構築。
- 04
モデル非対応と自動マッピング
OpenAI や Anthropic など複数のプロバイダに対応するため、メタプロンプターで最適なモデルを自動選定する仕組み。
この動画は、大規模な AI エージェント運用における「観測可能性（Observability）」の重要性を具体的に示しており、単なるプロトタイプ開発から本番環境での信頼性確保への移行に必要なプラクティスを提示します。特に、LangSmith のような専用ツールを活用することで、コスト管理や品質保証を自動化できる点は、エンタープライズ AI 導入における重要な成功要因となります。