ClayがLangSmithを使用して月間3億エージェント実行をデバッグ・評価・監視する方法

**タイトル: ClayがLangSmithを使用して月間3億回のエージェント実行をデバッグ、評価、監視する方法** ![image](https://blog.langchain.com/content/images/2026/03/Clay.png)Clayは成長のためのクリエイティブツールであり、マーケティング担当チームが企業や人物のリストを構築、充実化、活性化するプラットフォームです。営業チームはClayを使用してターゲットアカウントを発掘し、AIを活用したリサーチでリードを選別し、パーソナライズされたアウトリーチを起草し、CRMを通じて商機をルーティングします。Clayの顧客は急成長中のスタートアップから大企業チームまで多岐にわたり、すべての顧客が大規模なアウトバウンド活動を支えるプラットフォームに依存しています。 現在、Clayは月間約3億回のAIエージェント実行を行っています。それぞれが複数ステップの推論プロセスであり、ウェブページのスクレイピング、リサーチの統合、ICP（理想顧客像）に対するアカウントの選別、パーソナライズされたメッセージングの起草などを行う可能性があります。品質を維持し、コストを管理し、モデルリリースの猛烈なペースに対応するために、Clayはオブザーバビリティと評価の基盤としてLangSmithに依存しています。 （完全な対話を聞くには、以下のビデオをご覧ください。） **チャット補完から3億回のエージェント実行へ** ClayのAIへの旅は単純に始まりました：チームは長文書の要約やアウトバウンドコピーの作成にチャット補完を使用していました。しかし、Clayのエンジニアはすぐにより興味深い現象に気づきました。ユーザーがウェブページをダウンロードし、コンテンツをスクレイピングし、AIにそれらのページから自律的に洞察を抽出するよう求めていたのです。このユーザー行動がClaytent（ClayのAIウェブリサーチエージェント）の設計図となり、GPT-4時代が始まってわずか数週間後の2023年半ばにローンチされました。 現在、AIは顧客獲得ライフサイクルのあらゆる段階に織り込まれています。Clayはその中核的価値提案の3つのフェーズすべてにわたってエージェントを構築しています： * **発見 (Find)**: Clayの企業・人物データベースまたはオープンウェブからターゲットアカウントを発掘するエージェント型検索。推論を使用してICP適合性を評価します。 * **獲得 (Close)**: 関連するコンテキストでアカウントを充実化し、構造化された推論で選別し、パーソナライズされたアウトリーチシーケンスを起草するリサーチエージェント。 * **成長 (Grow)**: アップセルの兆候を特定し、ターゲットに合わせたメッセージングを生成することで、顧客が既存アカウントを拡大するのを支援するエージェント。 各エージェント実行には10〜30のステップが含まれ、ウェブ検索、ページクロール、文書統合、構造化データ抽出を組み合わせています。自然言語入力（ユーザーは空白のテキストボックスに入力し、ほとんど何でも要求できます）により、タスクの範囲は事実上無限です。月間3億回の実行では、わずかな品質やコストの非効率性でも急速に増幅します。 **課題：大規模での品質、コスト、モデルの急増** Clayのエージェント使用が拡大するにつれ、専用ツールで解決する必要がある3つの明確な問題が浮上しました。 **オフラインのベンチマークから品質を予測するのは困難** Clayのユースケースの多様性により、本番環境での品質は根本的に予測不可能です。顧客は同じエージェントを使用して、ある日はドイツのバイオテクノロジー企業を選別し、翌日にはベンチャー支援を受けた東南アジアのコンシューマースタートアップをリサーチするかもしれません。入力が自由形式の自然言語であるため、予期しないエージェント動作の発生範囲は膨大です。品質のリグレッションを検出するには、合成テストセットではなく実際のトラフィックを観測する必要があります。 **コストのレコンシリエーションは移動する標的** Clayの規模では、推論コストは重要な事業経費です。Clayはユーザーに好みのモデルプロバイダー（Anthropic、OpenAIなど）を選択する機能を提供し、プロンプトを各タスクタイプに最適なモデルに自動的にマッピングするメタプロンプターを実行します。複数のプロバイダー、動的なモデルルーティング、月間数億回の実行があるため、統一されたオブザーバビリティレイヤーなしでは、どこにお金が使われているのか、ユーザー向けの内部価格設定が正確かどうかを正確に理解することはほぼ不可能でした。 **内部ツールが追いつけない速さで新しいモデルが登場** モデルリリースのペース（ClayのAI責任者であるJeff Barg氏が言うところの「毎週新しいモデル」）は、Clayが常に新しいモデルがルーティングマップに値するかどうかを評価する必要があることを意味します。構造化された評価インフラストラクチャがなければ、各モデル評価は手動で、遅く、再現が困難でした。 **オブザーバビリティレイヤーとしてのLangSmith：開発開始日から本番環境まで** Clayはエージェント開発プロセスの初期段階でLangSmithを統合しました。すべての新しいエージェントに対して、トレーシングは開発開始日 (day zero) から有効になっています。統合自体はOpenAIのSDK上に構築された1行のコードで実現されました。Clayがカスタムエージェントハーネスを実行しているにもかかわらず、統合はシームレスでした。 **ゼロから立ち上げ：完全なトレース可視性でエージェントを構築** 新しいエージェントを構築する際、LangSmithのトレースビューは最初の実行から反復ループの一部です。エンジニアはトレースをリアルタイムでストリーミングし、完全な実行ツリーをステップ実行します。エージェントが何を見たか、どのツールを呼び出したか、モデルが何を返したか、どこで問題が発生したかを正確に確認できます。これは重要です。エンドユーザーが見るのは最終出力だけで、完全なエージェントトレースではないからです。 LangSmithがネストされたサブエージェント呼び出しとツール呼び出しを構造化された読みやすい方法で表現できる能力は、Clayがそれを使用することを決めた重要な要因でした。UIは十分に高速であり、ClayのAI組織にわたる25〜50人のエンジニア（顧客から報告された問題をデバッグするために使用するカスタマーサポートチームメンバーも含む）がトレーニングなしで効率的にトレースをナビゲートできます。 Jeff氏が言うように：「LangSmithは、実際にエージェントフレームワークを構築した人々によって構築されたプラットフォームのように感じます。それは、ネストされたサブエージェントとツール呼び出しパスをどのように扱うかで本当に輝いています。」 **本番環境監視：数百万回の実行にわたるパターンの理解** 本番環境では、LangSmithはClayに、使用パターン、コストプロファイル、エラーレート、レイテンシ分布、出力品質にわたる集約的な可視性を提供します。これらはすべて顧客ワークスペースとモデルプロバイダーごとにスライスされます。顧客が問題を報告した場合、エンジニアはすぐに関連するトレースを引き上げ、障害がツール呼び出しエラー、推論問題、プロンプト品質の問題のいずれであったかを特定できます。 Snowflakeへのエクスポート機能も役立っています。これにより、データチームが時間をかけてトレースデータに対してカスタム分析を実行できるようになります。これにより、データチームはコストトレンドを追跡し、異常なワークスペースを特定し、更新された価格設定を決定する前に新しいモデル導入の経済性をモデル化できます。 **評価：実際のトラフィックを反映するベンチマーク** Clayは、モデル変更やプロンプト更新を評価する際のオフライン評価にLangSmithを使用しています。彼らの評価フレームワークは2つのアプローチを組み合わせています： 1. 構造化出力のための決定論的マッチ評価。エージェントの回答が既知のグラウンドトゥルースと比較されます。 2. リサーチおよび統合タスクのためのLLM-as-a-judge評価。エージェントが分析の段落を生成し、正確性と関連性についてスコアリングする必要があります。 新しいモデルがリリースされると、Clayはこれらの評価を使用してメタプロンプターのルーティングマップを更新します。モデルが優れているユースケースを特定し、それに応じて価格設定します。LangSmithのデータセット管理により、これらのベンチマークを迅速に実行し、モデルバージョン間のパフォーマンス差を追跡することが可能になります。 **大規模でほぼ完璧なコストレコンシリエーションを実現** LangSmithの影響を定量化するように求められたとき、Jeff氏は次のように述べました： 「LangSmith以前は、異なる推論プロバイダー間でどこにお金を使っているのか本当によくわかりませんでした。LangSmithにより、現在、LangSmithデータと実際に受け取る請求書の間で約99〜99.5％のレコンシリエーション率を達成しています。そのおかげで財務チームは私たちを気に入っています。」 — Jeff Barg、Clay AI責任者 複数のモデルプロバイダーにわたる月間3億回のエージェント実行において、このレコンシリエーション率は財務的不確実性の大幅な削減を表しています。Clayは現在、エンドユーザー向けのエージェント実行価格を自信を持って設定し、請求書データが到着するのを数週間待つ代わりに、迅速に価格を調整しています（多くの場合、モデルローンチ当日に）。これはまた、Clayがモデルコスト削減をより速く直接顧客に還元できることを意味し、AI推論コストが急速に低下している市場において意味のある競争優位性となっています。 コストレコンシリエーションを超えて、LangSmithはエージェント開発の初日からトレーシングを利用可能にすることで、Clayのエンジニアリングチームのデバッグサイクルを圧縮するのに役立っています。カスタマーサポートチームメンバーも、エンジニアリングにエスカレーションすることなく、LangSmith内で直接エージェント品質に関する苦情を解決できるため、解決時間とエンジニアリング中断コストの両方を削減しています。 Clayはまた、LangSmithのプラットフォーム信頼性（特に大規模でのトレース取り込みの速度と一貫性）を、開発者の生産性を維持するための重要な要素として評価しています。月間数億回の実行では、取り込み量に対応できないオブザーバビリティツールは、可視性が最も重要なまさにその時に死角を作り出してしまいます。 **今後の展望：より長い時間軸を持つエージェント** Clayのエージェントがより複雑になるにつれ（実行時間が長くなり、より多くのステップにまたがり、より多くのサブエージェントを調整する）、彼らは拡張された時間軸にわたるマルチターン相互作用を追跡するために、LangSmithのスレッド機能にますます依存しています。また、Rampなどの企業での同様の取り組みに触発され、ソフトウェア開発ライフサイクルの一部としてバックグラウンドコーディングエージェントの実験も行っています。 **結論** ClayはB2B SaaS世界で最も運用に優れたAIエージェントシステムの1つを構築し、モデルに依存しないマルチプロバイダースタックで月間3億回のエージェント実行を行っています。LangSmithはその規模を管理可能にするオブザーバビリティ基盤を提供しています：新しいエージェント開発のための開発開始日トレーシング、使用とコストパターンにわたる本番環境監視、モデル評価のための構造化評価インフラストラクチャ、価格決定に直接影響を与えるほぼ完璧なコストレコンシリエーションです。

ClayがLangSmithを使用して月間3億エージェント実行をデバッグ・評価・監視する方法

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト