How LangChain Made Coding Agent Spend Predictable｜LangChain がコーディングエージェントの予測可能性を高める方法 | AIニュース最前線

ここ数年、予算において AI の利用は無視しやすいものでした。LangChain では、モデルの利用は限られたチームに主に限定されており、利用量は予測可能で、毎月の請求額も管理可能な範囲内でした。 しかし、過去 1 年間で、いくつかの出来事が重なったことで、この状況は変わりました： - AI の利用が数チームから全社規模へと拡大した - 最良のモデルのコストが増加した - エージェントが十分に強力になり、単一のタスクを完了するために容易に数十回のモデル呼び出しを実行できるようになった その結果、AI への支出は理解しにくくなり、リアルタイムでの制御も困難になりました。 この問題が最も顕著に現れたのがエンジニアリング部門です。コーディングエージェントを集中的に使用する開発者 1 人によって、誰も気づく前に週間で数千ドルの支出が発生することがありました。経営陣には、発生している支出を可視化し、チームやユーザーごとに制限を設定し、生産的な作業を妨げずに誤った使いすぎを防ぐ方法が必要でした。 ## LLM ゲートウェイの実装 コスト追跡を念頭に置き、LangSmith LLM Gateway を毎日使用する製品に直接実装しました。最初の目標は単純でした：コーディングエージェントによる偶発的な支出の暴走を防ぎ、エンジニアリング担当副社長と財務責任者の両者に安心感をもたらすことです。 LangSmith LLM Gateway では、予算を複数の次元で設定できます： - 組織全体 - ワークスペース - ユーザー - API キー すべての従業員が月次、週次、日次、時間単位で適用できるデフォルトの予算があり、より高い利用が必要なプロジェクトに取り組む人々に対して例外を設定する機能も備えています。 私たちは、中央集権的に実施可能な場所であればどこでも、Claude Code、Codex、または LangChain Deep Agents を通じたコーディングエージェントにゲートウェイ（LLM Gateway）を適用しました。社内のすべての対象となるコーディングエージェントの呼び出しは LLM ゲートウェイを経由し、エンジニアリングリーダーシップには会社全体の支出を分単位で把握できる鳥瞰図が提供されます。また、実装を容易にするため、MDM（Mobile Device Management）を通じて中央集権的にオーケストレーションを行い、各ユーザーが自らセットアップ処理を行う必要がないようにしました。 「ゲートウェイの利点は、中央集権的な制御により確実性が高まることです。ダッシュボードを開いて予期せぬ数千ドルの請求書が表示される心配がありません。制限と支出を、中央のシャットダウン/管理ポイントを通じて可視化できます。」— Alex Lunev, LangChain 技術担当バイスプレジデント ## LangSmith スタック全体へのコスト制御の統合 ゲートウェイは、コストデータを AI システムの他の部分と接続した際に最も有用です。 LangSmith LLM ゲートウェイは LangSmith の一部であるため、支出管理機能はすでに AI アプリケーションを管理するために使用しているシステムと連携しています。ゲートウェイの実行はトレーサビリティが可能で、ユーザーやキーに帰属付けられ、本番データとともに分析できます。 つまり、コストデータは月次請求書に限定されません。特定のエージェント、モデル呼び出し、トレース、および失敗モードに支出を接続できます。また、スタンドアロンのプロキシの周りでこれらのワークフローを再構築するのではなく、既存の LangSmith の OAuth、モデル管理、ユーザー管理の制御機能を活用できます。 これにより、Gateway データはより実用的なものになります。コーディングエージェントの消費量が予想を超えた場合、トレースを検査して何が起きたかを理解し、評価データや観測性データを活用して、基盤となるエージェントの動作を改善できます。 ## 社内展開から得た教訓と製品への影響 まず自社の Gateway で運用を開始したことで、紙面上の請求・ルーティングと実際の挙動との間にギャップがあることが浮き彫りになりました。今後の投資先を決める上で重要な 3 つの教訓があります： - モデルの価格設定は、単なる静的なテーブルよりも複雑です。参照用テーブルはすぐに陳腐化するため、正確な原価計算にはキャッシュの有無やトークン階層の微妙な違い、そして頻繁に変わるプロバイダーの価格変動をすべて反映させる必要があります。この課題により、私たちはモデル価格設定を定数ではなくシステムとして扱うようになり、信頼性の高いコストを維持するために計算ロジックの監査と、より厳格な更新パスの実装を進めています。 - すべてのクライアントがゲートウェイを介してきれいにルーティングされるわけではなく、サポートはアプリケーションやその管理方法によって異なります。私たちの展開において、Cursor は Chat 機能のみを対象としたユーザーごとの設定としてベース URL の置換のみを提供しており、これはプラットフォーム全体で MDM を通じて強制できるものではありませんでした。Claude Desktop は管理された構成としてゲートウェイを介して提供することは可能でしたが、これを有効にすると、標準的なチャットではなくローカルエージェントとして動作するアプリに切り替わってしまい（その機能は開発初期段階です）、ゲートウェイのサポート待ちをするのではなく、ゲートウェイがキャプチャするものと、残りのエンタープライズプロバイダー設定（つまり月次 Claude プランなど）がキャプチャするものの差分を測定するというアプローチを採用しました。これにより、トラフィックが直接ゲートウェイを通過できない場合でも支出の把握が可能になります。 - 厳格な制限には、それを取り巻くワークフローが必要です。対策のない上限は単に作業をブロックするだけです。エンジニアたちは、制限に達するずっと前に早期警告を受け取り、迅速かつ監査可能な方法でその上限を引き上げることを望んでいました。このフィードバックにより、制限は静的なガードレールからワークフローへと進化しました。しきい値の手前での段階的なアラート機能の追加と、紙（またはデジタル記録）による予算増額リクエストフローの検討を進めており、支出管理がビジネスを保護しつつ、業務の妨げにならないようにしています。 Dogfooding（社内製品活用）により、抽象的なエッジケースが具体的な製品の優先事項へと変化しました。具体的には、価格の正確性、ゲートウェイを介してルーティングできないクライアントへの優雅な対応、および支出制限の管理です。 ## 結果 LangSmith LLM Gateway を社内で導入して以来、LLM の利用コストは予算内に収まっています。 より大きな変化は、支出が月末になって初めて把握できるものではなくなった点です。エンジニアリングのリーダーたちは、使用状況をリアルタイムで確認でき、適切なレベルで制限を設定し、予期せぬ請求書が発生することなくチームにコーディングエージェントを利用する柔軟性を与えることができます。 LangSmith LLM Gateway は現在、クローズドベータ版として提供されています。アクセスを希望される方は [こちら](https://www.langchain.com/blog/introducing-llm-gateway) からサインアップしてください。

LangChain がコーディングエージェントの予測可能性を高める方法

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト