LangSmith LLM Gateway、モデルロックイン回避を支援

主なポイント

• プロバイダーへのロックインを回避 — クローズドモデルとオープンウェイトモデルの両方を扱うゲートウェイとして、統制機能を一元化し、モデルプロバイダーの変更も柔軟に行えます。
• ランタイムでのコストと信頼性の制御 — 支出上限やレート制限を設定し、利用状況を追跡。あらゆるモデル、プロバイダー、ホスト間でモデルのフォールバック設定を可能にします。
• 機密データの保護（リダクション） — PII やシークレットなどの機密データをモデル呼び出しから除去し、外部のプロバイダーへ送信されるのを防ぎます。

LangSmith LLM Gateway は、現在パブリックベータ版として利用可能です。

本番環境で稼働するエージェントは、コスト超過やサービス停止といった望ましくない結果を避けるため、モデル呼び出しに対するランタイム制御が必要です。支出上限の設定、レート制限、モデルのフォールバック、機密データの保護はいずれも重要な制御項目ですが、適切なツールがなければ、エンジニアは各エージェント内で特定のモデルプロバイダー向けにこれらの制御を手動で実装しなければなりません。

そこで登場したのが LangSmith LLM Gateway です。これは、エージェントとそれらが呼び出すモデルの間に位置する中央集権的なガバナンス層であり、本番環境でのエージェント開発チームが求める制御機能に特化して設計されています。LLM Gateway を使えば、チームはエージェント、モデル、プロバイダー全体でランタイム制御を一元的に適用でき、ベンダーロックインを避けつつ、モデル利用の統制を一定水準で維持することが可能になります。

今日からパブリックベータ版を試す

エージェントに中央集権的なガバナンス層が必要な理由

本番環境では、モデルレイヤーがすぐに高価なミスや顧客対応の停止の原因となり得ます。実際には以下のような事態が発生します。

あるモデルプロバイダーで障害が発生し、その結果、カスタマーサポートエージェントがエラーを返すようになります。これにより顧客は不満を抱き、収益も失われます。あるいは、コーディング用エージェントが夜間にリトライループに陥り、朝には 10,000 回の LLM 呼び出しを実行してしまい、請求書が四桁の金額になっているというケースもあります。

こうした事態において、事後に何が起きたかを理解するだけでは不十分です。違反が発生する前にポリシーを適用する必要があります。しかし、制御ロジックを各エージェントのコード内に埋め込むと、新しいエージェントやモデルプロバイダーが増えるたびに、維持すべき実装パスが一つずつ増えてしまいます。

モデルガートウェイを使えば、チームはポリシーを一度定義するだけで済み、すべてのモデルとエージェントで一貫してそれを適用できます。

LLM ガートウェイによる制御機能

LLM ガートウェイは、エージェントを本番環境に導入する際にまず必要となる制御機能を提供します。具体的には、コスト管理、レート制限、モデルのフォールバック、機密データの処理などです。

コスト超過の防止: LLM ガートウェイを使えば、問題が発生する前に内部ユーザーと外部ユーザー双方の LLM 利用料金を監視・制御できます。時間制限付きのカップを設定し、以下の 4 つのレベルで利用状況を追跡することが可能です：

組織レベル：企業全体の制御を可能にします。

ワークスペースレベル：チームごとの予算枠を維持するために使用します。

API キーレベル：特定プロジェクトの支出を管理するのに役立ちます。

ユーザーレベル：個人ごとの支出制限を設定できます。

上限に達すると、エージェントは明確なエラーメッセージを含む 402 レスポンスを受け取ります。

暴走するトラフィックを制限： 組織、ワークスペース、ユーザー、API キーの各レベルでレート制限を適用し、誤った滥用や急激なトラフィック増加がプロバイダーの上限を超えてしまうのを防ぎます。これにより、他のエージェントやチームの信頼性が低下するリスクを回避できます。

顧客ごとの支出・レート制限ポリシー： マルチテナント環境やリセラー向けに、LLM Gateway は個別の API キーを作成しなくても 顧客レベルでの制御 を提供します。カスタムリクエストヘッダーを使用して各エンドユーザーまたはチームを識別し、すべての LLM 呼び出しを単一の API キー経由でルーティングしながら、それぞれに独立した支出上限とレート制限を適用できます。これにより、顧客ごとの制限更新や支出確認を一元的に行うことが可能になり、独自ロジックの構築と維持の手間を省けます。

エージェントの信頼性向上： モデルやホスト間でフォールバックルールを定義し、すべてのアプリケーションでこれを強制します。プロバイダーがダウンしている場合、レート制限に引っかかった場合、または利用できない場合に、各アプリケーションごとにカスタムフォールバックロジックを実装する必要なく、エージェントは別のモデルへ自動的にルーティングできます。

機密データの露出を減らす: リクエストがモデルプロバイダーに到達する前に、PII（個人識別情報）やシークレットを検出し、隠去・置換できます。LLM Gateway は LangSmith に記録されるトレースからも機密データを自動で隠去します。なお、この機能は現在 Enterprise プランのユーザーのみ利用可能です。

LangSmith での LLM Gateway イベント追跡: Gateway のイベントは LangSmith トレースにメタデータとしてログ出力 されるため、本番環境での制御がどのように機能しているかを監視できます。支出制限やレート制限、その他の制御によってリクエストがブロックされた場合でも、該当するトレースを開いて文脈を確認し、何らかの変更が必要かどうかを判断できます。

モデル選択の維持

LLM Gateway は、エージェントとモデルプロバイダー間の呼び出しをルーティングするための単一インターフェースを提供します。OpenAI、Anthropic、Fireworks といった主要なプロバイダー をサポートするほか、OpenAI や Anthropic と互換性のあるエンドポイントを持つカスタムモデル にも対応しています。

LangSmith のゲートウェイは、BYOK（Bring Your Own Key）を基本方針としています。各 LLM 呼び出しに追加の計測コードを導入することなく、独自のプロバイダーキーを持ち込んで、ルーティングやガバナンス、ポリシー制御を実現できます。

より簡単な調達プロセスや、エージェント開発を迅速に開始したいチーム向けには、Fireworks が提供するオープンモデル用のホスト型推論もサポートしています。これは LangSmith を介して直接利用でき、Gateway クレジットの購入で利用可能です。Fireworks はオープンモデルに対して高速かつ効率的な推論を提供し、LangSmith LLM Gateway を通じて生産環境への導入を支援します。

私たちは、オープンウェイトモデルが重要だと考えています。なぜなら、これによりチームは AI システムに対するコントロールを強化できるからです。コスト、品質、レイテンシ、プライバシー、デプロイ要件などに応じて最適化し、自社のビジネス固有の事情に合わせてモデルを調整する柔軟性が得られます。ゲートウェイは、こうしたオープンモデルを生産環境でより容易に採用するための手段の一つです。

オープンウェイトモデルの重要性について詳しくはこちら

「オープンモデルはすでに、チームが生産環境の AI において必要とするパフォーマンスを提供しています。次のステップは、コスト・レイテンシ・ガバナンスに対する制御をチームが持てるよう、エージェントワークフローでの採用を容易にすることです。Fireworks は大規模な展開においても、オープンモデル推論を高速かつ効率的で信頼性の高いものとして提供します。私たちは、そのパフォーマンスを生産環境へ導入するのをチームが支援できるよう、LangChain と LangSmith LLM Gateway で提携することを嬉しく思います。」

Lin Qiao, CEO, Fireworks

生産環境における LLM Gateway の活用事例

各チームはすでに、LLM Gateway を活用して、本番環境のエージェントに厳格な制限と共有制御を適用しています。よく見られるパターンとしては、支出上限が必要となるパブリック向けエージェントや、中央集権的な請求・利用状況の追跡、顧客ごとの利用制限が必要なマルチテナント型エージェントがあります。

「LLM Gateway は、Deep Agents における請求とコスト管理を一元化し、各顧客の利用状況と制限を把握できる可視性を提供しました。統合は非常にスムーズで、エージェントをスケールさせるために必要な観測機能を備えています。」

Sean Rich, Cofounder and CTO, Blueberry AI

「すべての本番環境のエージェントには、厳格な支出上限が必要です。特にパブリック向けエージェントではそのリスクが顕著です。LLM Gateway は、コストが設定した上限を超えないようにすることで、このリスクを完全に排除します。これにより、顧客と話し合い、支出やその他のポリシーについて合意し、数回のクリックで設定を完了できるようになりました。」

Hylke Sybesma, AI Engineer, Friday Digital Agency

LLM ゲートウェイの始め方

LLM ゲートウェイは、API を直接呼び出すか、Claude Code や Codex、Deep Agents Code（dcode）といったコーディングハーンネスと連携して利用できます。

使い始めるには、エージェントを LangSmith ゲートウェイのエンドポイントに指向し、LangSmith API キーで認証します。その後、ワークスペースのシークレットにプロバイダーの API キーを追加してください。さらに、フォールバック、レート制限、支出制限、機密データの扱いに関する制御を設定します。base_url を更新するだけで、コードの残りはそのまま利用可能です。

LLM ゲートウェイの今後の展望

LLM ゲートウェイは、チームが最も必要とする制御機能からスタートしました。今後はその基盤をさらに拡張し、本番環境でのモデル呼び出しを管理する方法を増やしていきます。

• より広範なガードレール — エージェントが外部モデルを呼び出したり、本番システムと連携したりする際に生じるリスクへの対応範囲を広げます。
• CI/CD 制御 — プロンプトやコンテキストのデプロイ、A/B テストの実行、ブルーグリーンおよびシャドウデプロイの管理、そして Infrastructure-as-Code を用いた制御定義を可能にするツールを提供します。

今日から試してみましょう

LLM ゲートウェイは現在、Plus および Enterprise プラン向けにパブリックベータ版として利用可能です。

LangSmith にログインするか、新規登録 してサイドバーから「LLM Gateway」を選択すればすぐに始められます。詳細なセットアップ手順については、ドキュメント をご確認ください。

エンタープライズプランのユーザーは、こちらからデータ保護機能へのアクセスをリクエストできます。

エージェントが実際に何をしているかを確認する

LangSmith は、エージェントエンジニアリングプラットフォームとして、開発者がすべてのエージェントの判断をデバッグしたり、変更の評価を行ったり、ワンクリックでデプロイしたりすることを支援します。