AI の請求額が制御不能に。Cloudflare が今すぐ解決します

今や、AI の支出について心配していない CIO は地球上に一人もいません。CFO たちも次第に不安を強めています。

取り残されることを恐れて、多くの企業が従業員に対して AI を可能な限り積極的に利用するよう迫っています。その指示は明確でした。「速く動け、請求書は後で考える」と。そして大部分において、この方針は機能しました：AI は積極的に関わったチームにとって真に変革的なものとなりました。

しかし、コストは現実のものです：トークン支出における巨額の請求書や痛みを伴う超過利用に関する数え切れないほどの恐怖譚を耳にしてきました。

本日、Cloudflare AI Gateway における支出管理機能を発表するとともに、Cloudflare Access と既存のアイデンティティプロバイダーを活用した、アイデンティティ駆動型の予算設定とルーティングのためのクローズドベータ版も開始します。

数百社に AI ストラテジーについて話を聞いてきた中で、私たちは共通するストーリーを目にしてきました：ある企業がすべてのエンジニアに対して共有 API キーを通じて最先端モデルへのアクセスを許可します。利用が急増し、月末になると財務部門が請求書を取り出し、誰も資金の行方説明できません。機械学習チームが新しいパイプラインをトレーニングしたのか？それともインターンが Claude Opus をメールのトリアージに使用していたのか？あるいは週末に 5000 万トークンを消費して暴走した継続的インテグレーションジョブだったのか？API キーには誰が利用したかが表示されないため、誰も知りません。

ガイドラインがない場合、スタッフは一般的に利用可能な最も大きなモデルを求めます。なぜそうしないでしょうか？予算もなく、可視性もなく、ルーティングロジックもないのであれば、すべてのタスクに対して最も強力なモデルを使用するのが合理的な選択です。問題は、ほとんどのタスクが最先端モデルを必要としないことです。コードレビューの要約には、複雑なアーキテクチャのリファクタリングと同じモデルは不要です。ログパーサー（log parser）にも、顧客向けコンテンツジェネレーターと同じモデルは不要です。最も強力かつ高価なものをデフォルトとするのではなく、タスクに適切なツールを選択できるようにすべきです。また、支出がどこに向かっているかを簡単に確認できる仕組みも必要です。

何に支出しているかの可視性がなければ AI への投資対効果（ROI）を計算できず、コントロールがなければその ROI を保護することもできません。ビジネスの他のすべての項目には予算とチームごとの配分があり、AI への支出も例外であってはなりません。

What AI Gateway is

AI Gateway は、アプリケーションと AI プロバイダーの間に位置します。OpenAI、Anthropic、Google、または他のプロバイダーに直接呼び出すのではなく、リクエストはまず AI Gateway を経由してルーティングされます。

これにより、すぐにいくつかの有用なツールが利用可能になります：

異なるプロバイダーやモデル間で簡単に切り替え可能な統一された請求書（billing）

すべてのプロバイダーにわたるログ記録 — すべてのリクエスト、トークン数、コストを一つの場所で管理

レスポンスキャッシュ（caching）

レート制限（rate limiting）

コンテンツガードレールと、個人識別情報（PII）や機密情報がモデルに到達する前にブロックする機能

しかし、AI Gateway には、誰がいくら使っているかを確認したり、AI 利用費に制限を設けたりするための簡単な方法がありませんでした。

アカウント全体の集計使用状況は確認できました。しかし、エンジニアリング部門のジェーンさんが今月 Claude に 2,000 ドルも使い果たした一方で、データサイエンスチーム全体ではわずか 400 ドルしか使っていなかったといった詳細までは見ることができませんでした。「エンジニアリング部門には Frontier モデルで月額 5,000 ドル、インターン生には Kimi K2.6 で月額 200 ドル」といった予算設定もできませんでした。

それが今日から変わります。

支出制限：AI 利用のための予算

AI Gateway は、支出制限をコア機能としてサポートするようになりました。これはトークンではなくドル単位で設定される予算という形をとった、真の費用管理機能です。すべてのリクエストにわたる累積支出を追跡し、従来のレート制限とは独立して動作します。

制限は、モデル、プロバイダー、またはユーザー、チーム、アプリケーションといった管理者が定義したカスタム属性など、任意の組み合わせの次元に対して適用できます。期間設定は、月初、月曜日の午前中、あるいは深夜にリセットされる固定ウィンドウと、継続的に累積するローリングウィンドウの両方に対応し、日次、週次、月次のいずれにも設定可能です。

image

AI Gateway は、モデルの価格に基づいてリクエストごとのコストを計算し、リアルタイムで設定された制限に対する累積支出を追跡します。分析ダッシュボード上でモデルごとの支出を簡単に追跡でき、モデル、プロバイダー、または任意のカスタム属性でフィルタリングすることも可能です。

予算制限に達した際、どのような対応をするか選択肢があります。AI Gateway はデフォルトでそれ以上のリクエストをブロックします。あるいは、Dynamic Routes を通じてルールを設定し、支出制限に達した後、リクエストをフォールバックモデルへルーティングすることも可能です。これにより、厳格な支出上限がエンジニアのワークフローを妨げることを防ぎます。また、制限に達した際にアラートを送信する機能も追加する作業を進めています。

支出制限は本日、すべてのプランにおける AI Gateway ユーザー向けにオープンベータとして利用可能です。ダッシュボードのゲートウェイ設定または API を経由して設定できます。

私たち自身でもこの仕組みを利用しています

Cloudflare 内ではすでにトークンコストを追跡しています。Cloudflare の全従業員が毎日 AI ツールを使用しており、AI Gateway を通じて月間数百万件のリクエストと数十億のトークンを処理しています。この規模で直面するすべての企業が抱える同じ問いに直面しました：誰が何をどの程度使用しているのか、そしてそれをどのように予算化すべきかです。

私たちは、AI Gateway によって各リクエストにアイデンティティ（ID）を追加できるようにすることで、この課題を解決しました。従業員が Cloudflare Access を介して認証を行うと、JSON Web Token (JWT) からそのアイデンティティを抽出し、AI Gateway のリクエストのメタデータとして付加します。これにより、ユーザーごとのトークン消費量、チームレベルでの使用状況の内訳、組織全体のコスト帰属が、一つの場所で可視化されます。

アイデンティティ駆動型の予算とポリシー（クローズドベータ）

支出制限に加えて、本日、アイデンティティ駆動型の予算とポリシーをクローズドベータとして発表します。

AI Gateway の支出制限機能を使えば、モデルやプロバイダー、カスタム属性ごとに予算を設定できます。ただし、アプリケーション側がそのメタデータを渡す必要があり、AI Gateway は受け取った内容をそのまま信頼します。検証された自動的な帰属管理を実現するには、アイデンティティが必要です。

Cloudflare Access と組み合わせることで、AI Gateway は各リクエストを発行した主体を特定できます。単なるアカウント名だけでなく、どの従業員か、どのアイデンティティプロバイダー（IdP）グループに所属するか、どのサービスかなどまで把握可能です。

実際の運用では以下のようになります。

ユーザーごとの予算設定も可能です。例えば、一般社員には月額 500 ドル、シニアエンジニアには月額 2,000 ドルといった具合です。ユーザーが予算上限に達した場合は、リクエストをより安価なモデルへ降格させるか、ブロックすることもできます。

チームごとのモデルポリシーも設定可能です。例えば、ML チームには Claude Opus と GPT-4o を利用させ、ブランドデザインチームには生成画像・動画モデルへのアクセス権限を与えます。インターンは Workers AI 上のオープンソースモデルを利用します。これらのポリシーは、すでに管理している既存の IdP グループ（アイデンティティプロバイダーグループ）に直接マッピングされます。

CI/CD パイプラインや自律型エージェントにおいて、Access サービストークンを使用すれば、各エージェントに名前付きのアイデンティティを付与できます。今週、コードレビューボットが 500 万個のトークンを消費した一方で、ドキュメント生成ツールは 50 万個しか使用していないことが確認できるでしょう。もしあるエージェントが制御不能な状態になりつつあるなら、他のエージェントに影響を与えることなく予算ポリシーを適用できます。

すべての AI Gateway ログエントリには、認証されたアイデンティティ（メールアドレス、IdP グループ、サービストークン名）が含まれます。これらを分析プラットフォームへエクスポートすれば、カスタム機能を構築することなく、ユーザー別・チーム別のコスト内訳を取得できます。

内部では、AI Gateway エンドポイントに対して Cloudflare Access アプリケーションを作成し、IdP グループに基づいてポリシーを構成します。開発者やエージェントがリクエストを実行すると、通常の CLI デバイスコードフロー（device-code flow）を通じて OAuth により認証が行われます。AI Gateway がトークンを検証し、アイデンティティを抽出します。独自の Worker を記述したり、JWT を自分で解析したり、信頼ベースのメタデータヘッダーに依存する必要はありません。

私たちは最近、社内 AI エンジニアリングスタックの構築方法について記事を書きました。今日公開するのはまさにその仕組みです。あなたもこれを利用でき、自ら構築する必要はありません。

クローズドベータへのアクセスをご希望の場合は、こちらからサインアップしてください。

次なるステップ：コスト管理からコスト最適化へ

予算を設定することは必要不可欠です。しかし、一度予算を設けたら、それをいかに最大限に活用するかという課題が残ります。

現実には、すべてのリクエストが最先端モデルを必要とするわけではありません。要約タスクは、品質に大きな低下を伴わずに、より小さく安価なモデルで実行できますが、大規模なコードのリファクタリングには最先端の技術が必要になることもあります。しかし、制御手段がない場合、人々はほぼ例外なく最も高度なモデルを選択してしまいます。

そのための解決策は次期リリースで提供されます：AI Gateway でインテリジェントかつタスクベースのルーティングを構築中です。各リクエストに対して分析を行い、最低コストで最高の結果をもたらすモデルへ自動的にルーティングします。現在も活発に開発中ですので、開発者向けドキュメントや変更履歴をご確認ください。

Get started

AI Gateway の利用は無料です。すべてのユーザーが今すぐ使用可能な支出制限機能があります。

まだ行っていない場合は、ゲートウェイを作成し、アプリケーションをそのゲートウェイへ指向させてください。その後、ダッシュボードまたは API を通じて支出制限を設定します。まずは監視モードで高い制限値を設定し、適用を開始する前に現在の利用パターンを理解することから始めましょう。

ユーザーごとの追跡やチームベースのポリシーが必要な場合は、ID ドライブ型予算クローズドベータ版にご登録ください。Access 統合の設定を支援いたします。

現在、AI コストをどのように管理されているか、ぜひお聞かせください。Cloudflare Community で議論に参加するか、より広範な AI セキュリティ戦略についてご相談いただくためにご連絡ください。