Telco AI ファクトリー上でトークン課金型 AI サービスを構築する

世界中の通信事業者が、NVIDIA Cloud Partner (NCP) 参照アーキテクチャに基づいた 主権 AI ファクトリー を構築しており、政府、企業、スタートアップが、適切な制御、信頼性、パフォーマンスを備えた国内の AI インフラストラクチャにアクセスできるようになっています。しかし、インフラストラクチャだけでは、高マージンで本番環境対応可能なエンタープライズ AI サービスを実現することはできません。

モデルサイズと推論ワークロードは継続して拡大し、1 リクエストあたりのトークン数が増加する一方で、新しい世代のアクセラレーテッドコンピューティングが 1 トークンあたりのコストを低下させています。これらの傾向により、AI の経済性 をスタック上でより上位へ押し上げる価値が高まっています。つまり、GPU 時間の販売から、トークン消費量で計測・請求される AI サービスの提供へとシフトするのです。

同時に、企業はクラスターやランタイム、モデル重みの管理を望んでいません。彼らが求めているのは、予測可能なパフォーマンスを持つ本番環境対応アプリケーションとモデル API です。これらはトークン消費量に基づいてメーターされ、1 秒あたりのトークン数、最初のトークンまでの時間 (TTFT)、エンドツーエンドのクエリ遅延といった AI ネイティブな指標に紐付けられたサービスレベル契約 (SLA) で支えられています。

本稿では、GPU 時間単位のインフラからトークン課金型 AI サービスへの移行経路を追跡し、企業が基盤インフラを自ら運用することなく容易に導入できる、透明性の高いトークンベースの経済モデルを持つ「トークン工場」としての進化に必要な技術的構成要素を telco（通信事業者）向けに概説します。

Telco AI クラウドスタックの構築

AI はエネルギー、チップ、インフラ、モデル、アプリケーションという5 層のケーキと捉えることができます。Telco 主権 AI ファクトリーはエネルギー層とチップ層の上に位置し、インフラ層を担う基盤として、NVIDIA によるアクセラレーションされたコンピューティング、ネットワーク、ストレージを提供し、モデルやアプリケーションを安全にホストします。

Telco AI ファクトリーは、NVIDIA 認定のインフラと、プラットフォームの経済的・規制上の姿勢を定義するソフトウェアパートナーからの選択から始まります。この基盤層は、サービスとしてのコンピューティング（Compute-as-a-Service）のコストを設定し、データの保存場所を強制し、共有環境内でどのテナントがどのようなワークロードを実行できるかを制御します。

実際には、これは生きた GPU 容量を安全なマルチテナント型コンピューティングに変換し、サービスとして公開するものであり、そのコスト構造とフットプリントは、通信事業者がスタックの上位へ移行する際のトークンあたりのコストの基準値を設定します。具体的には、「コンピューティング・アズ・ア・サービス」から「トークン・アズ・ア・サービス」へと移行し、そこで長期的な経済的 upside の大部分が存在します。

Compute‑as‑a‑Service: Infrastructure and platforms

Compute‑as‑a‑Service (CaaS) は、通信事業者が 5 レイヤーのケーキにおけるエネルギー、チップ、インフラストラクチャ層を収益化する手法であり、NVIDIA 認定システム、CPU、GPU、NVLink、高速 InfiniBand または Ethernet、ストレージを GPU/Infrastructure‑as‑a‑Service (IaaS) として公開し、顧客が従来のクラウドインスタンスと同様に時間単位でレンタルできるようにします。

その上層には、Kubernetes ベースのプラットフォーム層があり、この生きた容量をマルチテナントクラスタ、ネームスペース、GPU スケジューリングを備えた管理環境に変換します。これにより、開発者はコンテナや推論ランタイムを展開できますが、主に GPU 時間、ノード時間、ストレージに基づいて課金されます。

この階層は柔軟性、制御権、主権にとって不可欠ですが、事業を GPU 時間あたりのモデルに固定したままにします。真の経済的転換点は、通信事業者がこれの上にトークン計測型モデルとアプリケーションを追加し、インフラストラクチャの時間だけでなく AI の出力そのものを販売し始める時に起こります。

Token-as‑a‑Service: Creating and consuming token-metered services

Token-as-a-Service (TaaS) は、通信事業者を 5 レイヤーのケーキモデルにおけるモデル層およびアプリケーション層へと引き上げます。この層では価値は GPU 時間ではなく、トークン数、API 呼び出し回数、ワークフローによって測定されます。ここでは AI ファクトリからの GPU 容量が、同じ単位（トークン、API 呼び出し、ワークフロー）で計測・請求・管理される製品としてパッケージ化され、収益は GPU をレンタルできる時間の長さではなく、特定の価格と SLA (Service Level Agreement: サービスレベル合意) の下でスタックが提供しうるトークンの数によって制限されます。

通信事業者は通常、NVIDIA Nemotron や NVIDIA NIM などのオープンソースモデルや、ブループリントを活用した、焦点を絞ったトークン計測型サービスのポートフォリオから始めます。具体的には以下の通りです:

• 垂直分野向け AI アプリケーション（例: 現地の言語と規制に合わせたカスタマーケアのコパイロットや知識アシスタント）

• テキスト、ビジョン、音声、エージェント向けのモデルおよびツール API

• 微調整済みおよびドメイン固有モデル用の Inference-as-a-Service エンドポイント

顧客はこれらのサービスを API を通じて統合し、インフラの非明示的な指標ではなく、自社のビジネスが AI をどのように消費するか（トークン数、リクエスト数、またはワークフロー）に即した単位で支払います。これに伴い SLA も変化します。特定のサーバーの稼働率ではなく、企業はモデル層またはアプリケーションレベルでのレイテンシ、信頼性、および応答品質を重視するようになります。

この層におけるサービス作成と利用を簡素化するため、多くの通信事業者が NVIDIA 認定ソフトウェアパートナーと連携し、AI デベロッパースタジオや AI マーケットプレイスの開発を行っています。

AI デベロッパー・スタジオは、これらのトークン課金型サービスが設計され、適応され、運用される場所です。データサイエンティストや開発者は NVIDIA NeMo を用いてファウンデーションモデルを微調整し、安全な NIM ベースのエンドポイントとしてデプロイし、検索パイプラインやエージェントワークフローに接続します。AI スタジオ内では、厳選されたカタログからモデルを選択し、自社の企業データで微調整して精度と関連性を高め、再利用可能な AI アセット（モデル、エージェント、ブループリント）として公開できます。これにより、開発者は基盤インフラに触れることなく、これらのアセットを再利用することが可能になります。

AI マーケットプレイスは、それらのアセットを製品に変換する店舗となります。ビジネスオーナーやアプリケーションオーナーは、コパイロット、検索拡張生成（RAG）アプリケーション、モデル SKU、独立系ソフトウェアベンダー（ISV）ソリューションのカタログを検索し、数回のクリックで購読してデプロイします。

裏側では、プラットフォームが推論エンドポイントをプロビジョニングし、入力・出力トークン数、API 呼び出し数、またはワークフロー実行数をメータリングすることで、クォータ、レート制限、SLA を自動的に強制執行します。

これにより、AI デベロッパー・スタジオと AI マーケットプレイスによって実現された TaaS（サービスとしてのトークン課金）は、Telco AI ファクトリーを単なる GPU のプールから、企業がすぐに導入できる主権を持つトークン課金型 AI 製品のポートフォリオへと変革します。

トークンレベルのメータリングと請求

これらの機能を製品化するためには、テレコム事業者は、トークンを第一級信号として扱い、パフォーマンス、ガバナンス、インフラ効率と接続するメータリングおよび課金レイヤーを必要としています。

KPI グループ****例

トークン使用量テナント別、モデル別、エンドポイント別のトークン数；入力対出力；時間別・日別・月別合計

パフォーマンスQPS、リクエスト数、p50–p99 レイテンシ、秒間あたりのトークン数でのスループット

信頼性トークン量に紐づくエラーレート

ガバナンステナントごとのクォータ、レート制限、アクセス/監査、ポリシー信号

経済性GPU 時間あたりのトークン数、GPU タイプ別のトークン数、ドルあたりのトークン数**

*表 1. テレコム事業者が NVIDIA プラットフォーム上でトークンメーター型 AI サービスの価格設定、ガバナンス、最適化のために追跡するトークンレベルの使用量、パフォーマンス、信頼性、ガバナンス、経済 KPI*

これらの指標を組み合わせることで、テレコム事業者は百万トークンあたりの価格でプランを提供し、テナント間での使用を強制し、リアルタイムのトークン単価データに基づいて適切な NVIDIA プラットフォーム SKU とサービス価格帯を選択できるようになります。

時が経つにつれて、このトークンレベルでの可視性は、AI ファクトリーを実質的なトークンファクトリーへと変えます。ここでスタック内のあらゆる改善は、トークンあたりのコスト低下と、より高く予測可能な粗利益という形で測定されます。

トークンファクトリーとしての AI インフラの収益化

GPU 時間課金モデルでは、収益は GPU をレンタルできる時間の数と単価によって上限が決まります。利用率や価格設定を調整することはできますが、価値の単位は依然として「GPU 時間あたりのドル」であり、ハードウェアやソフトウェアの改善は主に時給の引き下げ圧力として現れ、利益率の向上としては表れません。

トークン・アズ・ア・サービス（TaaS）モデルでは、同じ GPU が、最適化されたスタックを通じて生成できる高品質なトークンの数によって収益化されます。これは、100 万トークンあたりの価格と SLA（サービスレベル合意書：Service Level Agreement）を基準に算出されます。

このように見ると、AI ファクトリはトークンファクトリへと変貌します。スタックへのあらゆる改善——より良いバッチ処理、賢いルーティングとスケジューリング、より効率的なモデル、高速なネットワーク、I/O ボトルネックを解消するストレージ——は、1 秒あたりのトークン数を増加させるか、トークンあたりのコストを削減するかのいずれかに寄与します。

収益はトークンのスループットとトークン単価に比例して拡大し、利益率は時給の引き上げだけでなく、NVIDIA の各プラットフォーム世代ごとの進化やソフトウェア最適化によって向上していきます。

実例：GPU 時間課金 vs. TaaS

以下の図 3 の例では、GPU 時間課金から TaaS へ移行した際に経済性がどのように変化するかを示すために、簡略化した前提条件を用いています。これらの数値は参考例であり、推奨価格を規定するものではありません。

GPU 時間課金モデル: H100 クラスのインスタンスが 1 時間あたり約 3 ドルでレンタルされると仮定します。年間を通じて平均稼働率が 70% の場合、1 GPU あたりの年間収益は約 18,400 ドルとなります。このモデルでは、主に稼働率と時間単価を最適化しますが、本質的にはまだ「GPU 上の時間」を販売しており、「AI の出力」そのものを販売しているわけではありません。

TaaS モデル: 一方、1 つの H100 で時間あたり 3,000 万トークンの請求可能なスループットを維持できる、スループット最適化された中規模モデルを実行すると仮定します。100 万トークンあたり 1 ドルで課金する場合、この GPU のトークン収益の潜在能力は時間あたり 30 ドルとなります。60% の「トークン稼働率」を実現した場合、時間あたりの実現可能なトークン収益は約 18 ドルとなり、1 GPU あたり年間では約 157,680 ドルに達します。

新しい GPU の世代はこの効果をさらに増幅します。NVIDIA GB200 NVL72 は、前世代と比較して 1 秒あたりのトークン数や 100 万トークンあたりのコストにおいて桁違いの改善をもたらしており、主要な推論プロバイダーは、Blackwell と最適化されたスタックを組み合わせることで、実際のワークロードにおいて 1 トークンあたりのコストが最大で10 分の 1 に低下したと報告しています。

これらの節約効果は、GPU 時間単位ではなくトークン層で課金・収益化する場合に最も容易に実現されます。なぜなら、1 秒あたりのトークン数の増加や 1 トークンあたりのコスト低下は、トークン計測型サービスの単価経済（ユニットエコノミクス）を直接的に改善するためです。

例えば、B200 クラスの GPU が、1 秒あたりの有効トークンスループットを 3,000 万から 6,000 万の請求可能トークンに倍増させ、かつ 100 万トークンあたり 1 ドルの価格と 60% のトークンアクティブ稼働率を維持する場合、GPU 当たりの年間サービスとしてのトークン収益は 157,680 ドルから約 315,360 ドルに増加します。

GPU 時間あたりのモデルでは、この追加のスループットは追加の収益には現れませんが、トークンをサービスとして提供するモデルでは、同じ GPU フットプリントで直接収益が増加し、トークンあたりのコストが改善されることでマージンも向上します。

ここから通信事業者はどう進むか

すでに NVIDIA 搭載の主権 AI ファクトリーに投資した通信事業者にとっての次のステップは、迅速にスタックを上位へ移動することです。つまり、AI インフラストラクチャから AI サービスへと移行し、ビジネスモデルを AI トークン経済と整合させることです。

実務的には、GPU クラスターを超えて、NVIDIA 認定ソフトウェアプロバイダーと連携して AI クラウドスタックを構築する必要があります。このプロバイダーは GPU のオーケストレーション、マルチテナントポリシーの強制、トークンレベルの使用状況を請求、SLA（サービスレベルアグリーメント）、ガバナンスに接続する機能を備えている必要があります。例えば、Rafay などのパートナーはすでに、主権インフラ上でトークン計測型 AI サービスの展開を通信事業者に支援しており、このアプローチが実際の企業需要やユースケースに合致しているという初期のエビデンスを提供しています。

そこから通信事業者は、トークン計測型 AI サービスを立ち上げることができます。NVIDIA NIM と NeMo を使用してチームがモデルを構築・適応させる「AI スタジオ」、それらのモデルとアプリケーションを SKU として提供する「マーケットプレイス」、企業がトークン単位またはワークフロー単位で利用可能な「API」です。

トークンを中核的な経済単位と見なし、NVIDIA の「秒間あたりのトークン数」「ワットあたりのトークン数」「トークンあたりのコスト」における技術的進歩を背景にすることで、通信事業者は接続およびインフラプロバイダーから主権を持つ AI サービスプロバイダーへと進化し、自社のトークン工場が成長するにつれて収益と利益率も拡大させることが可能になります。

通信事業者がどのようにして 主権型 AI インフラを実際の収益と自国へのインパクトに変えているのか、その事例をご覧ください。