NVIDIA、Vera Rubin と Blackwell でアジェンティック AI の性能効率新基準を確立

AI エージェントは、単発の対話から、推論を行い、ツールを呼び出し、サブエージェントを調整し、一連のやり取りで文脈を引き継ぐ多段階ワークフローへと拡張されました。この変化の規模は、実際の消費量において明確に現れています。OpenRouter の State of AI 報告書によると、実世界の利用における 100 トリリオントークンにわたるデータで、1 リクエストあたりの平均プロンプトトークンは約 4 倍に増加し、単一のエージェントリクエストは通常のチャットよりも 15 倍のトークンを消費することが示されています。

このワークロードに対するハードウェア性能を適切に評価するには、新たな課題が伴います。有用なベンチマークは、長文脈のプレフィル、KV キャッシュの再利用、インタラクティブなデコード、ツール呼び出しのギャップ、そして現実的な同時実行下での分散型混合専門家（MoE）の実行を捉える必要があります。また、許容可能なユーザーエクスペリエンスを維持しつつ、AI ファクトリの電力予算のうちどれほどが有用なエージェント処理能力に変換されるかも示さなければなりません。

本稿では、生産環境のセッションを再生して評価する SemiAnalysis AgentX ベンチマークを取り上げます。これにより、Vera Rubin NVL72 のプレビュー結果が明らかになり、GB300 NVL72 と比較してメガワットあたりの AI ファクトリ処理能力が最大 30 倍高いことが示されました。一方で、Blackwell GB300 NVL72 は、動的なエージェントワークロードにおいても、先行世代に対する桁違いの処理能力効率という優位性を維持していることも確認されています。

AgentX とは何か

「AgentX」は、SemiAnalysis が提供するオープンソースベンチマークスイート「InferenceX」に含まれる、エージェント型コーディングの性能を評価する指標です。これは、実際のコーディングエージェントが生成するリクエストパターンに対して、アクセラレータがいかに効率的に応答できるかを測定します。

AgentX のテストと計測手法

エージェント型のセッションは長く、状態を保持し、可変性が高いのが特徴です。固定されたプロンプトとレスポンスの繰り返しではなく、モデル呼び出しやツールの使用、そして増大するコンテキストが連鎖して実行されます（以下の図 1 参照）。そのため AgentX は、プラットフォームが再生されたエージェントのトラフィックに応答性を持って処理できるか、過去のコンテキストを再利用できるか、そして割り当てられたメガワットあたりでエージェント処理のスループットを最大化できるかを評価します。

図 2 は、DeepSeek-R1-0528 のレガシーな推論ベンチマーク「InferenceX」における固定長（入力 8K/出力 1K）のテスト結果を示しています。このデータでは、GB300 NVL72 は H200 を最大で 40 倍も上回るトークン処理効率を記録しました。ただし、これは制御された環境での固定長サービスに過ぎず、実際のプロダクションでエージェントが生成するトラフィックの状況を完全には反映していません。

実際のエージェントセッションでは、リクエスト長はターンごとに変動します。タスクが進むにつれてコンテキストが蓄積され、過去のトークンを再利用できるほか、ツールの実行や委任された作業によってモデル呼び出しが中断されることもあります。アジェンティック AI が主要なワークロードとなった現在、固定シーケンス長のシナリオは真のサービス性能を代表するものとしてふさわしくなくなり、「InferenceX」スイート内では「保守モード」へと格下げされました。

AgentX は、推論とツール使用が交互に行われる Claude Code の事前記録セッション におけるサービング性能を測定することで、このギャップを埋めます。各セッションは AIPerf クライアント を用いてターンごとに再生されます。すべてのシステムが同じ記録されたトラフィックを受け取るため、観測される差異はベンチマーク固有のチューニングではなく、サービングスタックの違いによるものです。

この再生プロセスでは、各セッションのコンテキストや入出力シーケンスの長さ、および元の軌跡に記録された推論時間とツール呼び出しの遅延が保持されます。これらの間隔は元のセッションのタイミングを再現し、現実的なベンチマークが捉えるべき KV キャパシティへの負荷を再現します。

AgentX は並行処理を変化させることで、スループットと対話性の間のトレードオフをマッピングします。各動作点において、プロビジョニングされたメガワットあたりの持続可能なスループットと、各スタックが繰り返し出現するコンテキストを再利用できる能力を報告します。

AgentX の結果の読み方

AIファクトリーにとって最も重要な指標は、メガワットあたりのトークン数です。このベンチマークでは、エンドツーエンドの正規化された対話性、標準的な対話性、エンドツーエンドのレイテンシ、そして最初のトークンまでの時間（TTFT）という4つのユーザー体験値に対するパフォーマンスを報告しています。以下の表1では、これらの指標をどのように活用するのが最適かを解説します。

表 1. AgentX の主要パフォーマンス指標

NVIDIA Vera Rubin NVL72 の結果

以下の Vera Rubin NVL72 の測定値は、NVIDIA が SemiAnalysis の AgentX ワークロードを用いて計測したものであり、現在 SemiAnalysis によるレビュー待ちです。図 4 に示す通り、AgentX DeepSeek V4-Pro ワークロードにおいてユーザーあたり 160 トークン/秒の速度で動作する場合、Vera Rubin NVL72 は GB300 NVL72 と比較してメガワットあたりの AI ファクトリー処理能力を最大 30 倍向上させます。これは、対話型サービスにおける目標値を維持したまま、エージェント推論のキャパシティが大幅に拡大されることを示しています。

NVIDIA Vera Rubin NVL72 がどのように設計され、メガワットあたりの最大パフォーマンスを実現しているか詳しく知りたい場合は、『Inside NVIDIA Rubin GPU Architecture: Powering the Era of Agentic AI』をご覧ください。

NVIDIA GB300 NVL72 の結果

AgentX ワークロードにおける DeepSeek V4 Pro 1.6T の評価では、GB300 NVL72 は H200 NVL8 と比較して、メガワットあたりの AI ファクトリー処理量が最大 15 倍向上しました（図 5 参照）。つまり、同じ電力予算の範囲内で、GB300 NVL72 ははるかに応答性の高いエージェント推論処理を維持できるのです。

このスループットの優位性は、直接的にコスト効率の向上につながります。GB300 NVL72 の百万トークンあたりのコストは H200 NVL8 よりも最大で 10 分の 1 です（図 6 参照）。運用者にとってこれは、固定された電力およびインフラ予算で、より多くの対話型エージェント容量を支援できることを意味します。あるいは、同じ容量を提供しつつ、大幅に低い運用コストで済むようになります。

図 6：GB300 NVL72 は、H200 NVL8 と比較してトークンコストを最大で 10 分の 1 に削減します

モデルの規模が大きくなるほど、GB300 NVL72 の優位性は際立ってきます。以下の図 7 は、AgentX ワークロードにおける Kimi K3 2.8T のメガワットあたりのスループットを示しています。同等の応答性を維持しながら、H200 NVL8 と比較してメガワットあたりの処理能力が約 80 倍に達し、GB300 NVL72 はユーザーあたり秒間約 215 トークンの応答性を実現します。これは H200 NVL8 が到達できる運用範囲を大きく上回るものです。

図 7：Kimi K3 2.8T において、GB300 NVL72 は H200 NVL8 よりもメガワットあたりのスループットが約 80 倍高い

これらの GB300 NVL72 の結果は、サービングランタイム、モデルカーネル、スケールアップファブリック全体にわたるシステムレベルの取り組みを反映しています。これら各層が連携することで、エージェントセッションでコンテキストが蓄積し、同時実行性が増加し、デコード需要が高まる状況でも、大規模な MoE モデルが応答性の高いスループットを維持することが可能になります。

MoE 推論用ランタイム：SGLang、TensorRT-LLM、vLLM といったフレームワークを使えば、NVL72 ドメイン全体に専門家の実行を分散できます。Wide Expert Parallelism や DeepEP などの手法で GPU 間で専門家の負荷を最適化し、複数のエージェントリクエストを同時に処理できる有効なバッチサイズを増やすことが可能です。

MoE カーネルと通信のオーバーラップ：DeepGEMM ベースのカーネルや MXFP4、MXFP8 といった混合精度フォーマット、そして統合された MoE 実行パスにより、専門家間のデータ転送に要する時間を大幅に削減できます。専門家の並列処理による通信を Tensor Core の計算と重ね合わせることで、推論やコーディングワークロードにおけるトークンスループットを向上させられます。

NVIDIA Dynamo：Dynamo はプリフェッチ（prefill）とデコード（decode）を独立したワーカープールに分離し、各フェーズごとに最適なパフォーマンス設定が可能になります。また、セッション ID を活用してエージェント実行中の関連するモデル呼び出し、ツールスパン、トレースを紐付ける「セッション対応型推論」もサポートしています。さらに KV キャッシュを意識したルーティング機能により、キャッシュの重複状況やワーカー負荷に基づいてターゲットを選択することで、不要なプリフェッチ計算を抑制し、コンテキストを再利用するエージェントセッションでも応答性の高いマルチターン推論を実現します。

NVIDIA NVLink スケールアップファブリック：NVLink は、GB300 NVL72 内の 72 個の GPU を高帯域幅のスケールアップドメインで接続します。これにより、大規模モデルを協調するラックスケールのシステムとして提供するために必要な計算、メモリ、エキスパート並列通信、KV キャッシュ移動が可能になります。

エージェント AI の次なるステップは？

Vera Rubin NVL72 は、エージェント推論の長文コンテキスト、インタラクティブ性、分散実行パターンに最適化されたラックスケールシステムで何が可能かを示しています。より広範な Vera Rubin プラットフォームはこのアプローチをフルワークフローに拡張します。Rubin GPU が大規模コンテキストの処理と効率的なデコードを担当し、Vera CPU はツールの実行と KV キャッシュオフロードを担い、Groq 3 LPX が超高速なインタラクティブ性を実現します。

AI ファクトリー全体では、NVLink 6、ConnectX-9、BlueField-4、Spectrum-X がリソース間でトークン、コンテキスト、ツールの結果を転送します。Dynamo、Attention-FFN ディスアグリゲーション、NVFP4、TensorRT-LLM WideEP、推測デコーディングが最も適切なプロセッサ間での実行を調整します。目標はシンプルです。再計算と待機時間を減らし、エージェントセッションが成長してもインタラクティブなパフォーマンスを維持し、固定された電力予算のより多くを有用なエージェント出力に変換すること。

この結果を支える技術やベンチマークを探るには、以下のリソースから始めてください。

• NVIDIA Rubin のアーキテクチャと機能について詳しく知る

SemiAnalysis の推論 X ダッシュボードで、NVIDIA Vera Rubin と Blackwell のライブベンチマーク結果を確認できます。

https://inferencex.semianalysis.com/inference?g_model=Kimi-K3&i_seq=agentic-traces&i_optimal=1

極限の共設計（Extreme Co-Design）が、エージェントシステムの複雑さやレイテンシ、経済性の増大にどう対応しているかについては、以下の記事で解説しています。

Building for the Rising Complexity of Agentic Systems with Extreme Co-Design

謝辞

本成果は、Xin Li、Ankur Singh、Anthony Casagrande、Jonas Li、Po-Han Huang、Xiaoming Chen、そして多くの優秀な NVIDIA エンジニアの専門知識とエンジニアリングへの貢献によって実現しました。