NVIDIA の Vera Rubin プラットフォームがアジェンティック AI のスケールアップ問題を解決する方法

[Agentic inference](https://developer.nvidia.com/blog/building-for-the-rising-complexity-of-agentic-systems-with-extreme-co-design/) は、AI エージェントがタスクを処理する間に生成する非確定的な軌道（アクション、観測、意思決定）を導入することで、推論ワークロードのランタイムダイナミクスを根本的に変化させました。これらの軌道は、1 セッションあたり数百件の推論リクエストにわたってエンドツーエンドのレイテンシを増幅します。 [NVIDIA Vera Rubin NVL72](https://www.nvidia.com/en-us/data-center/vera-rubin-nvl72/) は、[NVIDIA Vera Rubin platform](https://www.nvidia.com/en-us/data-center/technologies/rubin/) の中核コンピュートエンジンとして、その推論負荷の大部分を処理します。最も要求の厳しい新興マルチエージェントワークロードには、長いコンテキストウィンドウを持つトリリオンパラメータ規模の MoE モデル（Mixture of Experts）において、持続的な低レイテンシと高スループットな生成能力が求められます。 これまで、この新興ワークロードを経済的に提供できるプラットフォームはありませんでした。[NVIDIA Groq 3 LPX](https://www.nvidia.com/en-us/data-center/lpx/) を Vera Rubin NVL72 と組み合わせた本システムは、パレート曲線上のこの点において、高スループットと低レイテンシの両方を初めて実現するものです。 本記事では、数百から数千のチップにわたる低レイテンシかつ決定的な実行を備えた高スループットコンピュートを組み合わせる極限の共設計（extreme co-design）を通じて、NVIDIA Vera Rubin Platform がこの課題をどのように解決するかを探ります。 ## なぜエージェントワークロードには予測可能なスケールアップネットワークが必要なのか 従来のデータセンター・ネットワークファブリックは、大規模なトレーニングジョブやボリューム推論ワークロード向けに最適化されており、これらの環境では小さなバッチ内のネットワークジッターが平均化されます。一方、プレミアム AI サービスでは、より高いモデル能力と、ユーザーが直接体感する高応答性が求められます。このレベルでは、アジェンティック・デコードは以下のような根本的に異なる要件をもたらします: - 複数回にわたるモデルリクエスト - 小規模なバッチ処理 - 極めて低いレイテンシ プレミアム AI サービスで使用されるロングコンテキストおよび大規模 MoE モデル（Mixture of Experts）は、追加のネットワーク課題をもたらします（図 1）。マルチエージェントパイプライン内の各エージェントは、それぞれが拡大する KV キャッシュ、システムプロンプト、ツール定義、会話履歴を保持しています。この KV キャッシュと新しいトークンは、異なるアクセラレータにまたがるトリリオンパラメータモデルおよび関連するエキスパートを経由してルーティングされなければなりません。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/05/Agentic-Workloads-Growth.webp)*図 1. アジェンティックワークロードがコンテキストと状態をどのように増大させるかを示す概念図。フロンティアの MoE モデルは並列処理を必要とし、両者は高速で決定論的なプロセッサ間ネットワークに依存しています* これを成し遂げるためには、ネットワークレベルでのオーケストレーションにより、チップ間のホップにおける変動を最小限に抑える必要があります。モデルを単一のチップ上に保持できない SRAM ベースのアーキテクチャでは、このクロスチップ間の交換は避けられません。この交換が物理的に発生するメカニズムが、サービングシステムにおける主要なボトルネックとなります。 業界は従来、この課題に対処するために以下の方法を用いてきました： - フロー制御が反応的であり、タイミングが統計的に制限されるのみで保証されない、ランタイム仲裁型ネットワークファブリック。 - 大規模なオンダイ計算リソースとメモリを集中配置し、モデルやコンテキストウィンドウのサイズが大きくなって初めてスケールアップ・アウトが必要となるまでネットワーク問題を先送りするアプローチ。これにより、マルチチップ間のパフォーマンスが劣化しています。 アジェンティック AI のスケールアップ規模においてスループットとレイテンシのトレードオフを打破するには、シリコン、コンパイラ、サービングスタックと共に設計されたネットワークファブリックが必要です。LPU C2C は、極限までの共設計（co-design）を実現することで、大規模な数兆パラメータモデルの運用を可能にしています。 ## NVIDIA Groq 3 LPX がスケールアップ課題に対処する方法 [NVIDIA Groq 3 LPX](https://developer.nvidia.com/blog/inside-nvidia-groq-3-lpx-the-low-latency-inference-accelerator-for-the-nvidia-vera-rubin-platform/) の LPU C2C は、スケールアップ問題を直接的に解決するために設計されています。相互接続を、ランタイムで競合やタイミングの不確実性を吸収しなければならない従来のネットワークとして扱うのではなく、LPU C2C は Groq の決定論的実行モデル（deterministic execution model）を多数の LPU に拡張します。これは以下の 3 つの密接に連携する技術を通じて実現されます： - 高ラディクス（high-radix）ポイントツーポイントリンク - LPU コンパイラによるスケジューリングされたデータ移動 - ハードウェア駆動型プレシオ同期タイミング これらの技術は組み合わせることで、Groq の 3 LPU アクセラレータに数千チップへのスケーラビリティを柔軟に提供しつつ、予測可能な通信、固定レイテンシ、低ジッター実行を維持します。以下のセクションでは、それぞれ順を追って検討します。 ## High-radix point-to-point links（高ラディックスポイントツーポイントリンク） 各 LPU は 112 Gbps の C2C リンクを 96 本備えており、LPU あたり約 2.5 TB/s のスケーラブル帯域幅と、ラックレベルでは 640 TB/s を提供します。NVIDIA MGX ラックスケールアーキテクチャに基づいて設計されたこのシステムは、ケーブルレストレイとポイントツーポイントの高ラディックス C2C トポロジーを採用し、トレイ間およびラック間に計算と通信を密結合させています。 直接ピア接続、専用パス、負荷下での対称ルート、そして低いホップ数により、効率的な集合通信が可能になります。また、コンパイラが転送をすべて実行時ではなく静的に計画するためです。 ## Compiler-scheduled data movement（コンパイラスケジューリングによるデータ移動） LPU の C2C スケーリングはソフトウェアスケジューリングによって実現されます。LPUs 間の通信は、計算に使用されるのと同じ固定サイズ単位である 320 バイトのベクトルで移動し、フロー制御とスケジュール管理がコンパイル時に実行され、行列、ベクトル、スイッチの実行モジュールと同様に第一級関数ユニットとして扱われます。コンパイラは各ベクトルのソース LPU からどのリンクを経由していつ出発し、いつ到着するかを含むすべての転送を事前に計画します。これにより、負荷分散、経路選択、同期がハードウェアスケジューラによる競合下での動的処理ではなく、静的に解決されます。その結果、コンパイラは数千の相互接続された LPUs を単一のスケジュール実行表面として扱い、これは独立したチップ間のネットワークというよりも、1 つのダイ上の機能ユニット間の配線に近いものとなります。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/05/Compute-Trays-LPU.gif)*図 2. LPU コンパイラとチップ間相互接続を介して複数の計算トレイが接続され、多数の LPUs を単一の決定論的実行クラスターとして同期させる概念図* ## ハードウェア駆動型プレシオシンクロナスタイミング 各 LPU は独自のクロック上で動作しており、クロックは自然にドリフトするため、LPU の C2C スケーリングでは plesiosynchronous またはニアシンクロナスな C2C プロトコル（plesiosynchronous/near-synchronous C2C protocol）を使用してドリフトを相殺し、数千の LPU を単一のコアとして同期させます。予測可能なデータ到着と定期的なソフトウェア同期により、ランタイムは防御バッファリングを不要とし、多くのアーキテクチャが及ばない規模でコンパイル時に既知のネットワークレイテンシを実現します。予測不能なネットワークホップを排除し、データ移動を調整し、レイテンシをコンパイル時に固定することで、これらのスケールアップ技術により Groq 3 LPX は、ツール、メモリ、多段階プランを高速で協調処理する必要があるアジェンティックワークロードに対して、数百から数千の LPU を一貫性のある低ジッターシステムとして単一のユニットとして動作させることが可能になります。 ## アジェンティックワークロードが LPU C2C から得るメリット LPU C2C の中核的な利点は、ラックスケールでの決定論的動作です。128 GB の統合オンチップ SRAM を備え、スケーリングしても性能が予測可能に保たれます（図 3）。テンソル並列ドメインにおけるこの量の SRAM は、生産環境で稼働する SRAM ベースの ASIC の中で最大規模であり、LPU アーキテクチャが SRAM スケーリングにおいて優位であることを示しています。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/05/Groq-3-PX-Scale-up-.webp)*図 3. NVIDIA Groq 3 LPX のスケールアップ帯域幅が LPU 数に対してほぼ線形に増加し、LPX ラックレベルで約 640 TB/s に達し、統合された 128 GB SRAM プールを実現する様子を示す折れ線グラフ（256 LPU）* LPU コンパイラは、レイヤーごとのパーティショニングなどの戦略を用いて、トリリオンパラメータ規模のモデルをそのプール全体に分割します。これにより、オンチップ SRAM の和集合が、単一のチップでは提供できないよりもはるかに大きな作業メモリとして機能します。エージェントワークロードにおいては、これはコンテキストウィンドウや精度で妥協を強いることなく、低レイテンシで動作する最先端の MoE モデルを実現することを意味します。マルチエージェントセッションにおけるバースト性の高いファンアウトパターンにおいても、遅延の最大値（tail latency）は制限された範囲内に保たれ、トークンあたりのレイテンシも予測可能となります。 低レイテンシだけでは不十分です。AI ファクトリーの展開には、大規模な GPU プールから得られる計算容量、スループット、および同時実行サービス能力も必要となります。ここで Vera Rubin NVL72 との共同設計が役割を果たします。Vera Rubin NVL72 は、ラックあたり最大 3,600 PFLOPS の NVFP4 計算性能、20.7 TB の HBM4（High Bandwidth Memory）、1.6 PB/s のメモリ帯域幅を提供し、プリフェッチ処理、長文脈デコードアテンション、高同時実行サービスの各タスクを処理します。レイテンシの予算がさらに厳しくなる場合、NVIDIA Dynamo（図 4）は、Attention-FFN Disaggregation (AFD) を用いて異種混合型のデコードループをオーケストレーションします。この AFD ループは以下のように構成されます： - Rubin GPU が蓄積された KV キャッシュに対してデコードアテンションを実行する - LPX が FFN（Feed-Forward Network）の実行を加速する - 中間活性化値は、低オーバーヘッドの KV 対応転送を通じてトークンごとに交換される ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/05/Dynamo.webp)*図 4. NVIDIA Dynamo が、prefill（事前計算）と attention（注意機構）の処理を Vera Rubin NVL72 GPU にルーティングし、FFN（フィードフォワードネットワーク）のデコード処理を Groq 3 LPX にルーティングする様子を示す概念図。KV（キー・バリュー）対応データ交換を含む* この役割分担が機能するのは、両エンジンが異なるタイミングレジームを対象としているからです。prefill と decode attention はスループット主導であり、大規模なバッチ処理を行い、多数のトークンにわたって KV キャッシュ読み出しを分散できるため、NVIDIA NVLink の高帯域幅スケールアップ相互接続に最適なプロファイルです。一方、FFN デコードループは小規模なバッチサイズで逐次的なトークン生成を行うため、マイクロジッターがユーザーが体感するレイテンシの主要因となります。コンパイル時にスケジュールされる C2C（チップ間通信）はこのレジームのために特別に設計されています。 Groq 3 LPX、Vera Rubin NVL72、そして Dynamo を組み合わせることで、同一のサービングパスにおいて、決定論的な低レイテンシ、最先端モデル規模の処理能力、長文コンテキスト対応、および高スループットを実現するプラットフォームが構築されます。400K トークンのコンテキストを持つトリリオンパラメータ規模の MoE（混合専門家）モデルにおいて、ユーザーあたり 1 メガワットあたりのスループットは NVIDIA GB200 NVL72 と比較して最大 35 倍向上し、アジェンティックワークロードにおける収益機会は最大 10 倍拡大します。 Vera Rubin プラットフォームの仕様や LPX に関する詳細については、以下のブログ記事をご覧ください: - アジェンティックシステムの複雑化に対応する極限のコデザインによる構築 - NVIDIA Groq 3 LPX の内部：NVIDIA Vera Rubin プラットフォーム向けの低遅延推論アクセラレーター - NVIDIA Vera Rubin プラットフォームの内部：6 つの新チップと 1 つの AI スーパーコンピュータ

NVIDIA の Vera Rubin プラットフォームがアジェンティック AI のスケールアップ問題を解決する方法

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト