NVIDIA Groq 3 LPX が Vera Rubin で超高速対話を実現

「NVIDIA Groq 3 LPX」は、NVIDIA Vera Rubin プラットフォーム向けのインタラクティブな AI 推論アクセラレーターです。このプラットフォームの核心となるのが、「これまでで最も多機能なマシン」と称される NVIDIA Vera Rubin NVL72 です。小規模から大規模モデル、オープンソースからクローズドまで、あらゆる AI ワークロードにおいて高いスループットとインタラクションを実現します。

Groq 3 LPX を Vera Rubin NVL72 と組み合わせることで、同プラットフォームは最高レベルのインタラクションを必要とするサービス層への対応力をさらに高めます。これにより、AI ファクトリー の一部として、ユーザー体験を支える能力が拡大します。

本稿では、Groq 3 LPX システムにおける性能に関する初の第三者ベンチマーク結果を発表します。Artificial Analysis が Groq 3 LPX 上で Gemma 4 31B モデルを用いて 100K コンテキストのベンチマークを実施したところ、世界最高水準のインタラクション性能である「1 秒間に 3,431 トークンの出力」を達成しました。このパフォーマンスを支える技術により、Groq 3 LPX と Vera Rubin NVL72 の組み合わせは、2 兆パラメータ以上のモデルで動作するマルチエージェントシステムを、高いインタラクション性と長いコンテキストを維持しながら提供することを可能にします。

なぜ、高インタラクション性における長文コンテキストが重要なのか？

エージェントセッションの特徴は、複数回の推論を繰り返す点にあります。各ターンが終了するたびに、エージェントの出力が継続的に成長するコンテキストに追加され、それが次のすべてのターンで利用されます。

図1. 複数回のターンを要するエージェントセッションを通じて、各ターンに引き継がれるコンテキストは着実に増加します。

図1 に示されているように、特に数百回以上のターンを経るセッションでは、コンテキストの長さが数十万トークンに達することさえあります。つまり、タスクの後半になると、エージェントはこれまで学習したすべての情報を繰り返し処理しなければなりません。

長いコンテキストがなければ、エージェントは過去の関連情報のごく一部しか考慮できません。基盤となるモデルがどれだけ高速で賢くても、コンテキストの制限はエージェントとしての能力を制限することになります。最も優れたエージェントは、速度を提供するだけでなく、セッションが進むにつれて長いコンテキストを保持しながらその速度を実現できなければなりません。

なぜ、長いコンテキストでの超高速インタラクションによるモデル提供が難しいのか？

1 人あたりの処理速度を毎秒 3,000 トークン超、かつ 10 万トークン分の KV キャッシュを管理しながらモデルを提供することは、システム設計において極めて困難な課題です。推論システムでは、テンソル並列処理（TP）のような分割統治型の手法を使えば、協調作業のオーバーヘッドさえ適切に管理できれば、速度が桁違いに向上する可能性があります。しかし、高い対話性を実現するにはバッチサイズを極小にする必要があり、その場合、固定された協調コストが TP によるスピードアップ効果を上回ってしまうリスクがあります。

TP は主に 2 つの部分で構成されます。まず、複数のチップ間で計算を分割して並列実行し、次にその結果を結合することです。高い対話性を実現するために必要な極小バッチサイズでは、TP を有効に機能させるにはきわめて緊密な協調が求められます。多数の小さなテンソルが計算ユニット間を移動する必要があり、それぞれのテンソルは正確な場所へ、正確なタイミングで到着・出発しなければなりません。通信や結果結合にかける時間が、計算を分散させることで得られる時間短縮効果と同等、あるいはそれ以上に大きくなってしまうことも珍しくありません。

図2：任意のシステムにおいて、2つのチップまたはコア間でデータを転送する時間を示す式。テンソル並列性を用いた小バッチ推論におけるボトルネックは、通常、送信されるデータ量（N）が利用可能なネットワーク帯域幅（B）に比べて極めて小さいため、最初のビット遅延（A）です。

あらゆるシステムにおいて、プロセッサ間ネットワークはこの一連の転送を調整する必要があります。図2に示す通り、個々の転送にかかる総時間は以下の2つの要素で構成されます。

• 最初のビット遅延：特定の通信リンクを転送用に選択し、送信側と受信側のリンクエンドポイントを同期させ、競合（例えば、2つのチップが同時に単一のリンク上でデータを送信しようとする場合など）を調整するまでに要する時間です。

• 転送時間：ネットワーク上での実際のデータ移動にかける時間で、転送されるデータ量とネットワーク帯域幅の比率に依存します。

TP（テンソル並列性）が提供できる桁違いの速度向上を実現するには、最初のビット遅延を絶対的な最小値まで引き下げる必要があります。モデル重みだけでなく長いコンテキストのKVキャッシュに対しても並列性を適用するフォワードパス全体でこれを実現するためには、低遅延性と長いコンテキストの両方を意識して設計されたアプローチが必要です。

Groq 3 LPX は、どのようにして長いコンテキストでも超高速な対話性をモデルに提供しているのか？

NVIDIA Groq 3 LPX は、コンパイラによるスケジューリングでワークロードを計画し、長いコンテキストでも超高速な対話性をモデルに提供します。これには、ラック内のチップ間ネットワーク（C2C）や、計算処理とプロセッサ間の通信を重層的に実行する能力が含まれています。

チップ間通信の厳密なスケジューリング

Groq 3 LPX は決定論的な実行モデルを採用しています。つまり、コンパイラは以下の情報を把握できます。

• 256 基あるローカル処理ユニット（LPUs）LP30 の各チップ内の個別計算ユニット
• これらのチップに集約された合計 128 GB の SRAM ベースメモリ
• チップあたり 96 本、それぞれが 112 Gbps で動作する C2C リンク

この情報をもとに、ワークロード開始前にクロックサイクル単位で詳細な実行スケジュールを生成します。

これには多くの利点があります。特に高い対話性を実現する上で重要なのは、転送のリアルタイム仲裁が不要になる点です。各データがどの C2C リンクを通過するかを事前に計画できるため、ワークロード開始前に図 3 に示すようなデータ転送スケジュールを作成できます。

図 3：Groq 3 LPX コンパイラがワークロード実行前に生成する C2C（Chip-to-Chip）転送のスケジュール例。スマートシティにおける歩行者、自転車利用者、自動車が互いに停止することなく最適に移動する様子と似ています。

さらに、この事前ワークロードスケジューリングにより、データ転送が行われる方法に根本的な変化がもたらされます。多くのシステムでは、小さなデータ块であっても転送には複数のステップが必要です：

• 1 つのチップがデータ転送を要求する
• 他のチップがデータの転送可能状態を確認し、その場所を検索する
• 同時に転送されている他のデータと競合する必要がある場合がある

これに対し、コンパイラが生成したスケジュールでは、LPUs（Language Processing Units）はデータが準備されたクロックサイクルで送信し、到着したクロックサイクルで受信できます。これは図 4 に示されています。

図 4：LPU スケジュールによるルーティングによりステップ数が少なく競合も少なくなるため、最初のビット到達時間が短縮されます。

リンクは LPU のペア間でのポイントツーポイント接続であり、各 LPU はプロセッサであると同時にルータとしても機能します。そのため必要に応じて、データは他の LPU を経由して転送先 LPU にルーティング可能です。

このネットワーク設計により、LPX は図 2 に示される最初のビットの遅延を絶対的な最小値まで引き下げることができます。バッチサイズが大きい場合、この最初のビットの遅延時間は、実際にワイヤ上へバイトを送信する所要時間に比べれば無視できるほど小さくなります。しかし、パレート曲線の「高い相互操作性」領域においては、固定された転送初期化時間の短縮が極めて重要となります。

微細な計算と通信の重なり合わせ

LPX コンパイラは、小規模バッチ推論に必要な多数の C2C（チップ間）転送を事前スケジューリングするだけでなく、これらの転送を非常に微細な粒度で計算処理と重ね合わせることも可能です。

計算と通信のオーバーラップは、あらゆる推論システムから最適なパフォーマンスを引き出すために不可欠です。LPX はさらに一歩進み、コンパイラが 320 バイトベクトル単位で計算ユニットと通信ユニットにワークロードをスケジューリングします。行列乗算がドットプロダクトの連続として表現できるという事実（図 5 を参照）を活用し、コンパイラは個々の LPU に出力行列の 320 カラム分の計算を割り当て、計算が完了次第即座に C2C リンク経由で転送させることができます。

図5：Groq 3 LPX は、行列乗算が内積の連続であるという性質を活用し、スライスが完成する瞬間に結果を送信を開始します。

これにより、Groq 3 LPX は、行列演算全体が完了するのを待たずとも、320 バイトのベクトルを埋めるのに十分な結果が得られ次第、データ転送を開始できます。計算と通信の重なりを最大化できるため、特に小規模なテンサーにおいてその効果が顕著になります（図6）。

図6：Groq 3 LPX の微細粒度 C2C スケジューリングにより、通信の尾を最小限に抑えながら計算を完了できます。

これらの技術を組み合わせることで、長文コンテキスト推論における計算集約型の注意機構（アテンション）演算において、桁違いの速度向上を実現します。チップ間での計算と通信をきめ細かく調整されたスケジュールで実行可能にした Groq 3 LPX は、テンソル並列化による分割統治アプローチを活用し、パレート曲線の小バッチ・高対話性領域においても高速化を提供できます。

Artificial Analysis ベンチマークにおいて、Groq 3 LPX が 100K コンテキストで最高レベルの対話性を達成

Artificial Analysis は、異なる推論プロバイダのモデルについて、10K および 100K の入力コンテキスト長におけるサービス速度を測定するための標準ベンチマークスイートを持っています。このスイートを用いて、2026 年 4 月にリリースされたパラメータ数 31B の密なモデル「Gemma 4」の 100K ベンチマークが実施されました。

その結果、NVIDIA が自社のデータセンターに構築した NVIDIA Groq 3 LPX システムは、1 秒あたり 3,431 トークンの出力トークンを生成する速度を記録しました（図 7）。

100K トークンの入力コンテキスト長を持つサンプル全体の中央値速度は 1 秒あたり 3,431 トークンでした。測定には、すべてのモデルとプロバイダで共通して使用されている「o200K_basetokens」トークナイザーが採用されています。

ラック全体にわたる低遅延の SRAM アクセスにより、数百数千トークンという文脈長においてもこの速度を維持できると期待しています。エージェントによるコーディングタスクでは、エージェントが 100K トークンを容易に超える数百ファイルを読み込み、その文脈を考慮して 5,000 トークンの推論と出力を生成するケースがあります。このような場合、ユーザーが恩恵を受けるのは単なる文脈の長さだけでなく、体験を根本から変える速度です。

この速度であれば、5,000 トークンのデコードに要するのは約 1.5 秒です。一方、従来の 1 秒間に 100 トークンという処理速度では 50 秒かかります。なお、この比較はむしろ控えめな見積もりです。現在最も人気のあるエージェントツールは、実際には 1 秒間に 60 トークン程度しか処理できないからです。

図 8. モデルを 1 秒間に 100 トークンの速度で提供する場合と、Groq 3 LPX を文脈長 100K で測定した速度（1 秒間に 3,431 トークン）を比較した、5,000 トークンを生成するまでの時間

Artificial Analysis は、Groq 3 LPX が 10K コンテキスト長でも同様の性能を発揮できるかを確認するため、同じシステムを 10K コンテキスト長でベンチマークしました。その結果、Groq 3 LPX の回答速度は中央値で 1 秒間に 3,382 トークンに達することが判明しています。

LPU の決定論的アーキテクチャと高いテンソル並列性の組み合わせにより、コンテキスト長に対するレイテンシや出力トークン数の変動が最小限に抑えられています。

10K 入力コンテキスト長でのサンプル全体の中央値速度は 1 秒間に 3,382 トークンでした。使用されたトークナイザーは「o200K_basetokens」の同一バージョンです。

Artificial Analysis と NVIDIA によるテストにより、両方のベンチマークにおける NVIDIA の構成では、出力の精度やモデル品質に低下がないことが確認されています。Artificial Analysis のテスト手法については、こちらをご覧ください。

補完的なコード特化の評価として、オープンソースの SPEED-Bench ベンチマークを実行しました。エージェントによるコーディングワークフローでは、純粋な生成速度が特に重要だからです。

同じく Gemma 4 モデルを使用し、NVIDIA Groq 3 LPX システムはこれらのコード質問に対して、出力トークンあたり中央値で 4,767 トークン/秒、P80 で 5,520 トークン/秒という速度で回答を生成しました。これは、このデータセットのタスクのうち 20% が 1 秒間に 5,500 トークンを超える速度で完了したことを意味します。