NVIDIA、次世代 AI インフラ向け NVLink Fusion を発表し NVHBM を統合

AI ファクトリーは、ますます大規模化するモデルと複雑な推論ワークロードをサポートする必要があります。AI ワークロードの尽きることのない計算需要に応えるため、ハイパースケイラーや AI ネイティブ企業は、カスタム AI アクセラレーター（XPUs）を開発しています。これらのアクセラレーターを大規模に展開するには、計算ユニットへの供給を維持するための高帯域幅メモリ（HBM）、より多くの計算リソースを搭載できる十分なパッケージおよびシリコン面積、効率的な電力供給、そして強靭なサプライチェーンが必要です。さらに、データセンターインフラストラクチャへ XPUs を導入するためのラックスケールアーキテクチャも不可欠です。

NVIDIA NVLink Fusion は、ハイパースケイラーや AI ネイティブ企業がカスタム XPUs や CPU を NVIDIA の AI インフラストラクチャプラットフォームに展開可能にする接続技術および IP です。これにより、開発と展開の複雑さを軽減し、パフォーマンスを向上させ、半カスタムの AI ファクトリーの市場投入までの時間を短縮できます。NVIDIA のスケールアップ・スケールアウト技術スタック、エコシステム、そして MGX ラックスケールアーキテクチャを活用することが可能です。

パッケージレベルでは、NVHBM がこの統一されたアーキテクチャを支えます。NVHBM は、主要なメモリベンダーと共同で設計および検証されたカスタム HBM ベースダイ技術であり、帯域幅の向上、面積効率の改善、消費電力の低減を実現します。これらの改良により、カスタム XPUs はより大規模なモデルをサポートできるようになり、KV キャッシュデータの読み込み速度が向上し、トレーニングと大規模推論のパフォーマンスが改善されます。

バンド幅、ダイ面積、電力がアクセラレーター設計を駆動する理由

トレーニング、推論、そしてエージェント型 AI ワークロードは、モデルの重み、KV キャッシュ、活性化データへの高速スループットアクセスにますます依存しています。AI システムが個別のアクセラレータからラックレベルの計算ドメインへとスケールするにつれ、アクセラレータパッケージは計算ロジック、電力供給、熱設計、そして高帯域幅メモリとのバランスを取る必要があります。

HBM は重要なメモリ帯域をアクセラレータに近接させることで実現しますが、最先端のメモリ技術の認定やパッケージ統合、検証がカスタムアクセラレータプログラムのボトルネックになる可能性があります。NVLink Fusion により、顧客は主要なメモリメーカーと共同で検証済みの NVHBM ベースダイにアクセスできるようになり、統合および認定におけるボトルネックを軽減できます。

表 1. NVHBM は AI アクセラレータ・プログラムに対し、3 つの主要なプラットフォームレベルの利点をもたらします：より高いメモリ帯域幅、パッケージおよびシリコン面積の増加、そして HBM の電力使用量の削減です。

現代の AI アクセラレータにおけるメモリ帯域幅のボトルネック

AI アクセラレータのパフォーマンスは、計算エンジンがデータを一貫して供給されるかどうかにかかっています。HBM の速度を上げれば、与えられたパッケージ予算内で利用可能なメモリ帯域幅が増大し、トレーニングや推論における帯域幅集約型のフェーズへの対応能力が向上します。NVHBM は標準的な HBM4e と比較して、スタックあたり最大 30% 多くのメモリ帯域幅を提供します。メモリバウンド型、あるいは部分的にメモリバウンド型の AI ワークロードにおいては、これはアクセラレータの利用効率の向上とスループットの高さにつながります。HBM と計算コア間のデータ転送を高速化し、常に供給状態を維持することで、大規模モデル推論時のユーザーあたりのトークン処理数を増やすことが可能になります。

NVHBM は各アクセラレータ内のメモリ帯域幅を増強しますが、NVLink Fusion はより広範なドメインにわたってアクセラレータを接続し、ワークロードが分散コンピューティングとメモリをより効率的に活用できるようにします。

このスケールアップ領域は、エキスパート並列処理 (EP) や WideEP といった高度なルーティング技術を利用する際に特に重要です。これらのシナリオでは、異なるエキスパートが別々の GPU に配置され、ラック全体にわたるシームレスかつ高速な同期が必要となります。

AI ファクトリ向けのスケールアップネットワークファブリクスである「NVIDIA NVLink」は、エキスパート間での活性化値や隠れ状態の転送を担い、スケールアップファブリクス全体で分散キャッシュの同期を支援します。また、NVHBM はローカル計算エンジンにデータが絶えず供給されるようにすることで、データ飢餓状態を最小限に抑えます。

より広いパッケージ面積と柔軟性

カスタム AI シリコンにおいて、1 平方ミリメートルですら重要な意味を持ちます。アクセラレータの設計者は、行列演算エンジン、ベクトルユニット、オンチップ SRAM、キャッシュ階層、制御ロジック、メモリインターフェース、ネットワーク・オン・チップ (NoC)、そしてスケールアップ接続に割り当てる面積を慎重に決定する必要があります。

カスタムなメモリ実装を採用することで、HBM へのアクセスに伴う設計およびパッケージングのオーバーヘッドを削減でき、ワークロード固有の機能にリソースを割くことが可能になります。

AI ワークロードが多様化する中、この追加のダイ面積により、ハイパースケール企業は推論サービング、レコメンデーションシステム、マルチモーダルパイプライン、あるいは内部トレーニングワークロード向けに XPUs を最適化するための柔軟性を得られます。メモリインターフェースに必要な面積を削減することで、NVHBM はチームがチップのより多くの部分を直接パフォーマンス向上に充てることを可能にします。

面積削減は主に、物理メモリインターフェース（PHY）の再設計によって達成されます。標準的な HBM は広幅のインターフェース接続に依存するため、パッケージ全体のフットプリントが増大します。一方、NVHBM は効率を最適化したカスタムベースダイを採用しており、メモリコントローラーを 3D HBM ストック内に移動させ、カスタム PHY を統合することで、I/O 領域要件を削減しています。

JEDEC の HBM4e 標準と比較すると、この設計により PHY とサポート領域が最大 67% 削減されます。また、インターフェースが狭くなることでインターポーザーの配線が簡素化され、レイアウト全体で利用可能なシリコンが最大 80% 増加します。

図 1 に示すように、メモリインターフェースの接続を縮小することで、中央の AI 計算用ダイ（die）が新たに解放されたスペースへ拡大できます。このスペースの確保により、計算やその他の機能に割り当てられるメインダイのシリコン面積を最大 30% 増やすことが可能です。これにより、XPU デザイナーはパッケージの外形寸法を変えずに、より多くの機能を追加できるようになります。

エネルギー効率を高めるための省電力設計

現代の AI インフラにおいて、電力消費は最も厳しい制約条件の一つです。HBM の電力はアクセラレータ全体の予算、パッケージの熱設計、ラックの電力容量、そしてデータセンターの冷却計画に直接影響します。NVHBM は標準的な HBM4e と比較して15% 低い HBM 電力使用量を実現し、計算処理のための電力と熱余裕を新たに生み出します。

省電力効果は多層的なレベルで重要です。XPU レベルでは、HBM の消費電力低下がワットあたりの性能向上につながり、より多くの計算リソースや高い稼働率の維持が可能になります。ラックレベルでは、電力供給システムと冷却システムへの負荷を軽減できます。AI ファクトリー規模に至っては、メモリサブシステムの消費電力がわずかに削減されるだけでも、数千台のアクセラレータにわたって累積すると大きな効果となります。2,000W の XPUs を使用する1ギガワットのデータセンター全体でこの省電力効果が複利計算されると、計算処理の余裕分として最大15,000 台の追加 XPUs を導入できる可能性があります。

この恩恵は、大規模モデルの推論において特に重要です。XPUs は、低遅延かつ高スループットでユーザーに対応する際、モデルの重みと KV キャッシュデータを繰り返し読み込む必要があります。データ転送に要するエネルギーを削減することで、大規模モデルにおける高速な推論、より大きなバッチサイズの処理、そして投入された電力の効率的な利用が可能になります。

ラックスケールでの NVLink Fusion と NVHBM の統合

NVHBM はチップレベルで XPU の性能と効率を向上させます。一方、NVLink Fusion により、ハイパースケーラーや AI ネイティブ企業は、自社の XPUs を NVIDIA AI プラットフォームの残りの部分に接続できます。メモリ帯域幅が 30% 増加し、ダイ面積が 25% 拡大され、HBM の消費電力が 15% 削減されるという、これら協調設計によるアーキテクチャ上の改善を組み合わせることで、XPU あたりの全体エンドツーエンドの性能が大幅に 30% 向上します。

この接続は、カスタム XPUs と NVLink ファブリックを橋渡しし、ラック内のすべての XPUs を単一のスケールアップドメインとして統合する NVLink Fusion チップレットによって実現されます。現在第 6 世代に至る NVLink は、AI ファクトリー向けに設計された唯一の実証済みの専用スケールアップネットワークファブリックであり、最先端の性能とインテリジェントな耐障害性を提供しています。上流側では、XPUs は NVLink-C2C を介して CPUs と接続できます。

NVLink Fusion の採用企業は、独自 XPUs と CPU に NVIDIA のスケールアップ・スケールアウト技術スタックとエコシステムを組み合わせることで、開発や展開の複雑さを低減し、パフォーマンスを向上させ、半カスタム AI ファクトリの市場投入までの期間を短縮できます。また、単一の統一アーキテクチャに標準化することで、データセンター全体の運用が簡素化され、データセンター容量の柔軟な再割り当てが可能になり、カスタム AI XPUs が GPU と統合された異種計算リソースとして機能するようになります。

カスタム AI シリコンの次の段階

NVLink Fusion は、GPU、独自 XPUs、CPU、ネットワーク、ラックレベルのソフトウェアに共通のスケールアップ基盤を提供します。NVHBM は、次世代アクセラレータ向けに、より高いメモリ性能、計算密度、HBM の電力効率、そして供給のレジリエンスをこの基盤に補完する形で加えます。これらの技術により、パートナー企業はカスタム AI アクセラレータの設計からラック規模での展開、量産に至るまでの道筋をより直接的にたどることが可能になります。

NVLink Fusion や NVHBM の業界採用状況 について詳しくは、それぞれのリンクをご覧ください。