NVIDIA Multi-Instance GPUとNUMAノードローカライゼーションによるデータ処理の高速化

NVIDIA Ampere、NVIDIA Hopper、NVIDIA BlackwellファミリーのNVIDIAフラッグシップ・データセンターGPUはすべて、非均一メモリアクセス（NUMA）の動作特性を持ちながら、単一のメモリ空間を公開しています。そのため、ほとんどのプログラムはメモリの非均一性に問題を感じません。しかし、次世代GPUで帯域幅が増加するにつれ、計算とデータの局所性を考慮することで、パフォーマンスと電力効率に大きな向上が得られる可能性があります。 この記事ではまず、NVIDIA GPUのメモリ階層を分析し、ダイ間リンクを介したデータ転送が電力とパフォーマンスに与える影響について議論します。次に、データ局所性を実現するためにNVIDIA Multi-Instance GPU（MIG）モードをどのように使用するかを概説します。最後に、Wilson-Dslashステンシル演算子のユースケースにおいて、MIGモードと非局所化実行の結果を提示します。 NVIDIA GPUにおけるメモリ階層 図1に示す2つのNUMAノードを持つメモリ階層の抽象的なビューを考えてみましょう。ノード0上のストリーミング・マルチプロセッサ（SM）がノード1のダイナミック・ランダム・アクセス・メモリ（DRAM）内のメモリ位置にアクセスする必要がある場合、データはL2ファブリックを介して転送されなければなりません。NVIDIA Blackwell GPUの場合、各NUMAノードは物理的に異なるダイであり、これが遅延を追加し、データ転送に必要な電力を増加させます。このような複雑さが追加されているにもかかわらず、NUMAを意識しないコードでもピークDRAM帯域幅を達成することは可能です。 ![図1. 2つのNUMAノードにまたがるGPUメモリ階層の抽象ビュー](https://developer-blogs.nvidia.com/wp-content/uploads/2026/02/gpu-memory-hierarchy-two-numa-nodes-png.webp)

NVIDIA Multi-Instance GPUとNUMAノードローカライゼーションによるデータ処理の高速化

背景や根拠まで確認しますか？

調べる

選ぶ

サイト