NVIDIA Multi-Instance GPUとNUMAノードローカライゼーションによるデータ処理の高速化
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
NVIDIA Developer Blog
NVIDIAのMIG技術とNUMAノード最適化を組み合わせ、GPUリソースの効率的な分割とメモリアクセス最適化により、AI/機械学習ワークロードのデータ処理速度を向上させる手法を紹介。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
NVIDIA Ampere、NVIDIA Hopper、NVIDIA BlackwellファミリーのNVIDIAフラッグシップ・データセンターGPUはすべて、非均一メモリアクセス（NUMA）の動作特性を持ちながら、単一のメモリ空間を公開しています。そのため、ほとんどのプログラムはメモリの非均一性に問題を感じません。しかし、次世代GPUで帯域幅が増加するにつれ、計算とデータの局所性を考慮することで、パフォーマンスと電力効率に大きな向上が得られる可能性があります。
この記事ではまず、NVIDIA GPUのメモリ階層を分析し、ダイ間リンクを介したデータ転送が電力とパフォーマンスに与える影響について議論します。次に、データ局所性を実現するためにNVIDIA Multi-Instance GPU（MIG）モードをどのように使用するかを概説します。最後に、Wilson-Dslashステンシル演算子のユースケースにおいて、MIGモードと非局所化実行の結果を提示します。
NVIDIA GPUにおけるメモリ階層
図1に示す2つのNUMAノードを持つメモリ階層の抽象的なビューを考えてみましょう。ノード0上のストリーミング・マルチプロセッサ（SM）がノード1のダイナミック・ランダム・アクセス・メモリ（DRAM）内のメモリ位置にアクセスする必要がある場合、データはL2ファブリックを介して転送されなければなりません。NVIDIA Blackwell GPUの場合、各NUMAノードは物理的に異なるダイであり、これが遅延を追加し、データ転送に必要な電力を増加させます。このような複雑さが追加されているにもかかわらず、NUMAを意識しないコードでもピークDRAM帯域幅を達成することは可能です。
原文を表示
NVIDIA flagship data center GPUs in the NVIDIA Ampere, NVIDIA Hopper, and NVIDIA Blackwell families all feature non-uniform memory access (NUMA) behaviors, but expose a single memory space. Most programs therefore do not have an issue with memory non-uniformity. However, as bandwidth increases in newer generation GPUs, there are significant performance and power gains to be had when taking into consideration compute and data locality.
This post first analyzes the memory hierarchy of the NVIDIA GPUs, discussing the power and performance impacts of data transfer over die-to-die link. It then reviews how to use NVIDIA Multi-Instance GPU (MIG) mode to achieve data localization. Finally, it presents results for running MIG mode versus unlocalized for the Wilson-Dslash stencil operator use case.
Memory hierarchy in NVIDIA GPUs
Consider the abstract view of the memory hierarchy with two NUMA nodes depicted in Figure 1. When a streaming multiprocessor (SM) on node 0 needs to access a memory location in the dynamic random-access memory (DRAM) of node 1, it must transfer data over the L2 fabric. In the case of NVIDIA Blackwell GPUs, each NUMA node is a distinct physical die, which adds latency and increases the power required for data transfer. Despite the added complexity, NUMA-unaware code can still achieve peak DRAM bandwidth.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み