NVIDIA Run:aiにおけるGPU分割による大規模トークン処理能力の解放

AIワークロードが拡大するにつれ、高いスループット、効率的なリソース使用率、予測可能なレイテンシの達成が不可欠になっています。NVIDIA Run:aiは、インテリジェントなスケジューリングと動的GPUフラクショニングを通じてこれらの課題に対処します。GPUフラクショニングは、クラウド、NCP、オンプレミスを問わず、あらゆる環境でNVIDIA Run:aiによって完全に提供されます。 この記事では、NVIDIA Run:aiのフラクショナルGPU割り当てが大規模言語モデル（LLM）推論のパフォーマンスをどのように向上させるかを評価するため、NVIDIAとAIクラウドプロバイダーであるNebiusが共同で実施したベンチマーク作業について紹介します。NebiusのAI Cloudは、これらの効果を本番規模で実現するために必要なインフラ基盤、専用NVIDIA GPU、NVIDIA Quantum InfiniBandネットワーキング、そしてハイパースケーラー級のパフォーマンスと弾力性を提供しました。 すべてのベンチマークは、NVIDIA NIMマイクロサービスを使用して実行されました。このアプローチは、環境を超えて一貫したパフォーマンス、セキュリティ、ライフサイクル管理を備えた、標準化された本番運用レベルのモデルデプロイメントを提供します。 結果は、フラクショナルGPUがレイテンシSLAを損なうことなく、実効容量を劇的に増加させることを示しています： フルGPUのスループットの77%、フルGPUの同時ユーザー容量の86%を、わずか0.5 GPUフラクションで達成し、最初のトークンまでの時間（TTFT）は1秒未満 より小さいモデルでは0.25 GPUフラクションを使用して、同時推論ユーザー数を最大2倍増加 共有GPU上で混合ワークロード（チャット、推論、埋め込み）を実行する場合、システム全体のユーザー数を最大3倍増加 0.5、0.25、0.125 GPUフラクションにわたるほぼ線形のスループットスケーリングを実現し、TTFTへの影響は軽微 スケールアウト時にレイテンシの急増やエラースパイクが発生しない、本番運用対応のオートスケーリング このベンチマークは、フラクショナルGPUスケジューリングがもはや最適化技術ではないことを示しています。これは、本番環境で大規模なマルチモデルLLM推論を効率的に実行するための基盤となる機能です。 LLM推論における企業の課題 企業のIT部門は、有限で、多くの場合固定されたGPUの在庫を運用しています。推論のためにLLMをデプロイするには、トラフィックが散発的であっても、単一のLLMインスタンスに専用のGPU（または複数のGPU）を割り当てる必要があります。これは、推論リクエストに先立ってモデルがすべての重みをロードしなければならず、トークン（応答）を生成するレイテンシを可能な限り低く抑えるために必要です。 その結果、ほとんどのLLMは割り当てられたGPUをすべて消費するため、利用可能な同じGPUプールを使用して複数のモデルを実行することは困難になります。このシナリオでは、企業IT部門は、GPUとLLMの割り当てを手動で維持し、推論を要求するユーザーが増加するにつれてLLMをいつ、どのようにスケールするかを判断してチャットリクエストと生成されるトークン間のレイテンシを維持しなければならず、オフピーク時のアイドル状態のGPUを他の目的に転用することもできません。 理想的には、企業は、推論を実行できるユーザー数やそれらのユーザーのレイテンシに大きな影響を与えることなく、GPUを1つだけでなく複数のLLMの実行に使用できる弾力的な環境を望んでいます。彼らはワークロードに基づいてGPUをスケールし、オフピーク時にはGPUをスケールダウンして、他のワークロードが同じGPUを消費できるようにすることができます。 NVIDIA Run:aiとNebius AI Cloudによる推論ワークロードのスケーリング NVIDIA Run:aiプラットフォームは、大規模GPUクラスターと動的フラクショナルGPU割り当てのために構築された高スループットAIワークロードスケジューラを通じて、パフォーマンスを犠牲にすることなくこれらの課題に対処します。NVIDIA Run:aiのオーケストレーションとNebius AI Cloudインフラストラクチャが連携することで、GPUのROIを最大化するための柔軟で本番運用対応のフレームワークが構築されます。 NVIDIAとNebius AI Cloudが実施したベンチマークテストでは、NVIDIA Run:aiはピーク時に既存のハードウェア上で最大2倍のユーザー容量を提供し、企業がGPU投資の比例的な増加なしに推論ワークロードを大幅にスケールできることを実証しました。 動的GPUフラクショニング NVIDIA Run:aiは、GPUをより小さな単位（0.5 GPU割り当てなど）に分割し、複数のワークロードを同時に処理できるようにします。ユーザーはメモリ要件を直接指定し、スケジューラは事前設定なしでオンデマンドにリソースを割り当てます。これは、より小さな同時リクエストがパフォーマンスの大幅な低下なしにGPUリソースを共有できる推論ワークロードにおいて特に効果的です。 メモリ分離はランタイム時に強制され、コンピュートサイクルはアクティブなプロセス間で公平に分配されます。ユーザーは保証された最小値（Request）とバースト可能な上限（Limit）を定義することもでき、ワークロードは利用可能な場合に追加のGPU容量を消費し、需要が変化したときに自動的に解放することができます。 インテリジェントなワークロードスケジューリング NVIDIA Run:aiスケジューラは運用の「頭脳」として機能し、ワークロードの優先順位、リソース要件、システム容量を分析して割り当てを最適化します。ピーク時には、バッチ指向のトレーニングジョブよりも、リアルタイム推論などのレイテンシに敏感なタスクを優先し、サービスレベル契約（SLA）が満たされるようにします。 また、スケジューラは、管理者から与えられたSLA基準に応じて、連続して推論を実行するユーザー数とトークンレイテンシに基づいてLLMを自動的にスケールアップまたはスケールダウンします。これらの戦略は総合的に、より高い使用率、より低い運用の複雑さ、そして総所有コスト（TCO）の削減を推進します。 NVIDIAとNebiusのチームは、さまざまなLLMに対して大規模な推論を実行する際のNVIDIA Run:aiの影響を明らかにするためにベンチマークを実施しました。スケールテストは、さまざまなチャットリクエストを実行できる同時ユーザー数に対して実行され、TTFT、出力スループット（生成されるトークン/秒）、GPU使用率が記録されました。NVIDIAでは、これらのテストは、PCIe最適化されたNVIDIA Enterprise Reference Architecturesに従って構築されたクラスター上で、NVIDIA H100 NVL GPUを使用して実行されました。Nebius AI Cloudでは、テストは、NVIDIA HGX B200 GPU向けのHGXベースのEnterprise RAに従って構築されたクラスター上で実行されました。 ベンチマーク設定 ソフトウェアスタックは、NVIDIA Enterprise RA（図1）に基づいています。これには、ライフサイクル管理にNVIDIA GPU Operatorを使用してGPUを管理するNVIDIA AI Enterpriseスタック、南北および東西ネットワーキングのためのNVIDIA Network Operator、さまざまなモデル重みをダウンロードするためのNVIDIA NIM Operator、そして異なるモデルをデプロイするためのNVIDIA NIMマイクロサービスが含まれます。これは、Kubernetesによって管理されるノードのクラスターにデプロイされました。詳細については、NVIDIA NIM LLM with NVIDIA Run:ai and Vanilla Kubernetes for Enterprise RAをご覧ください。 同一のベンチマークが2つのハードウェア構成で実行されました：NVIDIA Enterprise RA仕様に基づいて構築された64台のNVIDIA H100 NVL GPUを搭載したオンプレミスクラスターと、32台のNVIDIA HGX B200 GPUを搭載したNebius AI Cloudクラスターです。この二重環境アプローチにより、結果が自己管理インフラストラクチャとパブリッククラウドデプロイメントの両方に一般化できることが検証されます。 モデル選択 選択された4つのモデルは、異なるサイズ、メモリフットプリント、および推論ユースケースにわたっています（表1）。この範囲により、異なるメモリフットプリントを持つワークロード全体でのフラクショナル割り当てを評価することが可能になります。 パラメータ数 メモリ要件 Llama 3.1 8B Instruct 汎用チャット 軽量アシスタント Qwen-Embeddings-0.6B ドキュメント埋め込みと再ランキング 表1. 選択されたモデルは、多様なサイズ、メモリ要件、ユースケースにわたる 特筆すべきは、最大のモデル（Qwen3-14B）でさえ、1台のNVIDIA H100 NVL GPU 80 GB容量の約35%しか占有しないことであり、これが従来のGPU全体割り当てが多くの容量を遊休状態にする可能性がある理由を示しています。 GenAI Perfを使用して、各NIMエンドポイントにチャットリクエストを送信する同時ユーザーをシミュレートしました。このツールはセッションごとのレイテンシとスループットを記録し、負荷増加下での測定を可能にします。 主な指標は以下の通りです： TTFT: リクエスト送信から最初の応答トークンまでのレイテンシ 出力スループット: セッションあたり1秒間に生成されるトークン数 GPU使用率: 負荷下でのGPUメモリ消費率 同時実行スケーリング: TTFTとスループットを許容範囲内に維持しながらサポート可能な最大同時ユーザー数（例えば、ユーザーを追加するとレイテンシSLAが低下するポイント） テスト条件 各モデルは、以下の5つのc

NVIDIA Run:aiにおけるGPU分割による大規模トークン処理能力の解放

背景や根拠まで確認しますか？

調べる

選ぶ

サイト