G7eインスタンスでAmazon SageMaker AI上の生成AI推論を加速

生成 AI (generative AI) への需要が高まる中、開発者や企業は自らのニーズに応えるため、より柔軟でコスト効率に優れ、高性能なアクセラレータを求めています。本日、[Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/) 上で [NVIDIA RTX PRO 6000](https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000-family/) Blackwell Server Edition GPU (NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs) を搭載した G7e インスタンス (G7e instances) の利用を開始できることを発表いたします。 1、2、4、8基の RTX PRO 6000 GPU を搭載したノードをプロビジョニングでき、各GPUには96 GBのGDDR7メモリ (GDDR7 memory) が搭載されています。今回のリリースにより、GPT-OSS-120B、Nemotron-3-Super-120B-A12B（NVFP4 バリアント）、Qwen3.5-35B-A3B といった強力なオープンソースのファウンデーションモデル（FMs）(foundation models (FMs)) をホストできる単一GPUノードの G7e.2xlarge インスタンスを使用する機能が提供され、組織に対してコスト効率と高性能を両立するオプションを提供します。これにより、推論ワークロード (inference workloads) において高いパフォーマンスを維持しつつコスト削減を図る方々に適しています。G7e インスタンスの主な特徴は以下の通りです： - G6e インスタンスと比較してGPUメモリが2倍となり、FP16 (FP16) で最大以下の大規模言語モデル（LLMs）(large language models (LLMs)) のデプロイを可能にします： 35B parameter model on a single GPU node (G7e.2xlarge) - 150B parameter model on a 4 GPU node (G7e.24xlarge) - 300B parameter model on an 8 GPU node (G7e.48xlarge) - ネットワークスループット (networking throughput) は最大1,600 Gbps - G7e.48xlarge では最大768 GBのGPUメモリ Amazon Elastic Compute Cloud（Amazon EC2）(Amazon Elastic Compute Cloud (Amazon EC2)) G7e インスタンスは、クラウドにおけるGPUアクセラレーションによる推論 (GPU-accelerated inference) において大きな飛躍を表しています。前世代の G6e インスタンスと比較して、最大2.3倍の推論パフォーマンスを実現します。各 G7e GPU は 1,597 GB/s の帯域幅を提供し、G6e のGPUメモリを2倍、G5 の4倍に拡大しています。最大サイズの G7e では EFA（Elastic Fabric Adapter）(EFA) によりネットワークが 1,600 Gbps にスケールし、G6e の4倍、G5 の16倍の向上となります。これにより、以前は Gシリーズインスタンス (G-series instances) では現実的ではなかった低レイテンシのマルチノード推論およびファインチューニング (fine-tuning) のシナリオが可能になります。以下の表は、8 GPUティアにおける世代間の進化をまとめたものです： | **仕様** | **G5 (g5.48xlarge)** | **G6e (g6e.48xlarge)** | **G7e (g7e.48xlarge)** | |---|---|---|---| | **GPU** | 8x NVIDIA A10G | 8x NVIDIA L40S | 8x NVIDIA RTX PRO 6000 Blackwell | | **GPUメモリ（1基あたり）** | 24 GB GDDR6 | 48 GB GDDR6 | 96 GB GDDR7 | | **総GPUメモリ** | 192 GB | 384 GB | 768 GB | | **GPUメモリ帯域幅** | 600 GB/s per GPU | 864 GB/s per GPU | 1,597 GB/s per GPU | | **vCPU数** | 192 | 192 | 192 | | **システムメモリ** | 768 GiB | 1,536 GiB | 2,048 GiB | | **ネットワーク帯域幅** | 100 Gbps | 400 Gbps | 1,600 Gbps (EFA) | | **ローカルNVMeストレージ** | 7.6 TB | 7.6 TB | 15.2 TB | | **推論パフォーマンス（G6e比）** | ベースライン | ~1x | 最大2.3倍 単一インスタンスで合計 768 GB の GPU メモリ（GPU Memory）を搭載する G7e は、従来 G5 や G6e でマルチノード構成（Multi-node Setup）を必要としていたモデルをホスト可能であり、運用の複雑さとノード間レイテンシ（Inter-node Latency）を低減します。第 5 世代 Tensor コア（Tensor Cores）による FP4 精度（FP4 Precision）のサポートと、EFAv4 を介した NVIDIA GPUDirect RDMA（GPUDirect RDMA）に対応していることから、G7e インスタンスは AWS 上での大規模言語モデル（LLM）、マルチモーダル AI、アジェンティック推論ワークロードのデプロイにおいて最適な選択肢として位置づけられています。 ## G7e に適したユースケース G7e が備えるメモリ密度、帯域幅、ネットワーク機能の組み合わせは、幅広い現代の生成 AI ワークロードに適合しています。 - チャットボットおよび会話型 AI – G7e の低い TTFT（Time To First Token）と高いスループットにより、重い同時負荷下でもインタラクティブな体験が応答性を維持します。 - アジェンティックおよびツール呼び出しワークフロー – CPU から GPU への帯域幅が 4 倍向上した G7e は、取得ストアからの高速なコンテキスト注入が重要な Retrieval Augmented Generation（RAG）パイプラインやアジェンティックワークフローにおいて特に効果的です。 - テキスト生成、要約、ロングコンテキスト推論 – G7e の GPU あたり 96 GB のメモリは、拡張されたドキュメントコンテキスト用の大容量 KV キャッシュ（KV Cache）を収容可能であり、切り捨てを減らしながら長い入力に対する高度な推論を実現します。 - 画像生成およびビジョンモデル – 以前のインスタンスでは大規模なマルチモーダルモデルでメモリ不足エラー（Out-of-Memory Error）が発生する箇所において、G7e の倍増したメモリがこれらの制限を明確に解消します。 - フィジカル AI および科学計算 – G7e の Blackwell 世代のコンピューティング性能、FP4 サポート、空間計算機能（DLSS 4.0、第 4 世代 RT コア）により、デジタルツイン、3D シミュレーション、フィジカル AI モデルの推論への適用範囲が拡大します。 ## デプロイメントの手順 ## 前提条件 SageMaker AI を使用してこのソリューションを試すには、以下の前提条件が必要です。 - すべての AWS リソースを格納する AWS アカウント。 - Amazon SageMaker AI にアクセスするための AWS Identity and Access Management（IAM）ロール。IAM が SageMaker AI とどのように連携するか詳しくは、「Amazon SageMaker AI 用の Identity and Access Management」をご覧ください。 - Amazon SageMaker Studio、SageMaker ノートブックインスタンス、または PyCharm や Visual Studio Code などのインタラクティブ開発環境（IDE）へのアクセス権限。シンプルなデプロイメントと推論には Amazon SageMaker Studio の使用を推奨します。 - Amazon SageMaker AI エンドポイント使用のための ml.g7e.2xlarge [またはそれ以上] インスタンス 1 つ分のクォータ。Service Quotas コンソールを通じてクォータの増加分をリクエストできます。 ## デプロイメント リポジトリをクローンし、[こちら](https://github.com/aws-samples/sagemaker-genai-hosting-examples/tree/main/03-features/instances/g7e) で提供されているサンプルノートブックを使用できます。 ## パフォーマンスベンチマーク 世代間の改善を定量化するため、G6eおよびG7eインスタンスでQwen3-32B（BF16）のベンチマークを、同一ワークロード（リクエストあたり入力トークン約1,000個、出力トークン約560個）を用いて実施しました。これは文書の要約や修正タスクを代表するものです。両方の構成とも、プレフィックスキャッシング（prefix caching）を有効にしたネイティブ[vLLM](https://github.com/vllm-project/vllm)コンテナを使用しています。 これらの結果を生成するために使用されたベンチマークスイートは、サンプルのJupyterノートブックで公開されています。以下の3つのステップに従います：（1）ネイティブvLLMコンテナを使用してモデルをSageMaker AIエンドポイントにデプロイする、（2）1〜32の並列リクエストレベルで負荷テストを実行する、（3）結果を分析し、以下のパフォーマンステーブルを作成する。 **G6eのベースライン: ml.g6e.12xlarge [4x L40S、$13.12/時間]** 4基のL40S GPUとテンソル並列度（tensor parallelism degree）4を用いるG6eは、強力なリクエストあたりのスループットを実現します：単一並列時で37.1 tok/s、C=32で21.5 tok/sです。 **C** **Success** **p50 (s)** **p99 (s)** **tok/s** **RPS** **Agg tok/s** **$/M tokens** 1 100% 16.1 16.3 37.1 0.07 37 $38.09 8 100% 19.8 20.2 30.3 0.42 242 $5.85 16 100% 23.1 23.5 26.0 0.73 416 $3.41 32 100% 26.0 29.2 21.5 1.21 686 $2.06 **G7e: ml.g7e.2xlarge [1x RTX PRO 6000 Blackwell、$4.20/時間]** G7eは、単一GPUでテンソル並列度（tensor parallelism degree）1を用い、同じ32Bパラメータモデルを実行します。G6eの4 GPU構成と比較してリクエストあたりのtok/sは低いものの、コスト面では劇的に異なります。 **C** **Success** **p50 (s)** **p99 (s)** **tok/s** **RPS** **Agg tok/s** **$/M tokens** 1 100% 27.2 27.5 22.0 0.04 22 $21.32 8 100% 28.7 28.9 20.9 0.28 167 $2.81 16 100% 30.3 30.6 19.9 0.53 318 $1.48 32 100% 33.2 33.3 18.5 0.99 592 $0.79 **この数字が示すもの** 本番環境の並列数（C=32）において、G7eは100万出力トークンあたり$0.79を達成し、G6eの$2.06と比較してコストが2.6倍削減されています。これは、G7eの大幅に低い時間単価（$4.20対$13.12）と、負荷下でも一貫したスループットを維持できる能力という2つの要因によるものです。G7eの単一GPUアーキテクチャは、より滑らかにスケールします。C=1からC=32にかけてのレイテンシ増加はG7eで22%（27.2秒から33.2秒）であるのに対し、G6eでは62%（16.1秒から26.0秒）です。テンソル並列度（tensor parallelism degree）が1の場合、以下の特徴があります： - GPU間同期のオーバーヘッド（No inter-GPU synchronization overhead） - 各Transformerレイヤーでのall-reduce演算（No all-reduce operations） - GPU間KVキャッシュのフラグメンテーション（No cross-GPU KV cache fragmentation） - NVLink通信のボトルネック（No NVLink communication bottleneck） 並列処理（concurrency）が増加しGPUがより飽和状態に達すると、この調整オーバーヘッドの欠如によりレイテンシ（latency）が予測可能に保たれます。低コンカレンシーかつレイテンシが敏感なワークロードでは、G6eの4-GPU並列処理が依然として高速な個別応答を提供します。大規模展開においてトークンあたりのコストを最適化する本番環境向けデプロイメントでは、G7eが明確な選択肢であり、次のセクションで示すように、G7eにEAGLE（Extrapolation Algorithm for Greater Language-model Efficiency）のspeculative decoding（推測デコーディング：speculative decoding）を組み合わせることで、この優位性はさらに高まります。 ## 統合ベンチマーク：G7e + EAGLE speculative decoding（推測デコーディング） G7eによるハードウェアの改善は単体でも顕著ですが、EAGLE speculative decoding（推測デコーディング）と組み合わせることで相乗効果が生まれます。EAGLEは、モデル自身のhidden representations（隠れ表現）から複数の未来トークンを予測し、単一のforward pass（順伝播：forward pass）でそれらを検証することで、LLMのデコーディングを加速します。これにより、1ステップあたりに複数のトークンを生成しながらも同等の出力品質を維持します。SageMaker AI上でのEAGLEの詳細な手順、最適化ジョブのセットアップ、Base vs Trained EAGLEのワークフローについては、[Amazon SageMaker AI introduces EAGLE based adaptive speculative decoding to accelerate generative AI inference](https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-ai-introduces-eagle-based-adaptive-speculative-decoding-to-accelerate-generative-ai-inference/)をご覧ください。 このセクションでは、BF16形式のQwen3-32Bモデルを用い、ベースラインからG7e + EAGLE3までの累積的な改善度を測定します。ベンチマークワークロードは、リクエストあたり約1,000のinput tokens（入力トークン：input tokens）と約560のoutput tokens（出力トークン：output tokens）を使用し、文書の要約や修正タスクを代表するものです。EAGLE3は、num_speculative_tokens=4を設定した[community-trained speculator](https://huggingface.co/RedHatAI/Qwen3-32B-speculator.eagle3)（コミュニティ訓練済みの推測モデル）を有効化することで実装されます。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/16/ML-20676-image-1.png) G7e + EAGLE3は、前世代のベースラインと比較してthroughput（スループット：throughput）が2.4倍向上し、コストを75%削減します。出力トークン100万個あたり$0.41という価格で、より高いスループットを提供しながらも、G6e + EAGLE3（$1.72）と比較して4倍のコスト効率を実現しています。 **EAGLE3の有効化** ファインチューニング済みモデルを備えた本番環境向けデプロイメントにおいて、SageMaker AIの

G7eインスタンスでAmazon SageMaker AI上の生成AI推論を加速

背景や根拠まで確認しますか？

調べる

選ぶ

サイト