AWS、SageMaker AI で小規模 LLM の推論ベンチマーク：G7 と G5・G6 を比較

大規模言語モデル（LLM）の推論に適切な GPU インスタンスを選択することは、生成 AI を大規模に展開する際に最も影響の大きい判断の一つです。世代を一つ上げるだけで、レイテンシが大幅に短縮され、スループットが向上し、トークンあたりのコストも削減できます。ただし、これらのメリットが現実世界でどの程度発揮されるかは、モデルのアーキテクチャ、量子化フォーマット、そしてワークロードの形状によって大きく異なります。

本稿では、Amazon SageMaker AI Inference の Amazon SageMaker AI 生成 AI 推論レコメンデーション を活用し、30B パラメータ規模の代表的な Mixture-of-Experts (MoE) モデル 2 つを、3 つの GPU インスタンスファミリーでベンチマークしました。この機能では、スループット、コスト、レイテンシに関する推奨事項に加え、最初のトークンまでの時間やレイテンシといった一般的な指標の実測値も提供されます。

本機能を活用することで、NVIDIA Blackwell GPU を搭載した新型 G7 インスタンス が、スループット、レイテンシ、トークンあたりのコストにおいてどのような測定可能な向上をもたらすかを実証します。

ユースケース 1: AI コーディングアシスタント

エンタープライズ向けのコード生成、デバッグ、リファクタリング、開発者用コパイロットなどのタスクには、Qwen3-Coder-30B をデプロイして活用できます。Amazon SageMaker AI DJL Large Model Inference (LMI) コンテナを使用して、ml.g5.12xlarge (A10G)、ml.g6.12xlarge (L4)、および ml.g7.12xlarge (RTX PRO 4500 Blackwell) インスタンスのパフォーマンスと価格を比較するベンチマークを実施します。

G5 と G6 の構成ではそれぞれ 4 基の GPU を搭載し、合計 96 GB の GPU メモリを確保しています。一方、G7 は 2 基の GPU で 64 GB です。本比較は、アクセラレータ数を半分にし、総 GPU メモリも削減した G7 の性能がどうなるかを示すものです。

ユースケース 2: エンタープライズ AI アシスタント

推論、質問応答、要約、そしてエージェントワークロードには、NVIDIA Nemotron-3-Nano-30B-A3B-NVFP4 をデプロイします。Amazon SageMaker AI の生成 AI インフラストラクチャ推奨機能と vLLM を活用して、G6 (L4)、G6e (L40S)、G7 (RTX PRO 4500 Blackwell) の各構成を評価し、最もコストパフォーマンスに優れた選択肢を特定します。

12xlarge 構成の場合、G6 は 4 基の GPU で合計 96 GB、G6e は 4 基で 192 GB、そして G7 は 2 基で 64 GB の GPU メモリを提供します。生成 AI インフラストラクチャ推奨機能は、これらの GPU オプション全体にわたるベンチマークと構成選択を自動化します。

これらのユースケースは、G7 の評価を二つの補完的な方法で示しています。一つは LMI を用いた直接ベンチマークであり、もう一つは Generative AI Inference Recommendations と vLLM による自動化された最適化です。モデルやサービングスタック、GPU 構成、ワークロードを変えてテストした結果、G7 が前世代の GPU インスタンスよりも優れた価格性能比を発揮できる場面が明確になりました。

ソリューション概要

ユースケースの詳細に入る前に、Amazon SageMaker AI の Generative AI Inference Recommendations が、最適な本番環境構成を見つけるプロセスをどのように簡素化するのか説明します。ユーザーはモデル、予想されるワークロード、そして最適化の目標を提供するだけで済みます。Amazon SageMaker AI は実際の GPU インフラ上で候補となる構成を評価し、実測パフォーマンスに基づいて検証済みでデプロイ直前の推奨設定を返します。

各ワークフローは、以下の二つのユースケースに直接接続できます。

1. ベンチマークワークフロー：エンドポイントが既に存在する場合

モデルが Amazon SageMaker AI エンドポイントにデプロイされており、予想されるワークロード下でのパフォーマンスを理解したい場合は、ベンチマークを利用します。今回の Qwen3-Coder-30B のユースケースでは、まず異なる GPU インスタンス上で Qwen3-Coder-30B を Amazon SageMaker AI エンドポイントにデプロイする方法を示し、その後これらのエンドポイントをベンチマークして、レイテンシ、スループット、価格性能比を比較します。このプロセスは以下の図の通りです。

2. 推奨ワークフロー：Amazon SageMaker AI の推論推奨機能を使用して最適な構成を決定する場合

どのデプロイ構成がモデルとワークロードに最適かを判断する支援を受けたい場合は、この推奨ワークフローを利用してください。NVIDIA Nemotron-3-Nano-30B のユースケースでは、モデル、候補となるインスタンスファミリー、ワークロード、そして最適化の目標を定義します。Amazon SageMaker AI は候補構成を評価し、実現可能なオプションをベンチマークして、コスト、レイテンシ、スループットなどの指標に基づきランク付けされた推奨事項を返します。これらの推奨を確認し、生産環境の要件に最も合致する構成を選択してデプロイできます。以下の図はその手順を示しています：

インスタンスハードウェアの比較

いずれのケースでも、AWS EC2 の G5、G6、G6e、G7 ファミリー に属するインスタンスを使用します。各ファミリーは異なる世代の NVIDIA GPU を搭載し、メモリ容量や帯域幅、ネットワーク性能が異なります。

Mixture-of-Experts (MoE) 推論のパフォーマンスに直接影響を与える主な違いは以下の通りです。

• GPU メモリ容量（モデルを単一の GPU に収容できるかどうかを決定します）
• メモリ帯域幅（デコード速度を支配します）
• FP8 や NVFP4 といった低精度フォーマットのネイティブサポート

MoE モデルにおけるメモリー帯域幅の重要性

MoE アーキテクチャでは、トークン生成（デコーディング）時に各トークンがアクティブ化するエキスパートはごく一部のみであるため、メモリー帯域幅にボトルネックが生じます。メモリー帯域幅を高めることは、トークン間のレイテンシを直接短縮し、スループットを向上させることに直結します。

NVFP4 の重要性

NVFP4 は、NVIDIA が Blackwell GPU アーキテクチャとともに導入した 4 ビット浮動小数点フォーマットです。Blackwell Tensor Core 上で NVIDIA がネイティブに提供する FP4 量子化により、モデルサイズは約 4 ビット/重みまで削減されながら、精度の低下を最小限に抑えることが可能です。

注記: ネイティブな FP4 Tensor Core サポートが利用可能なのは G7 インスタンスのみです。G5 や G6 などの他世代では NVFP4 重みをハードウェアアクセラレーションなしで実行することになるため、MoE デプロイメントの選択肢においては G7 が構造的な優位性を有しています。

前提条件

• Amazon SageMaker AI にアクセス権限を持つ AWS アカウント
• Amazon SageMaker AI と Amazon Simple Storage Service (Amazon S3) のパーミッションが付与された、AWS Identity and Access Management (IAM) 実行ロール
• 対象のインスタンスタイプに対する、AWS リージョンごとのインスタンスクォータ
• Python 3.10+ および Amazon SageMaker Python SDK (sagemaker>=3.16.0)
• Amazon S3 にアップロードされたモデルアーティファクト

注記: G7 は、米国東部 (オハイオ) と米国西部 (オレゴン) のみで一般利用可能です。

Use case 1: Benchmark Qwen3-Coder-30B across GPU instances

このユースケースでは、Qwen3-Coder-30B-A3B-Instruct-FP8 モデルを ml.g5.12xlarge、ml.g6.12xlarge、ml.g7.12xlarge の 3 つの GPU インスタンスタイプでベンチマークし、このコード処理ワークロードにおいてどの構成が最もパフォーマンスを発揮するかを確認します。詳細は こちらのウォークスルーノートブック をご覧ください。

比較の公平性を保つため、3 つの構成すべてで同一モデル、DJL Large Model Inference (LMI) 28.0 サービングコンテナ、および同一ワークロードを使用します。関連する ノートブック には、モデル設定、エンドポイントのデプロイ、ベンチマーク実行に必要なコードがすべて記載されています。

ワークフローは以下の 3 つのステップで構成されます：

• ベンチマークの設定
• ベンチマークの実行
• 結果の比較

Step 1: Configure the benchmark

まず、評価対象とするモデルとワークロードを定義します。今回のテストでは、Mixture-of-Experts (MoE) 方式を採用したコード生成モデルである Qwen3-Coder-30B-A3B-Instruct-FP8 を使用し、DJL Large Model Inference (LMI) 28.0 コンテナでデプロイします。

同一モデルを以下の Amazon SageMaker AI インスタンスタイプ上で評価します：

各エンドポイントでサービングとワークロードの設定を統一し、比較における主要な変数をインスタンスタイプに絞っています。

添付の notebook には、各エンドポイントの完全な設定とデプロイコードが記載されています。

ステップ 2: ベンチマークの実行

エンドポイントの利用が可能になったら、コーディング推論のシナリオを反映した合成ワークロードを定義し、Amazon SageMaker AI を用いて各エンドポイントに対してベンチマークを実行します。

今回の例では、並行処理数を 4 に設定し、100 リクエストを送信します。各リクエストの入力トークン数と出力トークン数は平均してそれぞれ 128 です。

ベンチマークの開始は、以下の Amazon SageMaker Python SDK の操作を用いて高レベルで行われます：

from sagemaker.serve import start_benchmark, Workload

workload = Workload.synthetic(
    tokenizer=HF_MODEL_ID,
    concurrency=4,
    request_count=100,
    prompt_input_tokens_mean=128,
    output_tokens_mean=128,
    streaming=False,
)

job = start_benchmark(
    endpoint=endpoint,
    workload=workload,
    role=ROLE,
    wait=False,
)

Amazon SageMaker AI はこのワークロードをエンドポイントに送信し、NVIDIA AIPerf を活用してパフォーマンスメトリクスを収集します。G5、G6、G7 の各エンドポイントに対して、同様のベンチマークを繰り返します。

初期の比較では、ストリーミングを行わないリクエスト（*non-streaming requests*）を使用し、以下の項目を評価します：

• 出力トークンスループット
• リクエストスループット
• 平均リクエストレイテンシ
• P50、P90、P99 のリクエストレイテンシ

対話型アプリケーションでは、streaming=True を設定することで、*初回トークン到達時間（TTFT）* と *トークン間レイテンシ（ITL）* も測定できます。

以下の表は、3 つのインスタンスタイプで同じ非ストリーミングワークロードを実行した結果を示しています。

今回の特定のワークロードと設定におけるテスト結果では、3 つの構成の中で G7 が最も高いスループットと最低のレイテンシを実現しました。G7 の出力トークン数は秒間 391.3 で、G6 より約 60.8%、G5 より約 13.0% スループットが高いことが確認されています。

また、G7 は平均リクエストレイテンシを G6 と比較して約 37.6%、G5 と比較して約 10.8% 短縮しています。P99 の値で見るとその差はさらに顕著で、G7 は G6 より約 54.7%、G5 より約 20.2% レイテンシを低減させています。

ストリーミングパフォーマンスの評価

インタラクティブなコーディングアプリケーションに対する応答性を評価するため、G7 エンドポイントでストリーミングベンチマークも実施しました。

G7 は、中値の TTFT（Time to First Token）が約 118 ms と非常に短く、生成されたコンテンツをすばやく表示できるインタラクティブなアプリケーションの実現が可能です。また、平均 ITL（Inter-Token Latency）は 8.9 ms で、開発者向けコパイロットや IDE ベースのコード生成など、一貫したトークン配信が必要なユースケースにも対応しています。

Key findings

今回のベンチマーク結果から、推論インフラストラクチャを選択する際には、実際のモデルとワークロードを測定することがいかに重要かがわかります。Qwen3-Coder のワークロードにおいては、ml.g7.12xlarge が 3 つの構成の中で最も優れたパフォーマンスを発揮し、最高スループットと最低の平均・テールレイテンシを実現しました。

ただし、これらの結果は本ベンチマークで使用したモデル、サービング設定、トークン分布、並行処理数、およびワークロードに固有のものです。本番環境へのデプロイでは、自社のアプリケーションで想定されるトラフィックを反映したワークロード特性に基づいて評価を行う必要があります。

次のユースケースではアプローチを変えます。エンドポイント構成を手動で選定してベンチマークするのではなく、*Amazon SageMaker AI Generative AI Inference Recommendations* を活用し、候補となる構成を検索して、そのワークロードに最適なオプションを提案します。

Use case 2: Generate deployment recommendations for Nemotron-3-Nano-30B

本ケーススタディでは、Amazon SageMaker AI の生成 AI インフラ推薦機能を用いて、NVIDIA Nemotron-3-Nano-30B-A3B-NVFP4 に対する最適なデプロイ構成を特定します。

ベンチマークワークフローが比較対象のエンドポイントから始めるのに対し、推薦ワークフローはモデル、想定される負荷、候補となるインスタンス、そして最適化目標からスタートします。Amazon SageMaker AI は実行可能な構成を評価し、測定されたパフォーマンスに基づく推奨結果を返します。

本例では、PerformanceTarget.THROUGHPUT を用いてスループットを最適化対象とします。また、測定したスループットとインスタンス価格から出力トークンあたりのコストも分析し、TTFT や ITL といったレイテンシ指標についても確認します。

関連するノートブックには、完全な実装コードが含まれています。

ステップ 1: 代表的なワークロードの定義

リクエスト形状が推奨されるデプロイ構成にどう影響するかを理解するため、2 つのワークロードプロファイルを検証します。