NVIDIA、マルチモーダルモデルの高速化に EPD 非集約手法を提案

マルチモーダルモデルの推論を最適化する手法として、エンコード・プリフィル・デコード（EPD） disaggregation があります。これはビジョンエンコーダー段階を、プリフィルとデコードの段階から分離する技術です。この手法は、画像中心のプロンプトや、短〜中程度の出力、そして量子化された mixture-of-experts (MoE) モデルにおいて最も効果を発揮します。

本記事では、NVIDIA Dynamo を用いて EPD disaggregation をいつ、どのように適用すればよいかを解説します。これにより、最初のトークン生成までの時間（TTFT）が最大 5 倍、エンドツーエンドの応答時間が最大 7 倍高速化されます。また、EPD disaggregation の適用が推奨されないシナリオについても言及します。

Dynamo は、分散環境で AI モデルをサービスするためのオープンソース推論フレームワークです。EPD disaggregation をサポートしており、これにより各フェーズを独立してスケーラブルなステージとして分離できます。従来のように緊密に結合されたスケジューリングやスケーリングパターンで一括実行するのではなく、それぞれを別々に扱います。専用のエンコーダーワーカーを導入することで、バッチ処理の効率化、メモリ使用量の最適化、そして全体のスループット向上が期待できます。

EPD disaggregation が重要な理由

マルチモーダルなリクエストでは、LLM のプリフィル処理が始まる前に追加の作業が発生します。サービススタックはメディアの前処理を行い、ビジョントランスフォーマー（ViT）を実行して埋め込みベクトルを生成する必要があります。集約型（aggregated）のサービス構成では、ビジョンエンコーディング、LLM のプリフィル、デコードがすべて 1 つのワーカーと 1 つのスケジューリングドメインで共有されます。メディア処理がワークロードのごく一部を占める場合のみ、このシンプルな設計は十分に機能します。

*図 1. シングル画像、マルチ画像、動画リクエストごとの TTFT（Time To First Token）の内訳。メディア前処理、ViT の順次計算と投影、LLM のプリフィルに分けて示しています。

リクエストに含める画像や動画が増えるにつれて、このバランスは変化します。ビジョンエンコーダーの処理には数百ミリ秒、あるいはそれ以上の時間がかかることもあります。エンコーダーと LLM が同じ GPU を共有しているため、メディア負荷の高いリクエストでは、その自身のプリフィル処理が遅延したり、並行して実行されるプリフィルやデコード処理と競合したりします。一方、混合されたトラフィック下では、ビジョンエンコーダーを必要としないテキスト専用リクエストであっても、マルチモーダルリクエストの後ろに待たされることがあります。

Dynamo は、エンコーダーと PD（Prefill-Decode）ワーカーの役割を分離することで EPD 型サービングを実現しますが、ハードウェア上の配置は固定しません。エンコーダーワーカーがビジョン埋め込みを生成し、PD ワーカーがそれらを受け取って LLM を実行します。この分離により、各ステージでバッチ処理やスケジューリング、スケーリングを独立して行うことが可能になります。図 2 では、集約型サービングと EPD サービングを比較しており、エンコードワーカーは NVIDIA Inference Transfer Library (NIXL) を通じて埋め込みを PD ワーカーへ渡します。

図 2：Dynamo における集約型と EPD（Encode-Prefill-Decode）の要求フロー。EPD はエンコード処理を PD ワーカーから分離し、埋め込みベクトルを NIXL を経由して転送します。

エンコードの分離は、特定のシナリオにおいてのみ TTFT（Time To First Token）の短縮と、同じ SLO 条件下での有効スループット（goodput）の向上をもたらします。エンコード処理が独立している場合でも、その負荷がワーカー間の調整コストや埋め込みベクトルの転送オーバーヘッドを上回るほど十分に大きくなければなりません。エンコードワーカーは PD ワーカーと同じ GPU を共有するか、別の GPU タイアで実行されるかによって、配置オプションが異なります。ここでは、エンコードワーカーの異なる配置オプションと、各シナリオにおけるメリットについて探ります。

3 つのエンコード配置トポロジー

図 3 では、集約型サービングと、2 つのエンコード分離型トポロジー（コロケーション型と完全分離型）を比較しています。

• 集約型: 各 GPU は単一の集約型ワーカーを実行します。このワーカーのスケジューラーが、ビジョンエンコーディング、LLM のプレフィル、デコードを一連のリクエストライフサイクルとして管理します。

• コロケーション型エンコーダー: 各 GPU では、1 つ以上のエンコーダーワーカーと 1 つの PD ワーカーを同時に実行します。これにより、ワーカー間で GPU 計算リソースを共有しつつ、個別のリクエストキューとバッチ処理を維持できます。均質なクラスター環境では、コロケーション型エンコーダーが一般的に最適な選択肢となります。ビジョンエンコーダーは LLM に比べて軽量であるため、エンコード専用として同一クラスの GPU を丸ごと確保すると、その GPU のリソースが大幅に遊んでしまう可能性があります。コロケーション型はこの問題を回避し、ワーカーを分離しながらも、エンコード用に GPU を専有する必要がありません。

エンコーダーを分離（Disaggregated）する構成が魅力的になるのは、クラスター内にコストの低い GPU タイアが存在し、それがエンコーダーワークロードに最適化されている一方で、主要な GPU タイアで PD（Prefill-Decode）ワーカーを実行している場合です。Dynamo は、生成されたビジョン埋め込みベクトルを NIXL を経由して PD タイアへ転送します。

テスト環境では、2 枚の NVIDIA RTX 6000D GPU でエンコーダーワーカーを、4 枚の NVIDIA GB200 GPU で PD ワーカーを実行しました。この配置により、負荷の軽いエンコーダー処理を RTX GPU に任せ、計算量とメモリ使用量の多い LLM ワークロードに GB200 GPU を専念させることができます。なお、本分析では、同種の GPU だけで構成される分離型設定については言及していません。なぜなら、そのような構成は統合型（コロケート）エンコーダー設定よりも性能が劣るためです。

ハードウェアの入手可能性がエンコーダーの実行場所を決定し、ワークロードの特徴がその分離によるメリットがあるかどうかを左右します。

図 3. エンコーダー配置の 3 つの選択肢：集約型サービング、コロケート（CUDA MPS を介して GPU を共有する）エンコーダーと PD ワーカー、およびエンコーダーワーカー用に別途用意された低コスト GPU タイアを持つ分離型エンコーダー

EPD の分離によるメリットを決定づける要因は何か？

EPD の効果は、ビジョンエンコーディング、LLM のプリフィル、デコードの各工程にどれだけ負荷が分散されているかに依存します。特に、リクエスト処理時間の多くをビジョンエンコーディングが占めている場合や、スループットがボトルネックになっている場合に EPD は最も有効です。メディア量の多いリクエストではこの状況が発生しやすいですが、メディア負荷だけで結果が決まるわけではありません。出力長さ、モデルサイズ、精度、そしてトラフィックの構成比も、このバランスを大きく左右します。

表 1. 各種要因が EPD パフォーマンスに与える影響

テスト環境

すべてのベンチマークは、精度アブレーション実験を除き Qwen3.5 122B A10B NVFP4 で実行しました。使用したハードウェアは GB200 GPU を 4 基（分散型設定では追加で RTX 6000D GPU を使用）です。

• 集約型: GB200 1 基あたり TP1 の集約ワーカーを 1 つ配置
• 共置 EPD: GB200 1 基あたりエンコーダーワーカー 2 つと PD ワーカー 1 つを配置
• 分散 EPD: エンコーダ層に RTX ノード、PD に GB200 を使用

ビジョン埋め込みの転送には UCX RC/TCP Ethernet 上の NIXL を採用し、ピーク帯域は 20 Gbps を計測しました。フロントエンドには Dynamo を使用し、並列メディアデコード機能を有効化しています。目標とするスループット SLO は、トークン間レイテンシ（ITL）が 100 ms 未満となることです。

画像処理負荷の高いワークロードの例

集約型とエンコーダ分散型のサービス性能を比較するため、以下のリクエスト条件でテストを行いました。1 リクエストあたり 10 枚の画像（各画像は最大 256 トークンに制限）を入力し、OSL を 1024 に設定して、出力シーケンスが長い中程度以上の視覚的負荷をシミュレートします。結果を図 4 に示します。

エンコーダーを同機に配置した場合、TTFT は 58% 低下し、異種構成でも 50% の改善が見られました。ただし、OSL が 1024 と設定されているためモデルは 1024 トークンを生成する必要があり、デコード時間の短縮にはエンコーダーの分離化が直接寄与しないため、エンドツーエンドでの性能向上幅は限定的です。

より注目すべきはスループット（goodput）の改善です。GB200 の予算枠を変更せずにエンコーダー容量を追加した結果、同じレイテンシ SLO を維持しながら、異種構成では 70% も多くのトラフィックを処理できるようになりました。

画像読み込みと OSL は性能向上にどう影響するのか？

5〜50枚の画像を対象とした一連の実験で、各画像のトークン予算を 128/256 に設定し、OSL を一定に保ちながら、TTFT とエンドツーエンドレイテンシへの影響を分析しました。その結果、エンコーダーを集約した構成では TTFT とエンドツーエンドレイテンシの両方が劣化する一方、分離型トポロジー（EPD）を採用した場合、性能はほぼ一定に保たれることが確認されました。

次に、画像読み込み数を 5 枚に固定したまま、OSL（出力シーケンス長）を 128 から 2,048 に変化させました。その結果、TTFT（Time to First Token）は OSL の増加に伴ってもほぼ一定でしたが、デコード時間がエンドツーエンドのレイテンシにおいて支配的になる傾向が強まりました。これにより、EPD（Encode-Prefill-Decode）方式が従来型のアグリゲート型サービスに対して示していたエンドツーエンドの性能向上幅は、20.3% から 5.2% に縮小しました。

また、エンコーダーを同一サーバー内に配置する構成では、追加されたエンコーダーワーカーが PD（Prefill-Decode）ワーカーと同じ GPU を共有するため、OSL の増加とデコード負荷の増大に伴い、GPU 競合がエンコーダー分離による恩恵を相殺し、最終的にはそれを上回る状態となりました。その結果、この構成は 11.8% の性能向上から 2.5% の性能低下へと転じています。

図 7 および図 8 は、さまざまな OSL と画像読み込み数における、TTFT とエンドツーエンドレイテンシの改善率（ベースラインとなる従来型サービスに対する相対値）を示しています。エンコーダー分離は、ほぼすべてのシナリオで入力メディア負荷が高い場合に最大の効果を発揮します。一方で、OSL が高く画像読み込み数が低いシナリオでは、エンコーダーを分離することが逆に性能を低下させる要因となります。

図 7. 入力画像負荷（画像数×視覚トークン数）に対する集約型との比較での TTFT 改善率（Qwen 3.5 122B NVFP4）。コロケート EPD（上段）とヘテロジニアス EPD（下段）。両方のトポロジーで、グリッド全体にわたって 25–93% の TTFT 改善が確認されました。最も負荷の高いセル（50×128 画像、任意の OSL）では 92–93% に達しています。TTFT は出力長に影響されないため、OSL 軸全体で一定の効果が得られています。

図 8. 同じモデルとハードウェア条件下でのエンドツーエンドリクエストレイテンシ改善率。高負荷かつ短出力（OSL）の領域で効果が大きく、軽媒体・長出力になるほど（左上隅へ向かうほど）効果は縮小します。コロケート EPD は、5×128 画像 / OSL 2048 の条件下でわずかな性能低下（-2.5%）を示しました。これはエンベッディング転送のオーバーヘッドが、エンコーダー容量削減によるメリットを上回ったためです。

モデルサイズと精度は EPD の効果にどう影響するか？

モデルサイズが大きくなるにつれ、LLM がサービング負荷の大部分を占めるようになりますが、ビジョンエンコーダーのサイズはほぼ一定のままです。この傾向が EPD（Encode-Prefill-Decode）にどう影響するかを定量化するため、Qwen3.5 4B、9B、27B の各モデルでサイズアブレーション実験を行いました。その結果、ViT パラメータの割合は、4B で 7.2% から、9B で 4.7%、27B では 1.7% に減少することが確認されました。

これに伴い、コロケート EPD の効果も同様の傾向を示し、集約型サービングと比較した際のグッドプットはそれぞれ 2.62 倍、1.50 倍、0.65 倍となりました。

図 9：モデル構成ごとの集約型サービングに対する Same-SLO グッドプット向上率。EPD の効果はモデルサイズが大きくなるほど低下し、27B では逆転点（ブレイクイブン）を下回ります。活性化パラメータが少なく低精度または MoE 構造のモデルでは、より大きな効果が得られます。

パラメータシェアは単なる指標に過ぎず、より直接的な要因は ViT の順方向計算、LLM のプリフィル、デコードという各処理間のランタイムバランスです。ViT の順方向計算がリクエスト処理全体で占める割合が十分に大きい場合こそ、EPD は大きな恩恵をもたらします。