SageMaker HyperPod における LLM 推論のための分離型プリフィルとデコード

記事の3ポイント

1. 1

   Disaggregated Prefill and Decode の実装

   AWS は Amazon SageMaker HyperPod と vLLM を組み合わせ、Prefill（計算集中型）と Decode（メモリ集中型）を別々の GPU プールで実行する DPD 構造を実現した。

2. 2

   EFA RDMA による高性能通信

   Elastic Fabric Adapter (EFA) を介した Remote Direct Memory Access (RDMA) により、分離されたエンジン間で KV キャッシュを高速に転送し、干渉を排除する。

3. 3

   長文コンテキストと高同時接続への最適化

   4,096 トークンを超えるプロンプトやストリーミング応答が必要なチャットボット、RAG エンドポイントにおいて、TTFT と ITL を独立して制御し、遅延のスパイクを防止する。