#disaggregated architecture のAIニュース

SageMaker HyperPod における LLM 推論のための分離型プリフィルとデコード

AWS は、SageMaker HyperPod で大規模言語モデルの推論効率を向上させるため、プリフィル処理とトークン生成（デコード）を別々の GPU プールで実行する「Disaggregated Prefill and Decode」技術を発表した。これにより、長いプロンプトによる並列リクエストの遅延が解消される。