#curvine のAIニュース

Amazon SageMaker HyperPod で大規模 LLM の KV キャッシュ最適化技術「Curvine」

AWS は Amazon SageMaker HyperPod で大規模言語モデルの推論をスケールする際、KV キャッシュのトレードオフを解決する新技術「Curvine」を導入した。