Amazon SageMaker HyperPod で大規模 LLM の KV キャッシュ最適化技術「Curvine」

記事の3ポイント

1. 1

   階層型 KV キャッシュアーキテクチャの実装

   AWS は GPU メモリと CPU メモリの限界を超え、共有分散 NVMe プールまでキャッシュ階層を拡張するアーキテクチャを構築した。

2. 2

   Curvine による L2 ティアとしての統合

   軽量な分散キャッシュファイルシステムである Curvine を導入し、GPU から CPU、そして共有 NVMe までの L2 ティアとして機能させることに成功した。

3. 3

   推論性能とコストの劇的な改善

   テスト環境ではクロス Pod キャッシュヒット率が最大 100% に達し、TTFT は最大 2.7 倍向上して、高価な P5 インスタンスを低コストな G6e インスタンスで代替可能になった。