vLLM、GLM 5.3 のハイブリッド HiSparse オフロード技術で推論高速化とメモリ効率向上を実現

記事の3ポイント

1. 1

   ハイブリッド HiSparse の導入

   vLLM は GLM 5.3 向けにハイブリッド HiSparse を導入し、GPU メモリ不足の状況下でも KV キャッシュを CPU にオフロードする機構を実装した。

2. 2

   100 万トークンコンテキストの実現

   この技術により、8× H200 ノードという限られたハードウェア環境で GLM 5.3 のフル 100 万トークンコンテキスト長での実行が可能になった。

3. 3

   動的なメモリ管理の最適化

   システムに負荷がかからない限りキャッシュを GPU に保持し、圧力がかかる場合にのみオフロードを行うことで、転送コストを抑えつつ高同時実行数を達成する。