vLLM、GLM 5.3 のハイブリッド HiSparse オフロード技術で推論高速化とメモリ効率向上を実現

記事の3ポイント

1. 1

   ハイブリッド HiSparse の導入

   vLLM は GLM 5.3 の推論において、GPU メモリに余裕がある間はキャッシュを保持し、圧力がかかった際にのみ CPU へオフロードするハイブリッド HiSparse 機構を導入した。

2. 2

   メモリ制約の突破と高コンテキスト対応

   この技術により、8× H200 という限られたハードウェア環境でも GLM 5.3 のフル 100 万トークンコンテキスト長での実行が可能となり、以前は不可能だった利用を実現した。

3. 3

   インデクサー層の効率化

   GLM 5.3 の IndexShare 機能により、4 つのスプース MLA レイヤーに 1 つのインデクサー層しか必要とせず、GPU に残存させるインデクサー KV のサイズが大幅に削減された。