快手万擎大模型、推論コストと性能の全链路最適化手法を公開

記事の3ポイント

1. 1

   性能維持を前提としたコスト削減

   過度な量子化や精度の犠牲なく、モデル能力を損なわずに単位 Token コストと TTFT/TPOT を改善する手法が採用されている。

2. 2

   kLLM エンジンの全链路最適化

   並行実行、PD 分離、階層型 KV キャッシュ、推測デコーディング、および高度なスケジューリングシステムを含む独自エンジン kLLM が実装された。

3. 3

   新世代モデル構造への対応

   Sparse MoE や長文コンテキストを扱う GLM-5.2 や DeepSeek-V4 などの新しいアーキテクチャに対応し、計算・通信・メモリ負荷の再配分を実現した。