騰訊混元が vLLM に HPC オプス対応

記事の3ポイント

1. 1

   HPC-Ops ベータの vLLM 統合

   Tencent Hunyuan AI Infra チームが構築したプロダクション向けライブラリ HPC-Ops の Attention および MoE カーネルが、vLLM メインブランチにファーストクラス・バックエンドとして正式に統合された。

2. 2

   NVIDIA H20 における性能向上

   Hopper アーキテクチャ向けに最適化されたこれらのバックエンドは、混合長さのデコード処理で FlashInfer や FlashAttention を最大 2.95 倍上回り、MoE パイプラインでも既存ライブラリを大幅に上回る性能を発揮する。

3. 3

   実環境でのエンドツーエンド効果

   8 基の H20 GPU を用いた Hy3 モデルの実行では、デフォルトバックエンドと比較して TTFT（Time to First Token）が約 24%、TPOT（Token Per Output Token）が約 17% 短縮された。