HPC-Ops、SGLang に統合され推論性能向上

記事の3ポイント

1. 1

   HPC-Ops の SGLang 統合と実用化

   騰訊が自社大規模運用で検証済みの HPC-Ops ライブラリ（Dynamic Attention、Fused MoE など）をオープンソースの SGLang メインブランチに統合し、コミュニティへの提供を開始した。

2. 2

   NVIDIA H20 における性能向上

   HPC-Ops のアテンション機能は H20 で静的スケジューリング比で最大 2.95 倍、既存最良手法比でも平均 2.25 倍の高速化を実現し、Router GEMM は FP32 cuBLAS に対して最大 3.22 倍の速度向上を示した。

3. 3

   MoE カーネルとエンドツーエンド推論

   HPC-Ops の MoE 実装は Hy3 モデルで SGLang や vLLM ベースラインを上回る高速化を達成し、8×H20 環境での TPOT（Time Per Output Token）を最大 48.8% 削減する効果を確認した。