ページを読み込み中…
2件の記事
Tencent Hunyuan の HPC-Ops が SGLang に統合され、Hy3 モデルの TPOT 最大 48.8% 削減が期待される。
騰訊の AI モデル「混元」が開発した高性能アテンションおよび MoE バックエンド技術が、vLLM へ統合された。これにより大規模モデルの推論効率が向上する。