vLLM Blog の最新記事

公式

9件の記事

vLLM、柔軟なMoE推論向けAFDプラグイン発表

vLLMが、アテンションとFFNを分離する「AFDプラグイン」を発表し、柔軟なMoE（混合専門家）モデルの推論サービスを実現した。

vLLMが、中国の月之暗面（Moonshot AI）が開発した大規模言語モデル「Kimi K3」の生産環境での利用をサポートするプレビュー版を発表しました。

vLLM は、次世代の AI モデルが単体ではなくシステムとして機能する「モデル混合時代」への移行が必要だと主張し、その実現に向けた技術的アプローチを提示した。

vLLM ブログが、CI（継続的インテグレーション）、ベンチマーク、リリースプロセスを通じて vLLM の生産環境での品質を維持する方法について内部を公開した。