vLLM、エージェント型ワークロード向け最適化技術「AgentX」を公開

記事の3ポイント

1. 1

   AgentX ベンチマークでの高性能実績

   vLLM は SemiAnalysis の AgentX ベンチにおいて、DeepSeek V4 Pro で GPU セットあたり最大 130K トークン、MiniMax M3 で秒間最大 376 トークンの対話速度を達成した。

2. 2

   コスト効率における圧倒的優位性

   DeepSeek V4 Pro、MiniMax M3、Kimi K3 の各モデルにおいて、vLLM は Opus 5 API と比較して 14.6 倍から 106 倍のサービスコスト削減効果を示した。

3. 3

   エージェントワークロードへの最適化

   マルチターンセッションや長いコンテキスト、プリフィックス再利用に対応するため、KV キャッシュ管理、並列処理、エンジン最適化、prefill/decode 分離などの技術的アプローチを採用した。