ページを読み込み中…
1件の記事
vLLM はエージェント型ワークロードの増加に対応するため、KV キャッシュ管理や並列処理、プリフェッチ/デコード分離手法などを含む最適化技術を AgentX ベンチマークで検証し、公開した。