#バッチ推論 のAIニュース

Anyscale、Ray Data LLM が vLLM の同期エンジンより 2 倍のスループットを実現

Anyscale は Ray Data LLM が、合成データ生成や大規模評価などの生産スケールにおける LLM ワークフローで、vLLM の同期エンジンよりも 2 倍の高いスループットを提供することを発表した。