#アジェント ai のAIニュース

vLLM、長文コンテキスト処理向け効率的なデコード・コンテキスト並列化を公開

vLLM は、エージェント AI の大規模コードや長いチャット履歴の推論に必要な KV キャッシュの効率化のため、アテンションヘッドによる分割に依存しない新しいデコード・コンテキスト並列化手法を発表した。