ページを読み込み中…
1件の記事
Cohere は、単一の H100 で BF16 を処理するデコード・メガカーネルを中核とした serving エンジンを発表し、vLLM より 1.25〜1.41 倍高速化されたことを GitHub で公開した。