#予測デコーディング のAIニュース

vLLM×AMD GPUでEAGLE-3推論を高速化

vLLMとAMD Quarkを活用し、AMD Instinct GPU上でEAGLE-3の予測デコーディングの学習・推論を実現した。