#cuda graph のAIニュース

SGLang、推論向け CUDA Graph の高度化技術と Breakable CUDA Graph

SGLang は推論エンジンでカーネル起動オーバーヘッド削減のため共通インターフェースに基づく CUDA Graph をリファクタリングし、Breakable CUDA Graph を導入した。