SGLang、推論向け CUDA Graph の高度化技術と Breakable CUDA Graph

記事の3ポイント

1. 1

   共通ランナー・バックエンドインターフェースの導入

   SGLang は CUDA Graph サポートを共通のランナー/バックエンドインターフェースを中心に再構築し、異なるキャプチャ戦略を実行パス間で再利用可能にした。

2. 2

   Breakable CUDA Graph の実装とデフォルト化

   複雑なプリフィル処理向けに開発された Breakable CUDA Graph が SGLang のデフォルトとなり、トランスパイラ不要でグラフ構築が 3.8〜5.2 倍高速化した。

3. 3

   フル CUDA Graph とメモリ管理の高度化

   リクエストパディングを用いたプリフィル全体のキャプチャ（フル CUDA Graph）や、形状間でのメモリ再利用を含む高度なメモリ管理技術が導入された。