Qwen3.8-Flash-Next の SGLang Day-0 サポートを発表

イントロダクション

本日、Qwen チームはマルチモーダルな MoE モデル「Qwen3.8-Flash-Next」をオープンソース化しました。これは次期アーキテクチャである Qwen4 の早期プレビュー版であり、Qwen3-Next が Qwen3.5 に対して果たした役割と同様に、Qwen4 の先駆けとなるものです。Gated DeltaNet + Gated Attention というハイブリッド設計は、Qwen3.5 から Qwen3.8 まで一貫して採用されています。また、Qwen チーム、NVIDIA チーム、AMD チームとの連携により、SGLang が本モデルに対する Day-0 サポートを提供しています。

Qwen3.8-Flash-Next は、以下の主要領域でアーキテクチャのアップグレードを実現しました。

• GDN + QSA ハイブリッドアテンション: Gated DeltaNet (GDN) が履歴を効率的に圧縮し、Qwen Sparse Attention (QSA) は軽量なインデクサを用いてマイクロブロック単位で重要なコンテキストを選択します。これにより、長文シーケンスにおけるアテンションコストを低く抑えています。

• Gated Residual (GR): 残差ストリームを 4 つのブランチに拡張し、動的なゲートによって読み書きを制御することで、層間での情報フローを強化しました。

• N-gram Embedding: ローカルコンテキストに基づいて検索を実行し、一般的なフレーズや局所的なパターンに対する追加表現を提供します。これにより、計算コストの増大を抑えつつモデルの容量を拡張しています。

主な特徴:

• ハイブリッドアーキテクチャ: 125B パラメータを持つメインモデルに、追加で 51B の N-gram Embedding を備えています。トークンあたりには 6B パラメータが活性化されます。全層数は 48 層で、その内訳は GDN リニアアテンション層が 36 層、QSA スパースアテンション層が 12 層です。MoE 層では 512 のエキスパートを持ち、トップ 10 ルーティングを採用しています。

Day-0 サポートが SGLang で提供された Qwen3.8-Flash-Next の NVFP4 チェックポイント（RadixArk/Qwen3.8-Flash-Next-NVFP4）をリリースしました。

N-Gram Embedding をホストメモリにオフロードすることで GPU メモリ使用量を大幅に削減し、非同期プリフェッチによってモデル計算と重なるようにしています。これにより、ほぼ追加コストなしで処理効率を向上できます。

NVIDIA と共同開発した Gated Residual は FlashInfer を通じて提供されており、低遅延の単一 GEMM パス（カーネルレベルで 2.05 倍の高速化）を実現する高性能な Mix/Combine HyperConnection オペレーターを備えています。

GDN+QSA ハイブリッドアーキテクチャ向けの KV キャッシュメモリ管理「GDN+QSA」は、Radix Cache と互換性があります。

Speculative Decoding では、MTP ドラフトモデル用のインデックス再利用機能を搭載。長いコンテキスト長におけるドラフトモデルのインデクサ時間を短縮します。B200 で TP4 設定の場合、NVFP4 チェックポイントは MTP を使用してバッチサイズ 1 で 540 tok/s の推論速度を達成し、平均受け入れ長は 3.3（ボーナストークンを含む）です。

起動コマンドと各ワークロードの設定ガイドについては、SGLang Cookbook をご確認ください。

モデルアーキテクチャ

• GDN+QSA ハイブリッドアーキテクチャ: Qwen3.5 で導入された設計を踏襲し、Qwen3.8-Flash-Next は GDN とアテンションを組み合わせたハイブリッド構造を採用しています。4 レイヤーに 1 つの割合で、そのうち 3 レイヤーが GDN（Gated Dynamic Network）層として機能し、過去の情報を固定サイズの状態へ圧縮します。残りの 1 レイヤーでは、全文コンテキストに対して精密な検索処理を行います。グローバルアテンション層においては、コンテキスト長が伸びるにつれて計算量と KV キャッシュのメモリアクセスコストが大幅に増加するという課題に対処するため、Qwen Sparse Attention (QSA) を新たに導入しました。スパースアテンションは重要なコンテキストのみを対象とすることで、長期シーケンスにおける計算負荷を削減します。さらに QSA は、シーケンスをマイクロブロックに分割し、ブロック単位で重要度を推定した上で最も関連性の高い領域を選択する仕組みを採用しています。これにより、インデックスのオーバーヘッドとアテンションコストの両方を同時に低減できます。

• ゲート付きリジデュアル (GR): 2 つのアイデアを融合させた構造です。Hyper-Connection に倣い、リジデュアルストリームを複数のブランチに拡張するとともに、GatedNorm スタイルの要素ごとの動的ゲートをリジデュアル読み出しに組み込みました。従来の単一のリジデュアルストリームは 4 つの並列ブランチ に拡大され、モデルが現在のコンテンツに基づいて、各ブランチからどの程度の情報を取得し、どの程度書き戻すかを動的に判断できるようになっています。

N-gram Embedding では、「現在のトークンとその直前の数トークン」で構成されるローカルコンテキストを用いて検索が行われます。これにより、一般的なフレーズや局所的なパターンに対する追加的な表現が提供されつつ、トークンあたりの計算オーバーヘッドはほぼゼロに抑えられます。N-gram Embedding は GPU メモリを節約するため、ホストメモリ上にのみ配置可能です。検索位置は事前に計算され非同期でプリフェッチされるため、GPU メモリを恒久的に占有することはありません。最終的に、このモデルはネットワークの初期部分に単一の N-gram Embedding レイヤーを採用し、比較的低コストで大規模な「局所パターン記憶」を実現しています。

IndexShare MTP では、ターゲットが直前に受け入れたトークンに対して draft-extend パスが計算した QSA のトップ k 選択結果を、MTP イテレーション全体で保持します。これにより、すべてのドラフトデコードステップでインデクサをスキップし、凍結された選択結果とそれ以降にドラフトされた位置のみを読み込むことができます。長いコンテキスト長において、この手法は MTP のドラフトステップを大幅に高速化します。

Qwen Sparse Attention: 粗く検索し、精密に注意する

Qwen3.8-Flash-Next は、圧縮率 4 の圧縮された QSA（c4）を採用しています。各 QSA レイヤーには 2 つのパスが存在します。軽量なインデクサが「どこを見るか」を決定し、スパース GQA が選択されたエントリを元のアテンション K/V キャッシュから読み取ります。

インデックスは、128 次元のクエリヘッドを 4 つと共有キーヘッドを 1 つ投影します。元のインデックスキー 4 つを FP32 で平均化し、正規化した上で、最初のトークンの MRoPE 位置に基づいて回転させることで、1 つの圧縮キーを生成します。

この圧縮ブロックに対して、クエリが以下の式でスコアを計算します。

st,b = (1/√128) Σ(h=1 to 4) ReLU(⟨q^I_t,h, k̄^I_b⟩)

QSA はスコアの最も高い 512 ブロックを選択し、これらを元の 2048 の論理トークン位置に展開します。さらに、現在処理中の不完全なブロックに含まれる 0〜3 トークンを追加します。その結果、最終的なスパースアテンションが参照する最大位置数は 2051 となります。

重要なのは、圧縮キーはあくまでインデックスとして機能し、最終的なソフトマックス計算や値の集約には元の非圧縮された K/Vを使用することです。

つまり QSA は、わずかなキャッシュ容量を犠牲にする代わりに、長文コンテキストにおける計算量とメモリアクセスを大幅に削減します。インデックスは約 L/4 の小規模キーを走査し、スパースアテンションでは全 L 個ではなく約 2K 個の完全な K/V エントリのみを読み込みます。

モデル全体の KV メモリ節約効果は、ハイブリッドレイアウトによるものです。48 レイヤーのうち 12 レイヤーのみが拡張するアテンション K/V を保持し、残りの 36 レイヤーである GDN レイヤーは固定サイズの状態を使用します。これは QSA レイヤー内部で K/V を破棄しているわけではなく、レイヤーごとの役割分担によるものです。

SGLang はインデクサーをフルアテンション層にのみ接続し、その MRoPE 実装を流用します。元の K/V（キー・バリュー）は通常のページドプール内に保持されます。QSA では 4 トークンごとに BF16 で圧縮されたインデックスキーが 1 つ追加され、未完了ブロックの生キーはリクエストごとに 4 スロットのリングバッファに格納されます。これにより、コンテキスト全体に対して生インデックスキーを保持する必要がなくなり、QSA のインデックスキャッシュオーバーヘッドを 80% 削減できます。ページアライメントされた full_slot / 4 アドレッシングにより、圧縮キャッシュは Radix Cache の所有権に従って動作し、独立したライフサイクルを必要としません。

プリフェル（事前計算）では、カスタム GPU カーネルがインデックススコアを計算し、高速な top-k 選択でブロックを選定、Triton がインデックスを展開してスパース GQA を実行します。デコードでは、同じスコアラーのページド版を使用し、選定された元の K/V を圧縮して、Blackwell 上では TRTLLM-Gen に、それ以外ではパケット化された FlashAttention に転送します。インデクサーはメインの Q/K/V プロジェクションを第 2 の CUDA ストリーム上でオーバーラップでき、メタデータ経路も CUDA グラフに対応しています。

QSA レイヤーは、どのトークンに注意を向けるかを選択するインデクサーを実行し、その後でその選択されたトークンのみに対してスパースアテンションを適用します。2 段階目の処理ではトークン数に固定の予算が割り当てられます。1 段階目では、クエリがすべての ⌈L/4⌉ ブロックに対して評価されます。そのため、トークン数が数千を超えると、コストを決めるのはアテンションそのものではなく、それを支えるインデクサーとなります。

層。推測デコーディングはこれをさらに増幅します。--speculative-num-steps N を指定すると、1回の MTP（Multi-Token Prediction）反復で N 回のインデクサー呼び出しが発生し、そのうち N - 1 回はドラフトデコードのフォワードパスとして消費されます。

1 つのドラフト拡張により、ドラフトを最大で N 位置進めることができます。

ドラフトデコードステップでは、インデクサーの実行を完全に停止します。MTP の各反復は、ターゲットが直前に受け入れたトークンに対するドラフト拡張で開始され、このパスでもインデクサーは必ず実行されます。各リクエストの最後に受け入れられた行はこの時点でキャプチャされ、ドラフトループ全体で再利用されます。検索時には N + 1 列が追加され、キャプチャ以降にドラフトされたトークンの位置情報が埋め込まれるため、ドラフト側は自身の進行中のトークンを正しく認識できます。

選択対象となるのは論理的なトークンインデックスのリストであり、リクエストは常に成長する一方なので範囲外になることはありません。また、クエリの移動幅が最大でも L 中 N の位置であるため、再利用されるランキングはインデクサーが再計算した結果とほぼ同等になります。その結果、受け入れられるトークンの長さも変化しません。

ドラフトのインデックス処理は、MTP 反復ごとに N 回の呼び出しから 1 回に削減されます。これに伴い、圧縮されたデコードビューや待機リング・グループリングレイアウトなど、インデックスを支援するためにのみ存在する小さなメタデータカーネルも、ドラフトデコードステップから削除されます。

HyperConnection カーネルの最適化

HyperConnection (HC) は 4 つの並列な残差ストリームを維持しますが、Attention や MoE は単一の隠れ状態上で動作します。そのため、各ブロックでは Mix を用いて 4 つのストリームから読み込み、Combine でその出力を書き戻す必要があります。ここで M は 1 回の呼び出しで処理されるトークン数を表し、デコード時や推測検証時には小さな値になりますが、prefill 時には数千に達することもあります。このため、M の値に応じて異なるカーネルを呼び出します。

Mix

Mix は低ランク射影を用いて要素ごとのゲートを生成し、4 つの残差ストリームを 1 つの隠れ状態に圧縮します。M ≤ 16 の場合、FlashInfer PR #4266 で紹介された低遅延のスプリット K CuTe GEMM を使用します。スプリット K は K 次元を分割し、複数の CTAs が同じ出力領域を並列処理することで、M 次元の並列性の制限を補います。SiLU、Sigmoid、ゲート化、そして最終的な縮約は、2 つの GEMM エピローグに統合され、グローバルメモリへの中間書き込みが不要になります。アップ射影の重みはオフラインで再配置されており、各出力に対する 4 つのゲート値をタイル内で局所的に縮約できます。より大きな M の場合、実装では cuBLAS を使用し、これらの形状に対してより効率的な処理を行います。

NVIDIA B300 上で M = 4 の条件で、融合パスにより Mix レイテンシは 12.36 µs から 6.03 µs に短縮され、カーネルレベルで 2.05 倍の高速化が実現しました。また、従来の Triton パスとのエンドツーエンドの推測デコードベンチでは、スループットが 7.6% 向上しています。

Combine

計算では4つの注入係数を算出し、4つのストリームに対して残差更新を適用します。M が大きい場合、1 つの融合カーネルが各トークン行を単一のパスで処理します。一方、M が小さい場合はこのマッピングでは CTAs（並列実行単位）が不足するため、M ≤ 32 の経路では各行を隠れ次元に沿って分割して処理します。

この 2 つのカーネルを実装することで、並列処理能力を十分に確保しつつ、参照となる FP32 の累積順序とビット単位で同一の出力結果を維持することが可能になります。

M = 4 の場合、分割パスにより Combine のレイテンシは 4.17 µs から 2.13 µs に短縮され、カーネルレベルで 1.96 倍の高速化が実現します。また、元の「行ごとの CTA を 1 つだけ使用する」カーネルとのエンドツーエンドベンチマークでは、スループットが 5.49%向上しました。M の値が大きくなる場合、融合されたカーネルは cuBLAS ベースのベースラインに対して最大 2.54 倍高速となり、有効帯域幅は 6144 GB/s に達します。

形状認識型ディスパッチにより、HC は低レイテンシのデコードと大規模なプレフィルの両方に対して適切な実行パスを自動的に選択できます。

Per-Layer Embeddings (PLE)

Architecture

このモデルは、第 2 デコーダーブロック（設定された層 ID は 2、ゼロベースインデックスでは 1 に相当）に PLE を配置しています。PLE とはハッシュアドレス指定された学習済み N-gram エンベディングメモリです。512 億個のエンベディングパラメータは BF16 で約 95.4 GiB の容量を占めますが、これらは KV キャッシュや可変なアテンションメモリではなく、固定されたモデル重みとして扱われます。

トークン x_t に対して、8 つの 2-gram ハッシュヘッドが (x_{t-1}, x_t) を使用し、8 つの 3-gram ハッシュヘッドが (x_{t-2}, x_{t-1}, x_t) を使用します。これにより、合計 16 の埋め込み行 ID が生成されます。

各行は 160 の値を出力し、これらを連結して形状が [2560] の E_t を作成します。

第2デコーダーブロックにおけるPLE。スパースN-gram検索は、HC Mix前に4つのHCブランチにゲート処理されます。SGLang は語彙並列化されたテーブルシャードをピン留めされたホストメモリへ移動し、トークンごとに選択される16行分のみを集約します。

E_t ∈ R^2560 → K_t ∈ R^(4×2560), V_t ∈ R^2560

R_t ∈ R^(4×2560) → Q_t ∈ R^(4×2560)

g_t = Gate(Norm(Q_t), Norm(K_t)) ∈ R^(4×1), U_t = g_t ⊙ V_t

Δ_t = U_t + SiLU(DWConv(RMSNorm(U_t)))

R~_t = R_t + Δ_t, R~_t → HC Mix h_t ∈ R^2560

4 行目は、ゲート化された値を短距離畳み込み出力に加算して PLE のデルタを形成するものです。5 行目では、このデルタが HC 状態に注入されます。PLE は、ハッシュ処理に使用される直近のトークン ID2 つと、形状が [10240, 9] の短距離畳み込み履歴という、2 つのリクエストローカルな状態を保持します。対象モデルは、プリフィル、デコード、およびターゲット検証の全工程で PLE を維持しますが、1 レイヤーの MTP ドラフトモデルのみがこれを無効化します。

Sparse Pinned-Host Offload

各トークンが 16 行にのみアクセスするため、SGLang は各ランクの語彙並列テーブルシャードをピン留めされたホストメモリ上に保持し、Triton UVA カーネルを用いて選択された行を小さな BF16 GPU バッファへ集約します。専用の CUDA ストリームが、この集約処理を最初のデコーダーブロックの実行とオーバーラップさせます。既存の TP 削減および DP の gather/scatter パスは維持され、オフロードは記憶場所のみを変更するものであり、テーブルの所有権や PLE の計算ロジックには影響しません。この CUDA パスは、有効なモデルデータ型が BF16 の場合にデフォルトで有効化され、KV キャッシュや一般的なレイヤーオフロードとは独立して動作します。

H200 環境（TP4、MTP-213：ドラフトステップ数 2、top-k 1、ターゲット検証あたりドラフトトークン数 3）において、このオフロード機能により、GPU あたりのターゲットモデル重みサイズは 83.91 GiB から 60.45 GiB に減少し（-23.46 GiB）、同じメモリ使用率の範囲内で割り当て可能な KV キャパシティが 1.84M トークンから 3.28M トークンへと拡大しました（+78.54%）。並行リクエスト数 1、2、4 のいずれの場合も、スループットは実質的に変化せず（幾何平均で -0.07%）、4 つの固定プロンプト（各 128 トークン生成）からの出力 ID は完全に一致しました。また、最初のケースにおける選択トークンの対数尤度（logprob）トレースも正確に一致しています。

謝辞

本研究は、RadixArk の SGLang チーム、Qwen、NVIDIA、AMD による共同作業です。

SGLang コミュニティ: Qiaolin Yu, Yuhao Yang, Cheng Wan, Xinyuan Tong, Zijie Xia, Ke Bao, Mingyi Lu, Haoguang Cai, Banghua Zhu, Ying Sheng

Qwen: Yi Zhang, Yizhong Cao, Guangda Liu

AMD: Andy Luo, Haichen Zhang

NVIDIA と SGLang は共同で、Blackwell および Hopper 上で Qwen3.8-Flash-Next のパフォーマンスを最適化しました。