Qwen3.8-Flash-Next 176B モデルを NVIDIA GB300 NVL72 で実験

記事の3ポイント

1. 1

   Qwen3.8-Flash-Next の基本仕様と目的

   アリババは次期 Qwen4 アーキテクチャのプレビューとして、176B パラメータ（アクティブ 6B）のマルチモーダル MoE モデルを公開し、アジェンティックコーディングやドキュメント処理などの高負荷・長文コンテキスト用途に設計されている。

2. 2

   NVIDIA によるハードウェアおよびソフトウェアサポート

   NVIDIA は SGLang や vLLM、TensorRT LLM を通じた Day 0 サポートを提供し、GB300 NVL72 での推論検証や NeMo AutoModel/RL によるポストトレーニングレシピを公開している。

3. 3

   長文コンテキスト処理のためのハイブリッドアーキテクチャ

   モデルは Gated DeltaNet (GDN) と Qwen Sparse Attention (QSA) を組み合わせたハイブリッド構造を採用し、GDN で履歴を圧縮して KV キャッシュの成長を防ぎつつ、QSA で必要な領域のみを選択的に処理する。