Qwen3.8-Flash-Next 176B モデルを NVIDIA GB300 NVL72 で実験

アリババは、開発者が次世代の Qwen4 アーキテクチャを実験・評価できるよう、Qwen3.8-Flash-Next のモデル重みをプレビュー版として公開しました。このモデルは 176B の総パラメータを持つマルチモーダル混合専門家（MoE）モデルで、そのうち 51B が N-gram 埋め込み用パラメータです。トークンあたりのアクティブパラメータ数は 6B です。

コンテキストウィンドウはネイティブで 262,144 トークンをサポートしており、YaRN を使用することで最大 1M トークンまで拡張可能です。

NVIDIA は、SGLang、vLLM、および NVIDIA TensorRT LLM を通じてベストエフォート型の Day 0 機能サポートを提供しています。また、推論における NVIDIA GB300 NVL72 での検証や、NVIDIA NeMo AutoModel および NVIDIA NeMo RL によるポストトレーニングのレシピも用意されています。

長文コンテキスト推論のためのアーキテクチャ革新

Qwen3.8-Flash-Next は、アジェンティックコーディング、ドキュメント処理、ツール駆動型ワークフローなど、大量かつ文脈依存度の高いアプリケーション向けに設計されています。コンテキストが拡大するにつれ、アテンション計算量と KV キャッシュのメモリ使用量がボトルネックとなります。この課題に対し、本モデルはゲート付きデルタネット（GDN）とQwen スパースアテンション（QSA）を組み合わせたハイブリッドアーキテクチャで対応しています。

全レイヤーのうち 4 つに 3 つは GDN を採用し、過去の文脈を固定サイズの再帰状態へ継続的に圧縮します。これにより、シーケンスが長くなっても KV キャッシュが増大する問題を解消しました。残りの 1 レイヤーには QSA を使用し、フルコンテキスト範囲内での精密な情報検索を実現しています。

従来のスパースアテンション手法は、トークンレベルのインデクサに依存しており、コンテキスト長が伸びるにつれて計算コストが急増する課題がありました。QSA（Query-Sparse Attention）はシーケンスをマイクロブロックに集約し、ブロック単位で重要性を推定して最も関連性の高い領域のみを選択します。これにより、各層内のアテンション処理、計算量、インデックスのオーバーヘッドを大幅に削減。GDN と QSA のレイヤーが交互に配置されるアーキテクチャに特に適しています。

Alibaba が公開したベンチマークによると、QSA は 1M トークン規模のワークロードにおいて効率性を向上させることが示されています。フルアテンションと比較すると、事前計算（prefill）段階で最大 7.6 倍、デコーディング段階で最大 4.9 倍の高速化が達成されました。また、1M トークンのコンテキスト長かつ 90% のプレフィックスキャッシュヒット率という、キャッシュ負荷の高いオンライン推論テストでは、Qwen3.8-Flash-Next は Qwen3.7-Plus を上回る 8.6 倍の事前計算スループットを記録しました。

図 1. Qwen3.8-Flash-Next の概要。大規模コンテキスト推論におけるメモリと計算量の削減のため、GDN レイヤーを 3 層、MoE を備えた QSA レイヤーを 1 層配置した構成を示しています。

NVIDIA GB300 NVL72 上での Qwen3.8-Flash-Next の実行

GB300 NVL72 は、72 基の NVIDIA Blackwell Ultra GPU を単一プラットフォームに統合したラックスケールアーキテクチャを特徴としています。この大規模な 72-GPU の NVIDIA NVLink ドメインにより、従来の市販ネットワークを介して専門的なトラフィックが通過する際に発生するボトルネックを解消し、130 TB/s という高速なオール・トゥー・オール通信を実現します。

NVIDIA GB300 NVL72 上で動作させることで、GPU あたり 16K トークン/秒以上、ユーザーあたり 200 トークン/秒以上の処理速度が得られ、開発者は高スループットかつ低遅延でエージェント型コーディングアプリケーションの実験が可能になります。

ラックスケールでの展開に加え、Qwen3.8-Flash-Next はローカルの NVIDIA ハードウェアでも動作します。具体的には、NVIDIA DGX Station、NVIDIA DGX Spark クラスター、および 4 基の NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU を搭載したワークステーションです。開発者はローカル環境でエージェント型コーディングワークフローのプロトタイプ作成や評価を行い、本番環境向けには同じモデルを GB300 NVL72 にスケールアップして提供することが可能です。

Post-train Qwen3.8-Flash-Next and serve it with your preferred inference engine

開発者は、NVIDIA NeMo AutoModel を使用して、ドメイン固有のユースケース向けにモデルをファインチューニングできます。これは PyTorch ネイティブのファインチューニングライブラリで、Day-0 の Hugging Face チェックポイントに対応しています。モデル変換を行わずに既存のチェックポイントから直接トレーニングでき、フル SFT やメモリ効率の高い LoRA ファインチューニングもサポートされています。さらに一歩進んで、NVIDIA NeMo RL recipes を用いて強化学習を実行することも可能です。

NVIDIA は、多様な開発者のニーズに応えるため複数の推論スタックをサポートしています。SGLang、vLLM、そして TokenSpeed は、NVIDIA 加速プラットフォーム上でパフォーマンスをより細かく制御したい開発者向けのオープンソース推論レシピを提供しています。

Qwen3.8-Flash-Next の始め方

QwenCloud からモデルを試すことができます。

モデルの重みは、Hugging Face または ModelScope からダウンロードできます。

著者について