アリババ、Qwen3.8-Flash-NextをNVIDIA GB300 NVL72で実験可能に

アリババは、開発者が次世代アーキテクチャである Qwen4 の仕組みを実験・評価できるよう、Qwen3.8-Flash-Next のモデル重みをプレビュー版として公開しました。これは 1250 億パラメータを備えたメインモデルに、追加で 510 億の N-gram エンベディングを組み合わせたマルチモーダルな混合专家（MoE）モデルです。トークンあたりに活性化されるパラメータ数は 60 億で、ネイティブのコンテキストウィンドウは 26 万 2144 トークンをサポートしています。YaRN を用いることで、最大 100 万トークンまで拡張可能です。

NVIDIA は、SGLang、vLLM、および NVIDIA TensorRT LLM を通じてベストエフォート型の Day 0 サポートを提供します。また、推論における NVIDIA GB300 NVL72 での検証や、NVIDIA NeMo AutoModel および NVIDIA NeMo RL によるポストトレーニングのレシピも用意されています。

長文コンテキスト推論のためのアーキテクチャ革新

Qwen3.8-Flash-Next は、エージェントによるコーディング、ドキュメント処理、ツール駆動型ワークフローなど、高負荷かつコンテキストを大量に必要とする用途を想定して設計されています。コンテキストが拡大するにつれ、アテンション計算量と KV キャッシュのメモリ使用量がボトルネックとなります。この課題に対し、同モデルはゲート付きデルタネット（GDN）とQwen スパースアテンション（QSA）を組み合わせたハイブリッドアーキテクチャで対応しています。

全層のうち 4 層中 3 層に GDN を採用し、長いシーケンスにおいても KV キャッシュの増大を防ぎながら、過去のコンテキストを固定サイズの再帰状態へ継続的に圧縮します。残りの 1 層では QSA を用いて、全体コンテキスト内での正確な情報検索を実現しています。

従来のスパースアテンション手法は、トークンレベルのインデクサに依存しており、コンテキスト長が伸びるにつれて計算コストが急増するという課題がありました。QSA はシーケンスをマイクロブロックに集約し、ブロック単位で重要度を推定して最も関連性の高い領域のみを選択します。これにより、各層におけるアテンション処理、計算量、インデックスのオーバーヘッドを大幅に削減できるため、GDN レイヤーと QSA レイヤーが交互に配置されるアーキテクチャとの相性が非常に良い設計となっています。

Alibaba が公開したベンチマーク [1] では、QSA が 100 万トークン規模のワークロードにおいて効率を向上させることが示されています。フルアテンションと比較すると、事前計算（prefill）段階で最大 7.6 倍、デコード段階で最大 4.9 倍の高速化が達成されました。さらに、100 万トークンのコンテキスト長かつプレフィックスキャッシュヒット率が 90% というキャッシュ負荷の高いオンライン推論テストでは、Qwen3.8-Flash-Next は Qwen3.7-Plus の事前計算スループットを 8.6 倍上回る性能を発揮しました。

[1] https://qwen.ai/blog?id=qwen3.8-flash-next

*Figure 1. Qwen3.8-Flash-Next の概要。大規模コンテキスト推論におけるメモリと計算量の削減を実現するため、GDN レイヤーを 3 層、MoE を備えた QSA レイヤーを 1 層構成としている。

NVIDIA GB300 NVL72 上での Qwen3.8-Flash-Next の実行

GB300 NVL72 は、72 基の NVIDIA Blackwell Ultra GPU を単一プラットフォームに統合したラックスケールアーキテクチャを特徴としています。広大な 72-GPU の NVIDIA NVLink ドメインにより、130 TB/s の高速なオール・トゥー・オール通信が可能となり、専門的なトラフィックが従来の市販ネットワークを横断する際に発生するボトルネックを解消します。

NVIDIA GB300 NVL72 上で動作させることで、GPU あたり 16K トークン/秒以上、ユーザーあたり 200 トークン/秒以上の処理速度を実現。これにより、開発者は高スループットかつ低遅延の環境で、エージェント型コーディングアプリケーションの実験を迅速に行うことができます。

ラックスケールでの展開に加え、Qwen3.8-Flash-Next はローカルの NVIDIA ハードウェアでも動作します。具体的には、NVIDIA DGX Station、NVIDIA DGX Spark クラスター、あるいは 4 基の NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition GPU を搭載したワークステーションなどです。

開発者は、ローカル環境でエージェント型コーディングのワークフローをプロトタイプ化・評価し、本番運用時には同じモデルを GB300 NVL72 にスケールさせることが可能です。

Post-train Qwen3.8-Flash-Next and serve it with your preferred inference engine

開発者は、NVIDIA NeMo AutoModel を使用して、ドメイン固有のユースケース向けにモデルをファインチューニングできます。これは PyTorch ネイティブのファインチューニングライブラリで、Day-0 の Hugging Face チェックポイントに対応しています。モデルの変換を行わずに既存のチェックポイントから直接トレーニングでき、フル SFT やメモリ効率の高い LoRA ファインチューニングもサポートされています。さらに一歩進んで、NVIDIA NeMo RL recipes を用いて強化学習を行うことも可能です。

NVIDIA は、多様な開発者のニーズに応えるために複数の推論スタックをサポートしています。SGLang、vLLM、そして TokenSpeed は、NVIDIA アクセラレーションプラットフォーム上でパフォーマンスをより細かく制御したい開発者向けのオープンソース推論レシピを提供しています。

Qwen3.8-Flash-Next の始め方

QwenCloud でモデルを試すことができます。

モデルの重みは、Hugging Face または ModelScope からダウンロードできます。

著者について