アリババ Qwen、125B モーダル MoE「Qwen3.8-Flash-Next」公開

アリババの Qwen チームは、トークンあたりのコストを最適化するために設計されたオープンウェイト型マルチモーダル Mixture-of-Experts (MoE) モデル「Qwen3.8-Flash-Next」を発表しました。このチェックポイントは、125B のバックボーンに 51B の N-gram 埋め込みテーブルと 4B のマルチトークン予測モジュールを組み合わせたものです。トークンあたりに活性化されるパラメータはわずか 6B です。

チームはこのモデルを、Qwen3.5 の基盤となった Qwen3-Next と同様に、次期バージョン「Qwen4」のアーキテクチャを先取りした早期プレビューとして位置付けています。今回のリリースには主に 4 つの変更が盛り込まれています。Gated DeltaNet と Qwen Sparse Attention を組み合わせたハイブリッド構造、Gated Residual の導入、N-gram Embedding の採用、そして Muon オプティマイザーの使用です。Qwen チームによると、学習コストは Qwen3.7-Plus の約 9 分の 1 に抑えられています。

実用化は可能でしょうか？

可能です。ただしワークステーションでの運用は現実的ではありません。FP8 チェックポイントは 172.78 GiB、BF16 チェックポイントは 335.28 GiB を必要とします。vLLM のレシピによると、GB300 環境で検証済みの最小構成は TP2（FP8）です。推奨されるのは TP4 です。また、8×H200 ノードを使用する場合は TEP8 を利用してください。チェックポイントの 128 幅量子化ブロックとの互換性がないため、通常の TP8 は使用できません。スパース活性化は計算量を削減しますが、ストレージ容量を減らすわけではありません。

image https://qwen.ai/blog?id=qwen3.8-flash-next

何が本当に新しいのか

Qwen3.8-Flash-Next は、メインモデル 125B に 51B の N-gram 埋め込みパラメータと 4B のマルチトークン予測モジュールを組み合わせ、ディスク上の総容量は 180B になります。しかし、トークンあたりに実際に活性化されるのは 6B パラメータのみです。この実現を支えているのが、前述の 4 つの変更点です。

ハイブリッドアテンション（GDN + QSA）: 全48層のうち、3/4の層にはゲート付きデルタネット（Gated DeltaNet）が採用されています。これは履歴を固定サイズの再帰状態に圧縮する線形アテンションレイヤーです。残りの1/4の層では、クワン・スパースアテンション（Qwen Sparse Attention: QSA）が動作します。QSAは軽量インデクサを用いて、トークン単位ではなくマイクロブロック粒度でコンテキストを選択します。レイアウト構成は「3 層の GDN → 1 層の QSA」を 12 セット繰り返す形式（12 × (3 × GDN → 1 × QSA)）で、QSA の予算は 512 ブロック（最大 2048 トークン）に設定されています。

ゲート付きリジデュアル: リジデュアルストリームは幅広くなり、ボトルネックランク 320 で 4 つの並列ブランチに分岐します。各ブランチには要素ごとの読み込み用ゲートと、ブランチ固有のスカラー書き込み用ゲートが設けられています。

N-gram エンベディング: レイヤー 2 には 2,000 万件のエントリを持つ bigram/trigram テーブルが用意され、確定的なルックアップを通じてモデルの容量を拡張します。このテーブルはホストメモリへオフロード可能で、非同期プリフェッチもサポートされています（ただし、現在のところ NVIDIA デバイスでのみ動作します）。

トレーニングレシピ: Muon オプティマイザは AdamW と併用され、特定の重みカテゴリに適用されます。バッチサイズウォームアップは廃止され、スケーリング則の再適合が行われています。

MoE レイヤー: 512 のエキスパートを持ち、ルーティングされた 10 個と共有の 1 個が同時に活性化します。エキスパート中間次元数は 640 です。

ベンチマーク結果

Qwen は DeepSWE 1.1 で 58.7、SWE-bench Pro で 62.5、SWE-bench Multilingual で 81.0、LiveCodeBench v6 で 91.9 のスコアを記録しました。エージェントタスクでは CoWorkBench が 73.9、JobBench が 55.7、Toolathlon Verified が 73.5 です。マルチモーダル性能については、AndroidWorld で 84.5、LVBench で 76.6、RealWorldQA で 88.5、コードインタプリタ付きの MathVision で 95.7 を達成しています。

このモデルがすべての分野で最上位を独占しているわけではありません。HLE（Human-Level Evaluation）では Claude Opus 4.6 (Max) が Qwen を 40.0 で上回り、NL2Repo-Bench では DeepSeek-V4-Flash-0731 が Qwen の 48.1 を上回る 54.2 を記録しています。推論能力における差が依然として課題となっています。

効率性について

Qwen は、学習コストが Qwen3.7-Plus の約 9 分の 1 と発表しています。推論時のパフォーマンスについては、公式発表で QSA カーネルの高速化により、1M トークン処理において事前計算（prefill）で最大 7.6 倍、デコードで最大 4.9 倍の速度向上が示されています。一方、SGLang のクックブックや vLLM のレシピではそれぞれ 10.2 倍と 6.6 倍の結果が報告されており、これらはベンダーによる測定値であり、独立した検証を待つ必要があります。また、Qwen は 90% のプレフィックスキャッシュヒット率において、Qwen3.7-Plus よりも 8.6 倍の事前計算スループットを実現していると報告しています。

コンテキスト長はネイティブで 262,144 トークンをサポートし、YaRN を用いることで最大 100 万トークンまで拡張可能です。

実行方法

このモデルは vLLM、SGLang、TokenSpeed、transformers serve、および GGUF 量子化に対応する llama.cpp で提供されています。微調整（Fine-tuning）には Unsloth、Swift、LLaMA-Factory がサポートされています。すでに QwenWork の「Standard」モードや Qwen Code でも利用可能です。

思考モードはデフォルトで有効になっており、推論強度（reasoning_effort）は xhigh、medium、low から選択できます。Qwen によると、思考モードでは温度を 1.0、top_p を 0.95 に設定することを推奨しています。一方、指示モード（instruct mode）では温度 0.7、top_p 0.80 が推奨されています。

主なポイント

• バックボーンは 125B、N-gram 埋め込みが 51B、MTP が 4B で構成され、トークンあたりのアクティブパラメータ数はわずか 6B です。
• レイヤーの 3 つは Gated DeltaNet を採用し、残りの 1 つはマイクロブロック粒度で Qwen Sparse Attention を実行します。
• 学習コストは Qwen3.7-Plus の約 9 分の 1 で、ネイティブのコンテキスト長は 262K ですが、YaRN を使用することで最大 1M まで拡張可能です。

FP8 重みは 172.78 GiB に達するため、セルフホスティングにはワークステーションではなくマルチ GPU ノードが必要です。

ライセンスは Apache-2.0 ではなく qwen-community-1.0 です。商用利用前に利用規約の確認を忘れないでください。