Qwen3.8-Flash-Next、新アーキテクチャでコスト効率追求

HUGGING FACEMODELSCOPETECH REPORTFLASHQLADISCORD

イントロダクション

今回のリリースでは、マルチモーダルな MoE（Mixture of Experts）モデルであるQwen3.8-Flash-Nextの重みを公開します。これは、次世代となるQwen4で採用されるアーキテクチャの早期プレビューでもあります。Qwen3-Nextが Qwen3.5 のために果たした役割と同様に、今回もそのハイブリッドな設計であるGated DeltaNet + Gated Attentionを先行公開します。この設計はその後、Qwen3.5 から Qwen3.8 シリーズに至るまで広く採用されてきました。

今回は再びアーキテクチャの変更点を早期に公開することで、完全な Qwen4 モデルファミリーが構築される前に、コミュニティがその内容を検証できるようにしています。

Qwen3.8-Flash-Nextは、アテンション（Attention）、リジューアル（Residual）、埋め込み（Embedding）、そして最適化（Optimization）の 4 つの側面から体系的にモデルを強化し、能力向上を図りながら、計算効率、モデル容量、トレーニングの安定性をさらに高めています。

Qwen3.8-Flash-Next は、GDN と QSA を組み合わせたハイブリッドアーキテクチャを採用しています。ゲート付きデルタネット（Gated DeltaNet: GDN）が履歴を効率的に圧縮し、Qwen スパースアテンション（Qwen Sparse Attention: QSA）はマイクロブロック単位で重要なコンテキストを選択する軽量インデクサを活用することで、長文シーケンスにおけるアテンションのコストを大幅に削減します。

残差接続にはゲート付き残差（Gated Residual: GR）を採用し、残差ストリームを 4 つの分岐に拡張。動的なゲートで読み書きを制御することで、層間での情報伝達とトレーニングの安定性を強化しています。

埋め込み層では N-gram Embedding を使用します。これは局所コンテキストに基づいてテーブルを検索し、計算コストを最小限に抑えつつモデルの容量を拡張する仕組みです。埋め込みテーブルはホストメモリへオフロード可能で、非同期プリフェッチによりモデル計算と重畳処理が可能です。

最適化には Muon オプティマイザを採用しました。直交化精度の向上、Muon と AdamW の役割分担、融合パラメータの分割を改良し、新アーキテクチャに合わせたスケーリング則も再調整しています。

Qwen3.8-Flash-Next は 125B パラメータのメインモデルに加え、追加で 51B の N-gram エンベディングを備え、トークンあたりのアクティブパラメータ数は 6B です。Qwen3.7-Plus と比較すると、トレーニングコストは約 9 分の 1 に削減されながら、コーディングやオフィスタスクにおける性能はさらに向上しています。

Qwen3.8-Flash-Next は、ネイティブで 262,144 トークンのコンテキスト長をサポートしており、YaRN を用いることで最大 1,000,000 トークンまで拡張可能です。アーキテクチャの詳細やトレーニング手法、実験分析については、GitHub リポジトリにある 技術レポート をご参照ください。

Qwen3.8-Flash-Next の重みは現在、Hugging Face と ModelScope で利用可能です。一方、1M トークンのコンテキスト長をデフォルトとし、公式の組み込みツールを搭載したプロダクション版は、QwenCloud 上で Qwen3.8-Flash として提供されています。料金は入力トークン 100 万あたり 0.16 ドル、出力トークン 100 万あたり 0.47 ドルです（API は近日公開予定）。

Performance

Language

1. DeepSWE 1.1: Claude Code および mini-SWE-agent ハーネスを用いて評価しました。パラメータは温度=1.0、top_p=0.95、コンテキストウィンドウは 256K です。2 つのハーネスで得られた最高スコアを報告しており、特筆すべき点として Qwen3.8-Flash-Next は mini-SWE-agent で最も高い性能を示しました。

1. SWE-bench Pro: Claude-Opus-4.6 (Max) の公式発表スコアを除き、すべてのモデルは Claude Code ハーネスで評価されました。パラメータは温度=1.0、top_p=0.95、コンテキストウィンドウは 256K です。評価に問題があったタスクは修正され、すべてのベースラインモデルは洗練されたベンチマーク上で再評価されています。

1. SWE-bench Multilingual: mini-SWE-agent ハーネスを用いて評価しました。パラメータは温度=1.0、top_p=0.95、コンテキストウィンドウは 256K です。

1. NL2Repo-Bench: Claude Code ハーネスで評価を行いました。報酬ハッキングを防ぐため、pip download、pip install、git clone など特定のリポジトリにアクセスを試みる Bash コマンドは無効化しています。

1. CoWorkBench: コンピュータサイエンス、金融、法律、医療、その他の生産性ドメインにわたる長期的なオフィスおよび生産性エージェントのタスクを評価するための社内ベンチマークです。

1. HLE: GPT-4o によって判定されました。

1. 各行における最良の結果は太字で示しています。

1. 空欄（--）は、スコアが未入手または適用対象外であることを意味します。

Vision Language

1. ClawEval-MM: スコアは「pass@3 / 平均スコア」の形式で報告されます。Pass@3 は、3 回の試行のうち少なくとも 1 回で合格した割合を測定する指標であり、平均スコアは 3 回の試行全体での平均値を示します。

1. RecreationBench: デスクトップ（Ubuntu、macOS、Windows）、モバイル（Android）、ウェブの 5 つプラットフォームにまたがるハイブリッドエージェントの能力を評価するための、社内開発による長期ホライズン・アプリケーション再現ベンチマークです。

1. OSWorld 2.0: スコアは「バイナリ / パーシャル」の形式で報告されます。バイナリスコアは、タスク報酬が完全に付与されたタスクの割合を示し、パーシャルスコアは全タスクにわたって得られた部分的な報酬を合計した値です。

1. Vision2Web: スコアは、Claude Code ハーネスを用いて gpt-5.4-2026-03-05 によって評価された、フロントエンド、ウェブページ、ウェブサイトのカテゴリにおける平均値として報告されます。

1. MathVision, CharXiv (RQ): スコアは「CI なし / CI あり」の形式で報告されます。MathVision の一部には手動検証後に修正された誤った正解注釈が含まれていましたが、それらは修正済みです。当モデルのスコアは、固定プロンプト（例："Please reason step by step, and put your final answer within \boxed{}."）を用いて評価されています。他のモデルについては、\boxed{} 形式の有無による実行結果のうち、高い方のスコアを報告しています。

1. 各行における最良の結果は太字で示されます。

1. 空欄（--）は、まだスコアが取得できていない場合や適用できない場合を示します。

モデルアーキテクチャ

効率的なメモリ利用と高精度な情報取得のための Attention: GDN と QSA

従来のフルアテンションは、すべての過去のトークンに直接アクセスできますが、コンテキストが長くなるにつれて計算量と KV Cache のメモリアクセスコストが大幅に増加します。

Qwen3.5 で紹介されたアーキテクチャ設計を踏まえ、Qwen3.8-Flash-Next は GDN [[1]](#ref1) とアテンションを組み合わせたハイブリッドアーキテクチャを採用しています。4 層ごとに 3 層がゲート付きデルタネット（GDN）を使用し、履歴情報を固定サイズの状態に継続的に圧縮します。残りの 1 層はグローバルアテンションを用いて、コンテキスト全体を跨ぐ情報の高精度な取得を実現します。

グローバルアテンションについては、さらに「Qwen スパースアテンション (QSA)」を導入しました。スパースアテンションは重要なコンテキストにのみ注目することで、長序列の計算を削減します。しかし、DSA [[2]](#ref2) などの既存のアプローチでは、重要な位置を特定するためにトークンレベルのインデクサに依存しており、コンテキストが長くなるほどこのインデクサ自体が無視できない計算コスト源となっています。

QSA はさらにこのプロセスを圧縮します。軽量なインデクサーがまずシーケンスを「マイクロブロック」に集約し、ブロックレベルで文脈の重要度を推定した上で、アテンションに必要な最も関連性の高い領域を選択します。これにより、アテンション自体のコストだけでなく、重要な文脈を特定するために必要なインデックス作成のオーバーヘッドも削減されます。

レイヤー間でインデックスを共有するアプローチ [[3]](#ref3) と比較して、QSA は各層内で独立してシーケンス圧縮を実行します。これにより、層間アテンションの類似性への依存度が低下し、GDN レイヤーとアテンション レイヤーが交互に配置されるハイブリッドアーキテクチャに特に適しています。

つまり、GDN は効率的に「記憶」し、QSA は正確に「検索」するのです。

1M トークンのコンテキストにおいて、QSA のアテンションカーネルは Prefill で最大 7.6 倍、Decode で最大 4.9 倍の高速化を実現します。キャッシュ再利用率が高いオンラインサービスシナリオを想定した実験設定（プリフィックスキャッシュヒット率が 90%）では、1M トークンのコンテキスト長において Qwen3.8-Flash-Next は Qwen3.7-Plus の Prefill スループットを 8.6 倍に向上させます。

Gated Residual: 情報フローのための新たな経路

従来の Transformer では、すべての層が同じ残差ストリーム（Residual Stream）に対して読み書きを継続的に行います。ネットワークが深くなるにつれて、初期の特徴が後続の情報と繰り返し混合され、重要なシグナルが徐々に希薄化してしまうリスクが高まります。

Gated Residual (GR) は、2 つのアイデアを組み合わせたものとして捉えることができます。まず、Hyper-Connection [[4]](#ref4) に従って残差ストリームを複数の枝に広げ、同時に GatedNorm [[5]](#ref5) の要素ごとの動的ゲート機構を残差読み出しに組み込みます。これにより、従来の単一の残差ストリームは 4 つの並列な枝へと拡張されます。モデルは現在のコンテンツに基づき、各枝からどの程度の情報を取得し、各枝へどの程度書き戻すかを動的に決定できるようになります。

これは、単一の情報チャネルを複数の並列経路に拡大する概念と捉えることができます。一部の枝は局所的な情報フローを処理し、他の枝は初期の特徴をネットワークの深い層まで直接保持します。実証的な分析では、これらの枝の一つが自然に長距離経路として出現することも明らかになっています。これは最初の Attention 層から中間層およびその後のほとんどの層へと接続する役割を果たしています。

GR はさらに Hyper-Connection を簡素化します。読み書き操作が十分に表現力を持つようになれば、追加のブランチ混合は大きな恩恵をもたらさず、むしろメモリアクセスのオーバーヘッドや不安定な要因となるため、直接削除することが可能です。また、Gate 機構は activation outliers（活性化外れ値）を効果的に抑制し、トレーニングの安定性を向上させます。さらに、Residual State は FP8 形式での保存をサポートしており、メモリアクセスのオーバーヘッドをさらに低減します。

N-gram Embedding: 低コストでモデル容量を拡張する

Gemma 3n の層別埋め込みや DeepSeek Engram [[6]](#ref6) などの先行研究に触発され、私たちは N-gram Embedding を新たに導入しました。これにより、Transformer バックボーンのパラメータ数を超えてモデルの容量を拡張することが可能になります。

従来の Embedding は単一のトークンに基づいて検索を行いますが、N-gram Embedding は現在のトークンと複数の先行トークンからなるローカルコンテキストを用いて検索を行います。これにより、一般的なフレーズや局所的なパターンに対する追加的な表現が可能となります。

その最大の利点は、トークンあたりの計算コストをほぼ増やさずに、大量のパラメータを追加できることです。

Qwen3.8-Flash-Next では、さらに 51B の N-gram Embedding パラメータが追加されます。検索先は事前に決定可能であるため、これらのパラメータはホストメモリに保存され、モデル計算と並行して非同期でプリフェッチできます。これにより、GPU メモリを恒久的に占有することなく容量拡張を実現します。

最終モデルは、ネットワークの初期段階に単一の N-gram Embedding レイヤーのみを採用し、比較的低コストで大規模な「局所パターンの記憶」機能を付与しています。

最適化：アーキテクチャと最適化手法の共設計

Qwen3.8-Flash-Next は Muon Optimizer [[7]](#ref7) を用いて訓練されています。特に、大規模モデルへの適用において以下の 3 つの重要な側面で改良が加えられています。直交化の精度、Muon と AdamW の間のパラメータ割り当て、そして結合されたパラメータ行列の分割です。

アテンションや GDN、MoE エキスパートにおける主要な重みなど、本質的に 2 次元線形写像として機能するパラメータには Muon を採用します。一方、埋め込み層（Embeddings）、MoE ルーター、および GR の低ランクパラメータについては引き続き AdamW を使用します。

実装上で結合されている QKV、SwiGLU、GDN 投影行列については、まずそれらが表す独立した線形変換に応じて分割し、その後それぞれ個別に直交化処理を適用しています。

新しいアーキテクチャと最適化手法に基づき、スケーリング則（Scaling Law）の再適合を行いました。その結果、モデルはより大きな学習率とバッチサイズを安定して使用可能となり、収束効率や大規模並列訓練のスループットがさらに向上することが確認されています。

また、大規模モデルのトレーニングで一般的に行われている「Batch Size Warmup」も不要であることが判明しました。バッチサイズを小さくから徐々に増やしてターゲット値に近づける手法は、最終的な結果を改善するどころか、オプティマイザのステップ数を18.8% 増加させるだけです。そのため、最終的なトレーニングレシピでは、最初からターゲットのバッチサイズで開始します。

その他のアーキテクチャ最適化

残りのコンポーネントは、Qwen3-Next で確立され、Qwen3.5 から Qwen3.8 シリーズを経て洗練された設計を踏襲しています。

• Ultra-sparse MoE: グローバルな負荷分散 [[8]](#ref8) を採用することで、活性化されるエキスパート数は固定したまま総パラメータ数を増やすと、トレーニング損失が着実に低下します。Qwen3.8-Flash-Next では、大規模なエキスパートプールを用意しつつ、トークンごとにルーティングされるエキスパート数と共有エキスパートを 1 つに抑える構成を採用しています。
• Multi-Token Prediction: MTP モジュールは多段階で訓練され、トレーニング時と推論時の一貫性を保つことで、実環境におけるスペキュレーティブ・デコーディングの採用率向上を図っています。これによりバックボーンの性能も高まります。また、フルアテンション層も QSA に置き換えられています。
• Training stability: 正規化重みへのウェイトディケイを適用したゼロ中心化 RMSNorm、アテンション出力ゲート機構 [[9]](#ref9)、および正規化された MoE ルーターの初期化手法を引き継いでいます。これらの設計により、小規模なアブレーション実験の信頼性が高まり、大規模トレーニングも円滑に実行できるようになります。

ベースモデルの性能

Qwen3.8-Flash-Next-Base の性能を、Qwen3.8-27B および Qwen3.7-Plus のベースモデルと比較します。

各項目の最良の結果は太字で表示しています。2. 空欄（--）: スコアはまだ利用できないか、適用されません。

アクティベート済みパラメータが6BのQwen3.8-Flash-Next-Baseは、MMLU-Pro、SuperGPQA、BBH、GSM8K、EvalPlus、SWEBench-Pretrain、MGSM、MMMLUを含む14種類のベンチマークのうち8つで最良の結果を達成しました。また、MMLU、MMLU-Redux、GPQA、MATH、MultiPL-EにおいてはQwen3.7-Plus-Baseに匹敵する性能を示しています。51BのN-gram埋め込みパラメータは確定的に処理されるため、トークンごとの行列乗算の計算リソースには含まれません。

Qwen3.8-Flash-Nextでの開発

Qwen3.8-Flash-Nextは、HuggingFaceおよびModelScopeでオープンウェイトモデルとして公開されており、QwenCloudでは公式のマネージドAPIも提供されています。

性能、レイテンシ、コストのバランスを最適化して設計されたこのモデルは、大量処理が必要なアプリケーションやツール駆動型のワークフロー、そしてコーディング支援や共同作業のためのアシスタントに特に適しています。

以下では、QwenCloud APIの呼び出し方や、Qwen3.8-Flash-Nextをエージェントシステムやコードアシスタントへ統合する方法をご紹介します。

近日公開予定

現在APIは稼働していませんが、本投稿公開直後に利用可能になります。このセクション内のサンプルコードも、その時点で動作するようになります。

APIの利用方法

Qwen3.8-Flash-NextはAPIを通じて利用可能です：

QwenCloud

QwenCloud では、モデルは `qwen3.8-flash` という名前で提供されています。

QwenCloud は、OpenAI 互換の Chat Completions API や Responses API、Anthropic 互換のインターフェースなど、業界標準のプロトコルに対応しています。

"""
Environment variables:
  DASHSCOPE_API_KEY: Your API Key from https://home.qwencloud.com/
  DASHSCOPE_BASE_URL: (optional) Base URL for compatible-mode API.
    - Beijing: https://dashscope.aliyuncs.com/compatible-mode/v1
    - Singapore: https://dashscope-intl.aliyuncs.com/compatible-mode/v1
    - US (Virginia): https://dashscope-us.aliyuncs.com/compatible-mode/v1
"""from openai import OpenAIimport osapi_key = os.environ.get("DASHSCOPE_API_KEY")if not api_key:    raise ValueError(        "DASHSCOPE_API_KEY is required. "        "Set it via: export DASHSCOPE_API_KEY='your-api-key'"    )client = OpenAI(    api_key=api_key,    base_url=os.environ.get(        "DASHSCOPE_BASE_URL",        "https://dashscope-intl.aliyuncs.com/compatible-mode/v1",    ),)messages = [{"role": "user", "content": "Write a Python function to merge two sorted linked lists."}]completion = client.chat.completions.create(    model="qwen3.8-flash",    messages=messages,    extra_body={        "enable_thinking": True,        # "preserve_thinking": True,    },    reasoning_effort="xhigh",  # supported levels are xhigh, medium, and low    stream=True,)reasoning_content = ""answer_content = ""is_answering = Falseprint("\n" + "=" * 20 + "Reasoning" + "=" * 20 + "\n")for chunk in completion:    if not chunk.choices:        print("\nUsage:")        print(chunk.usage)        continue    delta = chunk.choices[0].delta    if hasattr(delta, "reasoning_content") and delta.reasoning_content is not None:        if not is_answering:            print(delta.reasoning_content, end="", flush=True)        reasoning_content += delta.reasoning_content    if hasattr(delta, "content") and delta.content:        if not is_answering:            print("\n" + "=" * 20 + "Answer" + "=" * 20 + "\n")            is_answering = True        print(delta.content, end="", flush=True)        answer_content += delta.content

エージェントフレームワークとコーディングアシスタント

Qwen3.8-Flash-Next は、人気のあるエージェントフレームワークやコーディングアシスタントとシームレスに連携します:

QwenWork (近日公開)

QwenWork はアリババが展開する主力の AI 生産性プラットフォームで、個人や企業が日常業務を自動化し、運用効率を加速させることを目的としています。

このたび、QwenWork が新機能「Standard」モードに Qwen3.8-Flash-Next を統合したことをお知らせできます。同モデルの最先端の能力を活用することで、職場における AI エージェントの新たな基準となる、シームレスでコスト効率の高い体験を実現しました。

詳細は 公式ドキュメント でご確認ください。

Claude Code

Qwen API は Anthropic API プロトコルをサポートしており、Claude Code と直接連携して使用可能です:

npm install -g @anthropic-ai/claude-code
export ANTHROPIC_MODEL="qwen3.8-flash"export ANTHROPIC_SMALL_FAST_MODEL="qwen3.8-flash"export ANTHROPIC_BASE_URL=https://dashscope-intl.aliyuncs.com/apps/anthropic
export ANTHROPIC_AUTH_TOKEN=<your_api_key>
claude

Codex

Qwen API は OpenAI Responses プロトコルをサポートしており、Codex での利用が可能です。

~/.codex/model-catalog.local.json 内では

{  "models": [    {      "slug": "qwen3.8-flash",      "display_name": "qwen3.8-flash",      "description": "QwenCloud: Qwen3.8-Flash",      "default_reasoning_level": "xhigh",      "supported_reasoning_levels": [        {          "effort": "low",          "description": "Fast responses with lighter reasoning"        },        {          "effort": "medium",          "description": "Greater reasoning depth for complex problems"        },        {          "effort": "xhigh",          "description": "Extra high reasoning depth for complex problems"        }      ],      "context_window": 1000000,      "effective_context_window_percent": 95,      "supports_parallel_tool_calls": true,      "supports_image_detail_original": true,      "input_modalities": ["text", "image"],      "shell_type": "default",      "visibility": "list",      "supported_in_api": true,      "priority": 1,      "base_instructions": "",      "support_verbosity": false,      "supports_reasoning_summaries": false,      "experimental_supported_tools": [],      "truncation_policy": {        "mode": "bytes",        "limit": 10000      }    }  ]}

~/.codex/config.toml 内では

model_catalog_json = "~/.codex/model-catalog.local.json"model_provider = "QwenCloud"model = "qwen3.8-flash"[model_providers.QwenCloud]name = "QwenCloud"base_url = "https://dashscope-intl.aliyuncs.com/compatible-mode/v1"env_key = "OPENAI_API_KEY"wire_api = "responses"

npm install -g @openai/codex
export OPENAI_API_KEY=<your_api_key>
codex

Qoder CLI

Qoder は、エージェント型コーディングにおいて Qwen と共進化しています：

curl -fsSL https://qoder.com/install | bash
qoder

Qwen Code

Qwen Code は、Qwen シリーズに深く最適化されています：

npm install -g @qwen-code/qwen-code@latest
qwen

OpenClaw

QwenCloud を介して OpenClaw に接続します：

curl -fsSL https://openclaw.ai/install.sh | bash
export DASHSCOPE_API_KEY=<your_api_key>
openclaw dashboard

~/.openclaw/openclaw.json を設定してください：

{  "models": {    "mode": "merge",    "providers": {      "qwencloud": {        "baseUrl": "https://dashscope-intl.aliyuncs.com/compatible-mode/v1",        "apiKey": "DASHSCOPE_API_KEY",        "api": "openai-completions",        "models": [          {            "id": "qwen3.8-flash",            "name": "qwen3.8-flash",            "reasoning": true,            "input": ["text", "image"],            "contextWindow": 1000000,            "maxTokens": 65536          }        ]      }    }  },  "agents": {    "defaults": {      "model": {        "primary": "qwencloud/qwen3.8-flash"      }    }  }}

まとめ

Qwen3.8-Flash-Next は、Qwen3-Next で導入されたハイブリッドアーキテクチャを、アテンション、残差接続、埋め込み、最適化の 4 つの方向に拡張しました。QSA（Query-Specific Attention）は各層内でシーケンスをマイクロブロックに圧縮し、長いコンテキストでも正確な検索を維持しつつ、アテンションコストとインデックス付けコストを削減します。Gated Residual は残差ストリームを複数の並列ブランチに広げ、要素ごとのデータ依存ゲートで読み書きを制御することで、層間情報の流れとトレーニングの安定性を向上させます。これにかかる演算コストは無視できるほど小さく、さらに残差状態を FP8 で保持することでメモリアクセス量をさらに削減できます。N-gram 埋め込みは、決定論的にアドレス指定された検索メモリを通じて容量を拡張し、トークンあたりの計算コストを増やさないままホストメモリへのオフロードも可能です。最適化面では、Muon を主要なオプティマイザーとして採用し、直交化の精度、パラメータ割り当て、融合行列分割を実装上の決定的な選択としています。また、新しいアーキテクチャに合わせてスケーリング則を再調整しました。

Qwen3-Next の際と同様に、コミュニティがアーキテクチャを独立して評価できるよう、これらの重みデータを早期に公開します。今後は Qwen4 に向けてさらに改良を進めていきます。

引用

@techreport{qwen2026design,    title       = {On the Design of {Qwen3.8-Next} Architecture: Evaluation, Efficiency, and Training Stability},    author      = {{Qwen Team}},    institution = {Alibaba Group},    month       = {August},    year        = {2026}}@misc{qwen3.8flashnext,    title  = {{Qwen3.8-Flash-Next}: A New Architecture, Towards Ultimate Cost-Efficiency},    author = {{Qwen Team}},    month  = {August},    year   = {2026},    url    = {https://qwen.ai/blog?id=qwen3.8-flash-next}}

参考文献

[1] Gated Delta Networks: Improving Mamba2 with Delta Rule

[2] DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models

[3] IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse

[4] Hyper-Connections

[5] A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training

[6] Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

[7] Muon: An Optimizer for Hidden Layers in Neural Networks

[8] Demons in the Detail: On Implementing Load Balancing Loss for Training Specialized Mixture-of-Expert Models

[9] Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free