アリババ、2.4T モデル Qwen3.8-Max を NVIDIA GB300 で提供
本文の状態
日本語全文を表示中
詳細モードで約6分の本文を読めます。
アリババが公開した2.4兆パラメータの超大規模モデルQwen3.8-2.4T-A95Bを、NVIDIA GB300 NVL72上で1秒あたり4千トークンを超えるスループットで推論可能にする技術的実装とアーキテクチャの詳細が発表された。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るAI深層分析を開く2026年8月13日 04:18
AI深層分析
キーポイント
超大規模モデルの公開と基本性能
アリババは2.4兆パラメータ（1トークンあたり950億パラメータ活性化）を備えたオープンウェイトモデルQwen3.8-2.4T-A95Bを公開し、複雑な推論やエージェントワークロードに対応する能力を提供している。
ハイブリッドアーキテクチャによる長文脈処理
フルアテンションと線形アテンションを切り替えるハイブリッド構造を採用することで、100万トークンという巨大なコンテキストウィンドウにおいても計算量とメモリ使用量を拘束条件下に保つことに成功している。
NVIDIA GB300 NVL72での実証性能
チューニングなしでFP8精度においてGPUあたり1秒4千トークン超、ユーザーあたり1秒350トークン超のスループットを達成し、NVIDIAとの共設計による最適化が機能していることを示した。
細粒度MoEアーキテクチャの活用
多数の小型エキスパートを分散配置するファイングレーンドMixture of Experts (MoE) 構造により、活性化コストを実際の計算量に追従させつつ、大規模な容量を低コストで実現している。
微細粒度MoEによるコスト効率の向上
2.4Tパラメータモデルは、少数の大規模エクスパートではなく多数の小規模エクスパートに容量を分散させることで専門性とルーティング効率を高める。学習されたルーターがトークンごとに必要なエクスパートのみを活性化するため、コストはアクティブなパラメータ数に追従し、同等の密度モデルより大幅に低コストで最前線の能力を提供する。
重要な引用
It has 2.4T total parameters with 95B activated per token.
Qwen3.8-2.4T-A95B keeps both compute and memory bounded as context scales to up to one million tokens.
Without additional model tuning, the model achieves a throughput of over 4K tokens per second per GPU... on NVIDIA GB300 NVL72 in FP8 precision.
A learned router activates only the experts needed per token, so serving costs track active parameters, not the full 2.4T parameters
編集コメントを表示
編集コメント
2.4兆パラメータという規模のモデルが、追加チューニングなしで実用的な推論速度を達成した点は、大規模モデルの実用化における重要なマイルストーンである。特に100万トークンという超長文脈を効率的に処理できるアーキテクチャは、ドキュメント分析や複雑なワークフロー管理の分野での応用が期待される。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
アリババは、その最大規模のオープンウェイトモデルである Qwen3.8-2.4T-A95B（Qwen3.8-Max）の重みを公開しました。これにより、オープンエコシステムに最前線に近い能力がもたらされます。このモデルは総パラメータ数が 2.4T で、トークンごとに 95B が活性化される細粒度な混合専門家（MoE）アーキテクチャを採用しています。また、フルアテンションとリニアアテンションをハイブリッドに組み合わせた構造を持ち、最大 100 万トークンのコンテキストウィンドウと最大 128K の出力長をサポートします。高度な推論やエージェントワークロードを想定して設計されています。
2.4T パラメータのオープンウェイトモデルを展開するには、データセンター規模での加速計算が必要です。このスケールでの推論は、チップ、システムアーキテクチャ、ソフトウェアにわたる極限までの共設計に依存します。NVIDIA は、最適化されたカーネル、推論ランタイム、分散サービングレシピを通じて、オープンソースエコシステムと協力し、マルチノード展開を実現しています。
モデルの追加チューニングなしで、NVIDIA GB300 NVL72 上では FP8 精度において Day 0 から、GPU あたり秒間 4,000 トークン超、ユーザーあたり秒間 350 トークン超のスループットを達成しています。今後、NVFP4 精度などのさらなる最適化により、性能向上が期待されています。
長文コンテキスト推論のためのアーキテクチャ革新
Qwen3.8-2.4T-A95B は、コーディングや大規模なドキュメント分析、長時間続く多段階ワークフローといった、最も過酷なエージェント向け負荷に特化して設計されています。チャット中心のモデルが単一のプロンプトを送信して単一の回答を受け取るのに対し、エージェントアプリケーションではワークフローを通じてシステム指示、ツール出力、取得したドキュメント、コード、ログ、そして多段階の推論履歴が蓄積されていきます。コンテキストが膨らむにつれ、アテンション（注意機構）、計算リソース、そして KV キャッシュメモリーがボトルネックとなります。
この課題に対処するため、フルアテンションと線形アテンションをハイブリッドに組み合わせたアーキテクチャを採用し、両者を切り替えて動作します。フルアテンション層ではすべてのトークンが他のすべてのトークンを参照しますが、線形アテンション層では増大する KV キャッシュを有界な再帰状態に置き換えます。これにより、Qwen3.8-2.4T-A95B はコンテキストが最大 100 万トークンに拡大しても、計算量とメモリー使用量の両方を抑制したまま運用できます。
微細粒度の MoE（Mixture of Experts）構造によって、2.4T パラメータという巨大な規模でも実用的なサービス提供が可能になります。少数の大規模なエキスパートを配置するのではなく、より多くの小規模なエキスパートに容量を分散させることで、専門性と、活性化された計算リソースあたりのルーティング効率を向上させています。学習済みのルーターがトークンごとに必要なエキスパートのみを起動するため、サービスコストは全 2.4T パラメータではなく、実際に動作しているパラメータ数に比例します。これにより、同等の密度モデルと比較して大幅なコスト削減を実現しながら、最先端レベルの処理能力を提供しています。
組み込みの推論制御機能（低・高・超高）により、開発者はリクエストごとに推論深度を柔軟に設定できます。タスクに応じて計算資源と推論品質のバランスを調整するのです。複雑な多段階推論が必要な場合は能力を引き上げ、大量文書の処理などスループットが求められる場面では引き下げればよいでしょう。
GB300 NVL72 で最適化された Qwen3.8-2.4T-A95B のパフォーマンス
GB300 NVL72 は、ラック規模のアーキテクチャを採用し、72 基の NVIDIA Blackwell Ultra GPU を単一プラットフォームに統合しています。広大な 72 GPU にわたる NVIDIA NVLink ドメインにより、130 TB/s の高速なオール・トゥー・オール通信を実現。従来の市販ネットワークを介してエキスパート間のトラフィックが流れる際に発生するボトルネックを解消します。
Qwen3.8-2.4T-A95B を NVIDIA Blackwell GB300 NVL72 でそのまま稼働させるだけで、GPU あたり 1 秒間に 4,000 トークン超、ユーザーあたり 1 秒間に 350 トークン超の処理速度が得られます。これにより、AI ファクトリーは、大規模パラメータモデルを高いスループットと低レイテンシで本番環境に展開することが可能になります。
図 2：NVIDIA GB300 NVL72 上で、Qwen3.8-2.4T-A95B がピークスループット時に GPU あたり秒間 4,000 トークンを超える性能を発揮する様子を示すパレート曲線
Qwen3.8-2.4T-A95B のポストトレーニングと推論パスの選定
NVIDIA では、開発者の多様なニーズに応えるため、複数の推論スタックをサポートしています。パフォーマンスを NVIDIA アクセラレーテッドプラットフォーム上で細かく制御したい開発者向けに、SGLang、vLLM、そして NVIDIA Dynamo がオープンソースの推論レシピを提供しています。
また、model-free NVIDIA NIM を介したデプロイも可能です。これは、サポート対象となるあらゆるモデルを処理できる単一の推論コンテナです。Day-0 でモデルの重みをダウンロードし、ファインチューニング済みのチェックポイントを提供して本番環境へスケールアップできます。
開発者は、NVIDIA NeMo AutoModel を用いて、ドメイン固有のユースケース向けにモデルをポストトレーニングできます。これは PyTorch ネイティブのファインチューニングライブラリで、Day-0 の Hugging Face チェックポイントに対応しています。モデル変換を行わずに既存のチェックポイントから直接学習を開始でき、フル SFT やメモリ効率の高い LoRA ファインチューニングもサポートされています。
Qwen3.8-2.4T-A95B でのスタートアップ
Qwen3.8-2.4T-A95B のモデル重みは、Hugging Face または ModelScope からダウンロードし、NVIDIA NGC 上の model-free NVIDIA NIM を使ってデプロイできます。
著者について
原文を表示
Alibaba released the open weights for Qwen3.8-2.4T-A95B (Qwen3.8-Max), its largest open-weight model, bringing near-frontier capabilities to the open ecosystem. It has 2.4T total parameters with 95B activated per token. It has 2.4T total parameters with 95B activated per token. It’s a fine-grained mixture of experts (MoE) architecture with a hybrid of full and linear attention, a context window of up to one million tokens, and an output length of up to 128K, designed for demanding reasoning and agentic workloads.
Deploying a 2.4T parameter open-weight model requires data-center-scale accelerated compute. Inference at this scale depends on extreme co-design across chips, system architecture, and software. NVIDIA is working with the open-source ecosystem to bring the model to multinode deployments through optimized kernels, inference runtimes, and distributed serving recipes.
Without additional model tuning, the model achieves a throughput of over 4K tokens per second per GPU and over 350 tokens per second per user on NVIDIA GB300 NVL72 in FP8 precision on Day 0. Further optimizations, including NVFP4 precision, are expected to deliver enhanced performance gains over time.
Architectural innovations for long-context inference
Qwen3.8-2.4T-A95B is built for the hardest agentic workloads like coding, large-scale document analysis, and long-running multi-step workflows. Unlike chat-first models that send a single prompt and receive a single reply, agentic applications accumulate system instructions, tool outputs, retrieved documents, code, logs, and multi-step reasoning traces across a workflow. As context grows, attention, compute, and KV cache memory become the binding constraints.
The full-attention and linear-attention hybrid architecture addresses this, and the model alternates between the two. In the full-attention layers, every token attends to every other token, and in the linear-attention layers, the growing KV cache is replaced with a bounded recurrent state. Qwen3.8-2.4T-A95B keeps both compute and memory bounded as context scales to up to one million tokens.
Fine-grained MoE makes the 2.4T parameter count practical to serve. Instead of a small number of large experts, capacity is distributed across a larger population of smaller experts, improving specialization and routing efficiency per unit of activated compute. A learned router activates only the experts needed per token, so serving costs track active parameters, not the full 2.4T parameters, delivering frontier-scale capacity at a fraction of the cost of a comparable dense model.
Built-in reasoning controls (low/high/xhigh) enable developers to configure inference depth per request, trading compute for reasoning quality depending on the task: dial up for complex multi-step reasoning or dial down for high-throughput document processing.
Qwen3.8-2.4T-A95B optimized performance on GB300 NVL72
The GB300 NVL72 features a rack-scale architecture that integrates 72 NVIDIA Blackwell Ultra GPUs into a single platform. Its large, 72-GPU NVIDIA NVLink domain enables efficient all-to-all communication at 130 TB/s, eliminating bottlenecks that appear when expert traffic must cross traditional off-the-shelf networks.
Out of the box, Qwen3.8 2.4T-A95B running on NVIDIA Blackwell GB300 NVL72 delivers over 4K tokens per second per GPU and over 350 tokens per second per user, enabling AI factories to run large-parameter models in production at high throughput and low latency.
Post-train Qwen3.8-2.4T-A95B and choose a serving path
NVIDIA supports multiple inference stacks to meet a variety of developer needs. SGLang, vLLM, and NVIDIA Dynamo provide open-source inference recipes for developers who require greater control over performance on the NVIDIA-accelerated platform.
It’s also available to deploy via a model-free NVIDIA NIM, a single inference container that serves any supported model. Download the model weights and deploy on Day-0 to serve fine-tuned checkpoints, and scale to production.
Developers can post-train the model for domain-specific use cases using NVIDIA NeMo AutoModel, a PyTorch-native fine-tuning library with Day-0 Hugging Face checkpoint support. Train directly on existing checkpoints without model conversion, with support for full SFT or memory-efficient LoRA fine-tuning.
Get started with Qwen3.8-2.4T-A95B
Download Qwen3.8-2.4T-A95B model weights from Hugging Face or ModelScope and deploy with a model-free NVIDIA NIM from NVIDIA NGC.
About the Authors
同じ出来事を3媒体で確認
同じ出来事を扱う別媒体の記事です。見出しと公開時刻を比較できます。
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み