アリババ Qwen、125B モーダル MoE「Qwen3.8-Flash-Next」公開

記事の3ポイント

1. 1

   次世代アーキテクチャの先行実装

   同モデルは次期バージョン「Qwen4」の基盤となるアーキテクチャを先取りしており、Gated DeltaNetとQwen Sparse Attentionをハイブリッドに組み合わせた構成を採用している。

2. 2

   極めて高い推論効率

   ディスク上のパラメータ総数は180Bに達するが、トークンあたりに活性化されるのはわずか6Bであり、これにより計算コストを大幅に削減しつつ性能を維持している。

3. 3

   独自の技術的革新

   Gated Residual構造、2000万エントリ規模のN-gram埋め込みテーブル、そしてMuonオプティマイザの採用など、従来の設計とは異なる4つの主要な技術変更が導入されている。