アリババ、Qwen4 のアーキテクチャを公開し 125B 中 6B を使用

アリババの Qwen チームは、Qwen4 で採用予定のアーキテクチャを公開したオープンウェイト版「Qwen3.8-Flash-Next」を発表しました。このモデルは総パラメータ数 125B を持つものの、トークン生成時にアクティブになるのは 6B に過ぎません。なお、ライセンス形態によっては EU AI Act のオープンソース免除対象外となる可能性があります。

同チームは、Qwen4 の構築に用いるアーキテクチャの詳細を こちら で公開しています。Qwen3.8-Flash-Next は 125B パラメータを備えつつ、生成する各トークンに対して 6B のみを使用します。

今回の変更の狙いは性能向上ではなく、コスト削減にあります。特に、エージェントタスクなどで超長文脈が標準的なワークロードとなる中で、アーキテクチャの選択が推論コストに与える影響を懸念しているのです。

比較対象は直前のモデルです。Qwen3.7-Plus は 397B パラメータを持ち 17B をアクティブ化しますが、今回のモデルではアクティブな計算量がおよそ 3 分の 1 に抑えられています。

4 つの変更点のうち 3 つは比較的標準的なものです。新しいスパースアテンション方式は個々のトークンではなくマイクロブロック単位で動作し、ゲート付き残差機構が層間の情報伝達を制御します。また、トレーニングレシピではバッチサイズウォームアップを完全に廃止しました。

残る 1 つの改修は特異です。エキスパートを追加するのではなく、2〜3 文字の断片でインデックスされる別エンベッディングとして 51B パラメータを追加しています。チームによれば、この方式は計算コストが低く、メモリ制約のあるアクセラレータへのオフロードも容易だということです。

その最後のフレーズは、二度読む価値があります。メモリが不足するアクセラレーター向けに設計することは、最も高性能なチップを購入できない状況、つまり輸出規制によって中国のラボが置かれている立場での対応です。

この数値はすべてアリババ自身によるものです。TNW は今月、同社が Qwen3.8 を世界で二番目に優れたモデルと称し、証明を示さなかったと報じました。これらのスコアもまた、チーム独自のベンチマークハーンチから得られたものです。

いくつかの選択は非常に率直です。モデルカードには、Humanity's Last Exam のスコアがベンチマーク側の採点者ではなく GPT-4o によって評価されたと記載されています。これは中立性というより、開示行為と言えます。

ライセンスにおいて欧州は疑問を投げかけています。重み付けデータは Hugging Face で「qwen-community」ライセンスの下に公開されており、TNW は 8 月 7 日、アリババが大規模な商用ユーザーに対して課金することを望んでいると報じました。

AI 法はこの区別を重要な要素として扱っています。第 53 条第 2 項では、無料かつオープンソースのライセンスに基づくモデルに対して二つの文書化義務が免除されますが、付録 103 では、対価を支払うか他の方法で収益化されるコンポーネントにはこの免除を適用しないとしています。

欧州企業は回答を待っていません。トムソン・ロイターはQwen を基盤に自社のモデルを構築しました。これを利用するすべての企業が、ライセンスが最終的にどのような形になるかを継承することになります。

2026 年 8 月 26 日公開 - 午後 7:55 (UTC)

[トップに戻る]