中国 AI ラボ 2 社が独立し同一アーキテクチャの Flash モデルを公開

今週、2 つの最先端なオープンウェイトモデルがほぼ同時に登場しました。Z.ai が公開した GLM-5.3-Flash は、パラメータ数 3,200 億（320B）のマルチモーダル MoE モデルで、アクティブに動作するのは 180 億（18B）です。一方、アリババの Qwen チームが発表した Qwen3.8-Flash-Next は、パラメータ数 1,250 億（125B）、アクティブ数は 60 億（6B）で、Qwen4 のアーキテクチャを先取りしたモデルです。

この 2 つのチームは互いに独立してシステムを設計しました。しかし、その構成内容はほぼコピーのように似通っています。両者とも、線形アテンションとフルアテンションを 3:1 で組み合わせたハイブリッド方式を採用しています。コンテキストの選択には、2,048 トークンで上限を設けた圧縮インデクサーを使用。また、残差ストリームを 4 つのゲート付きブランチに広げる設計も共通しています。学習には Muon オプティマイザーを用い、直交化処理の前にパラメータ行列を融合させて分割する手法も同じです。この記事では、この共通のレシピと、唯一の相違点、そしてそれに異議を唱える 1 つのラボについて解説します。

2 つのリリース概要

GLM-5.3-Flash は、GLM-5 シリーズで初めてネイティブにマルチモーダルに対応したモデルです。MIT ライセンスの下、Hugging Face で公開されました。Z.ai はこのモデルを匿名で「Ox Alpha」として OpenRouter にテスト投入し、今週最も人気のあるモデルとなりました。30 兆（30T）トークン規模のマルチモーダルコーパスで学習され、100 万（1M）トークンのコンテキストウィンドウをサポートします。Z.ai によると、このモデルは GLM-5.2 をあらゆるベンチマークで上回りながら、コストは約 1/10 に抑えられています。また、コーディングやエージェントタスクにおける性能は Claude Opus 4.8 に迫るレベルです。

リスト価格は、入力トークン 100 万あたり $0.15、出力トークン 100 万あたり $0.50 です。

Qwen3.8-Flash-Next は、Qwen3-Next が Qwen3.5 のために果たした役割と同じく、次世代アーキテクチャファミリーの初期公開プレビューとして機能します。モデルカードには、125B のメインモデルに加え、追加で 51B の n-gram 埋め込みテーブルが含まれており、トークンあたり 6B パラメータが活性化されます。ネイティブなコンテキスト長は 262,144 トークンですが、YaRN を使用することで 100 万トークンまで拡張可能です。Qwen チームによると、このモデルの学習には Qwen3.7-Plus の計算資源の約 9 分の1で済んだとのことです。同様に公開された技術レポートのタイトルは「On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability」です。

収束点 1：アテンション層の 4 つに 3 つが線形

GLM-5.3-Flash は、出荷設定によると 45 レイヤーを積んでいます。そのうち 34 レイヤーが線形アテンション、残りの 11 レイヤーが完全アテンションです。一方、Qwen3.8-Flash-Next は vLLM のレシピに従い、Gated DeltaNet レイヤー 3 つと Qwen Sparse Attention レイヤー 1 つを繰り返すブロック構造で 48 レイヤーを構成しています。両者とも結果として 3:1 という同じ比率に収束しました。

線形層はコストが低いのが特徴です。テキストの長さに比例して増大する KV キャッシュの代わりに、すべての履歴を固定サイズの再帰状態に圧縮します。これにより、コンテキスト長のいかんにかかわらず、トークンあたりの計算量は一定に保たれます。GLM は Moonshot AI の Kimi Linear が導入した線形アテンション設計である Kimi Delta Attention（KDA）を採用し、チャネルごとの微細な減衰ゲート applies します。一方 Qwen は独自の Gated DeltaNet（GDN）を使用し、ヘッドレベルでゲート処理を行います。ゲートの粒度は異なりますが、どちらもデルタ則ファミリーに属し、同じ役割を果たしています。

残りの四分の一の層は、正確な長距離検索を担当します。GLM は DeepSeek スタイルの NoPE 多頭潜在アテンション（MLA）を採用しています。一方、Qwen は QSA 内でグループ化クエリアテンションを使用しています。ここが KV キャッシュの実体であり、2 つ目の共通の工夫が現れる場所です。

収束点 2：4 倍圧縮してスコア付けし、2048 トークンを保持

どちらのモデルも、フルアテンション層で文脈全体を直接参照させるわけではありません。両者とも、履歴のチャンクにスコアを付与し、上位の結果のみを保持する小さな学習済みインデックスを備えています。そのパラメータはほぼ完全に一致しています。

GLM のスパース層では、DeepSeek の DSA に由来する 32 ヘッドのライトニングインデックスが使用され、上位 2048 トークンを選択します。100 万トークンの文脈におけるインデックスコストを削減するため、Z.ai は IndexPool を導入しました。これは、スコア付けを行う前に 4 つのインデックスキーベクトルを加重プーリングで 1 つに圧縮する仕組みです。Qwen の QSA はマイクロブロック粒度で動作します。圧縮された軽量インデックスが 4 トークンごとのブロックにスコアを付け、上位 512 ブロック（つまり 2048 トークン）のみを保持します。つまり、両モデルとも文脈を 4 倍に圧縮した後にスコア付けを行い、アテンションの予算を 2048 トークンで制限しています。Qwen は、QSA により 100 万トークンの場合、フルアテンションと比較してプリフィル処理が最大 7.6 倍、デコーディングが最大 4.9 倍高速化されると評価しています。

GLM 側におけるこの組み合わせ効果は非常に大きいです。Z.ai の報告によると、Flash アーキテクチャを採用した GLM-5.3 フルモデルと比較して、アテンション計算量は約 3 分の 1 に、KV キャッシュサイズは 4.4 分の 1 に削減されました。さらに、アクティブなパラメータ数はほぼ半分（18B vs 32B）、層数も半減（45 vs 92）しています。

収束点 3：1 つの残差ストリームではなく、4 つの残差ストリームの採用

両モデルとも、2017 年以来トランスフォーマーを定義してきた単一の残差ストリームを放棄しました。代わりにこれを 4 つの並列ブランチに広げ、各ブロックが何を読み込み、何を出力するかをゲートで制御しています。

GLM は DeepSeek が考案した「多様体制約ハイパー接続（Manifold-Constrained Hyper-Connections: mHC）」を採用し、出荷版の重みでは 4 つのブランチ構成となっています。一方 Qwen は独自の変種である「ゲート付き残差（Gated Residual）」を開発しました。これは要素ごとのデータ依存型読み込みゲートと、各ブランチ用のスカラー書き出しゲートを通じて、4 つに拡張されたストリーム間のフローを調整します。

Qwen チームによると、この Gated Residual は Hyper-Connections で使われていた追加のブランチ混合ステップを排除し、メモリアクセスのオーバーヘッドを削減。さらにゲートが活性化値の外れ値を十分に抑制するため、FP8 形式での残差保存が可能になっています。興味深いことに、Qwen チームは両アプローチを比較検証しましたが、品質面ではほぼ同等の結果を得ています。

2 つの研究機関、2 つの実装、そして共通する結論：4 つのゲート付きストリームの方が、単一のストリームよりも優れています。

収束点 4: Muon とコンポーネントごとに分割された融合行列

両モデルとも Muon オプティマイザを使用してトレーニングを行います。また、両者とも微妙な改良を施しています。具体的には、結合された投影行列を分割し、Muon が直交化処理を行う前に独立した変換成分に分解します。Qwen のドキュメントによると、結合された QKV、SwiGLU、GDN 投影をそれぞれ分離し、Muon を真の 2 次元線形マップに適用する一方、埋め込み層、ルーター、低ランクパラメータには AdamW を使用しています。さらに Qwen は新しいアーキテクチャに合わせてスケーリング則を再調整し、トレーニング結果に改善が見られないにもかかわらずオプティマイザステップの 18.8% がウォームアップに費やされていたことが判明したため、バッチサイズのウォームアップを完全に廃止しました。

意見が分かれる点：位置埋め込み

明確な違いは、フルアテンション層における回転位置埋め込み（RoPE）の有無です。GLM-5.3-Flash は RoPE を採用していません。設定では qk_rope_head_dim = 0 とされており、スパース MLA 層が完全に NoPE（位置情報なし）となっています。位置情報は、再帰的な線形層を通じて暗黙的に伝達されます。

Qwen も同様の試みを行いましたが、RoPE を維持しました。『Qwen3.8-Next』の技術レポートによると、事前学習段階では NoPE に明確な差は見られませんでした。問題は後から表面化しました。ポストトレーニング（微調整）の後、NoPE 版は生成を停止できなくなるケースが多発したのです。これは業界全体にとって有用な教訓となる結果です。事前学習時の損失曲線だけでは、RLHF（人間フィードバックによる強化学習）段階のチューニング後に初めて顕在化する動作上の欠陥を見逃してしまう可能性があります。

より広範な合意と、唯一の異端児

この傾向は特定の 2 つのラボに限られたものではありません。DeepSeek は、DSA（DeepSeek Sparse Attention）を用いた「スパースインデクサー＋2048 トークン予算」というパターンを DeepSeek-V3.2-Exp で先駆けて確立しました。また、mHC ももともと DeepSeek の設計であり、現在は GLM にも採用されています。Moonshot が開発した Kimi は KDA を貢献しており、これは GLM が採用したまさに線形アテンション層そのものです。中国のオープンソースモデルは、アーキテクチャ構成要素を相互に共有し合い、共通の設定へと収束しつつあることが明確です。

しかし、目立った異端児として MiniMax が存在します。M2 の開発中、同チームは大規模な線形アテンションとスライディングウィンドウアテンションを徹底的にテストしましたが、32K 以上のコンテキストにおいて SFT（Supervised Fine-Tuning）後でも多段推論に深刻な欠陥があることを発見しました。そのため M2 ではすべての層でフルソフトマックスアテンションを採用しています。M3 においては MiniMax は「MiniMax Sparse Attention (MSA)」を導入しましたが、これはブロック選択を通じてソフトマックスアテンションをスパース化するものであり、線形アテンション層は全く含んでいません。つまり、業界全体が完全に合意したわけではありません。Z.ai、Qwen、DeepSeek、Kimi は 3:1 の線形ハイブリッドが推論能力を維持できると信じていますが、MiniMax の実験結果は、少なくとも彼らのスタックにおいてはそうではないと示しています。

主なポイント

• GLM-5.3-Flash (34:11) と Qwen3.8-Flash-Next (36:12) は、独立して同じ 3:1 の線形アテンション対フルアテンション比率に到達しました。
• 両モデルともコンテキストを 4 倍圧縮し、スパースアテンションの予算を 2048 トークンに制限しています。これは DeepSeek が DSA で始めたパターンです。
• 単一の残差ストリームを 4 つのゲート付きブランチで置き換えています。Qwen は Gated Residual を mHC と比較するアブレーション実験を行い、両者の性能が同等であることを確認しました。

位置エンコーディングの扱いで両者は分岐しました。GLM は RoPE を採用せず（NoPE）、一方 Qwen は NoPE モデルが学習後の生成を停止できなかったため、RoPE を維持しています。

MiniMax は異議を唱える立場です。そのスケーリングされたアブレーション実験により、線形アテンションが多段推論に悪影響を与えることが判明したため、M3 ではスパースソフトマックスアテンションのみを使用しています。

出典：Hugging Face の GLM-5.3-Flash、Z.ai の GLM-5.3-Flash ドキュメント、GLM-5 テクニカルレポート（arXiv:2602.15763）、Hugging Face の Qwen3.8-Flash-Next、Qwen3.8-Flash-Next の GitHub、NVIDIA テクニカルブログ、MiniMax-M2 レポート（arXiv:2605.26494）、および MiniMax スパースアテンション（arXiv:2606.13392）