アリババ、Qwen4 のアーキテクチャを公開し 125B 中 6B を使用

記事の3ポイント

1. 1

   Qwen4のアーキテクチャ先行公開とパラメータ構成

   アリババのQwenチームは、次期モデルQwen4の基盤となる「Qwen3.8-Flash-Next」をオープンウェイトでリリースした。このモデルは総パラメータ数が1250億だが、トークン生成時に60億のみが活性化する設計となっている。

2. 2

   推論コスト削減と長文コンテキストへの対応

   同チームは、アジェンシータスクにおける超長文コンテキスト処理の増加に伴う推論費用の高騰を懸念し、アクティブな計算リソースを前モデル（Qwen3.7-Plus）の約3分の1に抑える設計を採用した。

3. 3

   非標準的なパラメータ拡張手法とハードウェア制約

   従来のエキスパート追加ではなく、2〜3文字の断片でインデックス付けられた510億のパラメータを埋め込み層として付加する独自方式を採用した。これはメモリ制約のあるアクセラレータへのオフロードを容易にする設計である。