アリババ、Qwen3.8-Flash-NextをNVIDIA GB300 NVL72で実験可能に

記事の3ポイント

1. 1

   モデル構成と性能特性

   アリババは125Bパラメータのメインモデルに51BのN-gram埋め込みを追加したMoE構造を採用し、トークンあたり6Bのパラメータを活性化させる。

2. 2

   長文コンテキストへの対応

   ネイティブで26万トークンのコンテキストウィンドウを持ち、YaRNを用いて100万トークンまで拡張可能である。

3. 3

   ハイブリッドアーキテクチャの革新

   Gated DeltaNetとQwen Sparse Attentionを組み合わせた構造により、KVキャッシュの成長を抑制しつつ高精度な検索を実現する。