Cursor Research、NVL72 向け MoE メガカーネル「Mixture-of-Kittens」公開

記事の3ポイント

1. 1

   MoK の本質的な設計変更

   Cursor Research は既存手法が計算部分のみを最適化していた点を踏まえ、通信と計算の両方を単一の完全な決定論的カーネルに融合させることでボトルネックを解消した。

2. 2

   NVL72 環境への最適化

   GB300 NVL72 のアーキテクチャ特性（マルチノード・ラック内の高速なオーバーラップ、Grace CPU の相対的な低速さ）を考慮し、CPU-GPU 同期を最小化する設計を採用した。

3. 3

   実証された性能向上

   複数の NVL72 ラックにわたる本番トレーニング環境での評価により、エンドツーエンドのトークン処理速度が 1.41 倍向上したことが確認されている。