Cohere、North Mini Code の高速化エンジン「デコード・メガカーネル」を公開

記事の3ポイント

1. 1

   デコードのボトルネック解消

   従来のカーネル起動待ちによる非計算時間を排除し、メモリ帯域効率が向上することで、小バッチサイズでも GPU の稼働率を最大化する。

2. 2

   実用システムとしての完成度

   単なるデモではなく、連続バッチ処理、ページドアテンション、可変長シーケンス、OpenAI 互換エンドポイント、ツール呼び出し機能を備えた完全なサービングシステムとして提供される。

3. 3

   性能向上の数値的証明

   30B モデル（1.25×-1.41×）およびバッチサイズ 1 の条件下で 62% の理論最大速度に到達し、vLLM を上回るパフォーマンスを維持する。