Moonshot AI が世界初のオープン 2.8T モデル「Kimi K3」を発表

記事の3ポイント

1. 1

   世界初のオープン 3T クラスモデルの登場

   Moonshot AI は Kimi K3 を「世界で初めて公開された 2.8 トリオンパラメータクラス」のモデルとして位置づけ、過去 12 ヶ月間でオープンモデルのサイズ上限を 9 ヶ月連続で更新した実績を持つ。

2. 2

   Kimi Delta Attention と AttnRes の導入

   情報フローを最適化する Kimi Delta Attention (KDA) と深度方向での表現選択を行う AttnRes を採用し、100 万トークンコンテキストでのデコーディング速度を最大 6.3 倍向上させる。

3. 3

   高性能な推論とコード生成への特化

   K3 は長期的なコーディング、知識作業、推論をターゲットとしており、Moonshot の評価スイートでは他モデルを上回る結果を示すが、Claude 3.5 Sonnet や GPT-4o などの最上位プロプライエタリモデルには依然として劣る。