Moonshot が超大規模モデル「Kimi K3」を発表

記事の3ポイント

1. 1

   世界初のオープン大規模モデルの登場

   Kimi は2.8兆パラメータを持つ「Kimi K3」を発表し、これは業界で初めてオープン化された3Tクラス（3兆パラメータ級）のモデルである。

2. 2

   革新的なアーキテクチャと効率化

   Kimi Delta Attention と Attention Residuals を採用し、Mixture of Experts のスパース性を最適化することで、前世代比で約2.5倍のスケーリング効率を実現した。

3. 3

   高機能なコンテキストウィンドウとビジョン能力

   ネイティブのビジョン機能を備えつつ、100万トークンという極めて長いコンテキストウィンドウを有し、長期コーディングや推論タスクに特化している。