Moonshot、Kimi K3 のモデル重みと技術報告書を公開

記事の3ポイント

1. 1

   Kimi K3 の基本性能と特徴

   同モデルは 2.8 兆パラメータを有し、100 万トークンのコンテキスト長に対応するネイティブマルチモーダルモデルである。

2. 2

   独自のアーキテクチャ技術

   Kimi Delta Attention (KDA) と Attention Residuals (AttnRes) という2つの新技術を導入し、長期コンテキストでの推論速度を最大 6.3 倍向上させるとしている。

3. 3

   学習効率と用途

   Attention Residuals によりトレーニング効率が約 25% 向上し、長期的なエージェント型コーディングや自己進化ワークフローの構築を目的としている。