Kimi K3 アーキテクチャ：推論効率とマルチモーダル対応

記事の3ポイント

1. 1

   大規模化された基本構造

   Kimi K3 は昨年の Kimi Linear モデルを基にスケールアップされており、パラメータ数は 48B から 2.8T に拡大している。

2. 2

   効率化のための新コンポーネント

   LatentMoE や Multi-head Latent Attention といった効率的なバージョンへの置き換えにより、推論効率の向上が図られている。

3. 3

   残差経路の改善技術

   Attention Residuals の導入により層間を接続し、検証損失やダウンストリーム性能を向上させる一方で、トレーニングコストは約 4% 増加する。