IFM、Apache 2.0 の 6 モデル「K2 Horizon」を公開

記事の3ポイント

1. 1

   大規模な完全オープンソースモデルのリリース

   IFM は 0.9B から 375B までの 6 つのモデルサイズ、学習データ、コード、設定ファイルを Apache 2.0 で公開し、史上最大級の完全オープンソースリリースを達成した。

2. 2

   MoVA によるアーキテクチャ革新

   従来の混合专家（MoE）の概念を注意機構に拡張した MoVA を採用し、36B モデルで推論時のアクティブパラメータを約 4B に抑えつつベンチマークで上位の結果を出した。

3. 3

   Uno による非破壊的なデコード速度向上

   拡散蒸留技術を用いた LoRA アダプター「Uno」を実装し、推論品質を維持しながら約 3 倍の速度向上を実現した。