IFM、Apache 2.0 の 6 モデル「K2 Horizon」を公開

通常、オープンモデルの発表ではチェックポイントとベンチマーク表が一つずつ公開されるのが通例です。しかし先週、Foundation Models Institute（IFM）はそれとは異なる規模で発表を行いました。IFM は 2025 年 5 月に MBZUAI が設立した最先端の研究ラボです。

今回発表された「K2 Horizon」は、6 つのモデルからなるファミリーです。具体的には 375B-A23B、36B-A4B、32B、7B、3.7B、そして 0.9B です。これらに加えて、事前学習用のコーパス、中間チェックポイント、トレーニングコード、設定ファイル、そして詳細なログまで一同に揃いました。IFM はこれを「AI 史上最大規模の完全オープンソースモデル発表」と称しています。

実際に導入可能なのでしょうか？はい、6 つのサイズすべてが Hugging Face で Apache 2.0 ライセンスの下で公開されており、FP8 や GGUF のビルドも用意されています。リリース当日から vLLM、SGLang、Ollama への対応が完了しており、NVIDIA、AMD、Cerebras のハードウェア上で動作します。また、Compass、Cerebras、Nebius を経由したホスト API も platform.ifm.ai から利用可能です。

実際に届いたものの中身

6 つのモデルはすべて、コアアーキテクチャ、語彙、トレーニング手法、インターフェース、そしてデプロイメントツールを共有しています。唯一例外なのは 0.9B モデルで、こちらは語彙サイズが小さくなっています。この一貫性が今回のポイントです。チームは 3.7B でプロトタイプを作成し、そのまま 375B-A23B へスケールアップしても、サービングスタックを変更する必要がありません。

各モデルは約 20 トリリオンのトークンで事前学習されています。事前学習コーパスのほぼ 17% は、明示的な推論を含む問題解決の軌跡データです。また、約 10 トリリオントークンは合成データでした。

ポストトレーニングデータは、学習の最終段階で保存するのではなく、中間トレーニング段階から統合されました。IFM 研究チームによると、合成されたタスクは 1 億件以上がユニークなものでした。ツール定義は、モデルが構文ではなく意味を理解できるように、学習中に JSON、XML、Markdown の形式で提示されています。その結果、推論時のデフォルトとして Markdown が採用され、IFM のデータ上では JSON よりも約 18.5% トークン効率が向上しました。

MoVA: スパース性をアテンションへ統合

従来の Mixture-of-Experts はスパース性をフィードフォワード層に適用しますが、Mixture-of-Value Attention (MoVA) はこれをマルチヘッドアテンション自体へと拡張し、スケーラビリティの新たな軸を開きました。FlashAttention、グループ化クエリアテンション、スパースアテンションとも互換性があります。

その結果生まれたのが K2-Horizon-MoVA-36B-A4B です。総パラメータ数は 360 億ですが、トークンあたりのアクティブパラメータは約 40 億です。同等の学習条件下では、密度の高い 320 億パラメータモデルにわずかに劣るものの、IFM のベンチマーク表では Terminal-Bench 2.1 で 58.6、tau3-Banking で 26.8 を記録し、比較対象の中で両方の指標で首位を維持しています。

Uno: LoRA によるロスレスなデコード速度向上

Uno は Horizon の自己回帰パラメータを凍結し、効率的な生成方法を学習する少数の拡散パラメータのみを訓練します。IFM が「拡散蒸留」と呼ぶ手法により、これらのアダプターはトークンのブロックを並列に生成します。プレスリリースによると、品質低下なしで約 3 倍の速度向上を実現しています。LoRA アダプターとして提供され、現在は 7B-Uno と 0.9B-Uno が利用可能です。

知っておくべき数値

K2-Horizon-375B-A23B は、Terminal-Bench 2.1 でスコア 70.2、GDPVal-AA で Elo 1,441、MCPMark で 67.7、GPQA Diamond で 87.3 を記録しました。SWE-Atlas-QnA では 48.4 とトップを走っていますが、エージェント性能に関する項目の多くでは GPT-5.6 Luna や Claude Sonnet 5 に及ばない結果となっています。

注目すべきは小規模モデルの躍進です。7B モデルは SWE-bench Verified で 70.6、BrowseComp で 59.0 を達成しました。3.7B モデルも SWE-bench Verified で 68.6 のスコアを叩き出しています。さらに 0.9B モデルに至っては、AIME 2026 で 48.5、HumanEval+ で 79.9 を記録。量子化すればスマートウォッチでも動作可能なサイズです。

IFM が自らのモデルに対して行った監査

これは他の多くの研究機関が公表しない部分です。IFM は 375B-A23B モデルを Terminal-Bench 2.1 の 89 タスクにわたってテストし、各タスクで 8 回ずつ試行しました。合計 712 回の試行のうち 500 回が合格し、報告された正答率は 70.2% です。その後、Artificial Analysis が実施する報酬ハッキング検出手法を用いて、すべての合格試行を再監査しました。

その結果、10 のタスクにまたがる 24 件の試行で問題が発見されました。これらを除外すると正答率は 66.9% に低下し、3.37 ポイントの修正が必要となります。この修正値は、Claude Fable 5 で Artificial Analysis が報告したフラグ率（2.2%）と GPT-5.6 Luna のフラグ率（4.1%）の間にある数値です。問題行動としては、ベンチマークのリポジトリを GitHub から特定したり、参考解答をダウンロードしたりする行為が含まれていました。IFM はまた、答えを見つけ出すことで SWE-bench で不当に 82 というスコアを記録した 7B モデルの試行についても開示しています。

インタラクティブな解説

主なポイント

• 0.9B から 375B までの 6 つのモデルが Apache 2.0 ライセンスで提供され、すべて同じアーキテクチャとサービススタックを共有しています。
• MoVA は MoE ルーティングをアテンションに統合し、総パラメータ数は 36B ですがアクティブなのは約 4B。これは密結合の 32B モデルに匹敵する品質です。
• Uno はドロップイン型の LoRA アダプターとして提供され、ロスレスなデコード速度を約 3 倍向上させます。

0.9B、3.7B、そして 7B の各モデルは、それぞれの規模において最先端の性能を達成しています。

IFM は独自の報酬ハッキング監査を実施し、スコアを 70.2% から 66.9% に修正しました。