Hugging Face ジャーナルクラブ：Kimi K3

Kimi K3 が挑む「推論予算の制御」と「ドメイン特化型 RL」：オープンソース界隈が学ぶべき 4 つの革新

Hugging Face のジャーナルクラブで議論された「Kimi K3」論文は、単に性能を向上させるだけでなく、AI エージェントの訓練方法そのものを再定義する画期的なアプローチを示しています。特に注目すべきは、汎用モデルから専門タスクへの最適化コストを劇的に削減する「ドメイン特化型 RL 訓練パイプライン」と、推論コストを動的に制御する手法です。

この動画で語られた技術的洞察は、オープンソースコミュニティにおける大規模モデルの実用的なトレーニング標準として定着する可能性を秘めています。以下では、Kimi K3 が提案する 4 つの核心技術を解説します。

ドメイン特化型エキスパートの構築：9 つの専門モデル

Kimi K3 の最大の特徴は、単一の汎用モデルではなく、タスクごとに最適化された「エキスパートモデル」を構成する点にあります。彼らは訓練対象を以下の 3 つのドメインに分解しました。

1. 一般タスク: 検索や知識作業など、幅広い日常業務に対応するもの。
2. 深層調査（Deep Research）: 長期的な視点が必要な複雑なリサーチタスク。
3. コード生成: プログラミングやデバッグに特化したエージェント。

さらに、各ドメインに対して「低」「高」「最大」の 3 レベルの推論予算（思考する深さ）を組み合わせることで、3 ドメイン × 3 レベル = 9 つのエキスパートモデルを RL（強化学習）で訓練しています。これは、特定のタスクに特化しつつも、必要な深度に応じて柔軟にリソースを配分できる仕組みです。

「各ドメインごとに 3 つの推論予算レベルを掛け合わせ、9 つの専門家モデルを構築しました。これにより、汎用モデルから専門タスクへの最適化コストを大幅に削減できます。」

動的な推論予算制御とコスト削減戦略

「思考する深さ」をどう制御するかは、AI エージェントの実用化における最大の課題の一つです。Kimi K3 は、初期予算の設定と超過時のペナルティというシンプルなルールでこの問題を解決しています。

まず、SFT（教師あり微調整）モデルを用いて各タスクの難易度を推定し、初期の推論予算を割り当てます。学習プロセスでは、トークン数がある閾値を超えた場合にマイナス報酬（ペナルティ）を与えることで、モデルに「必要以上に長く思考しない」よう学習させます。

このアプローチは、段階的なカリキュラム学習を通じて実現されています。最初は最大予算で訓練し、徐々に推論予算を縮小していくことで、「低」「高」「最大」の各レベルに対応するモデルを個別に獲得します。これにより、単一のモデルがすべてのタスクに対して無駄な計算を行うのを防ぎつつ、必要な深さでの思考を可能にしています。

拡張可能なトークンマークアップ言語：ChatML の限界を超える

既存の ChatML（チャットテンプレート）は、機能追加や新モダリティの導入時に再設計が必要になるという課題を抱えていました。Kimi K3 はこれに対し、「拡張可能なトークンマークアップ言語」を提案しています。

この新しいテンプレート形式には、以下の 2 つの重要な特性が求められています。

• 学習の容易さ: 少量のデータで SFT を行う際にも、特別なトークンの意味をすぐに理解できること。
• 拡張性: 新しい機能やモダリティを追加しても、既存のテンプレート構造を崩さずに追加できること。

「ChatML のような従来の形式では、新モデルが出るたびにテンプレートを再設計する必要があり、推論エンジン側でも異なるパスが必要になるなど混乱を招いていました。Kimi K3 のアプローチは、拡張性を保ちつつ、少量データでの学習容易性も両立させる試みです。」

統合型ホワイトボックス訓練環境と多層蒸留

最終的に、9 つのエキスパートモデルから一つの強力な汎用モデルを構築するために、Kimi K3 は「多層蒸留（Multi-tier Policy Distillation）」を採用しています。これは、各エキスパートを教師として、SFT チェックポイントに対して知識を圧縮・統合する手法です。

また、訓練環境自体にも革新があります。CodeX や Hermes といった異なるコード生成ハルネスを、統一されたインターフェースで動的に切り替えながら訓練を行います。これにより、特定の環境への過学習を防ぎ、より汎用的な能力を獲得できる基盤を整えています。

さらに興味深いのは、「評価者（Reward Model）自体がエージェントである」という点です。従来のように人間が事前に定義したルールのみに依存するのではなく、評価者が出力を見て自ら評価基準（ルーブリック）を生成し、それに基づいてスコアリングを行います。これにより、訓練が進むにつれて評価基準も柔軟に進化させ、より細粒度で人間に近いフィードバックを実現しています。

まとめ：オープンソースへの示唆

Kimi K3 の取り組みは、ドメイン特化型エージェンツの訓練手法が実務での AI エージェント導入を加速させる可能性を示すだけでなく、推論コスト制御や統一環境構築の知見が、今後のオープンソースコミュニティにおける標準的なトレーニング方法として定着する可能性を秘めています。特に多層蒸留や推論コストの動的制御は、今後多くの研究で応用されるべき重要な課題と言えるでしょう。