コミュニティが MiniCPM5-1B を微調整し、657MB の思考モデルを公開

コミュニティ開発者 GnLOLot が、ローカルハードウェア上で完全に動作する 1B パラメータモデルを公開しました。このモデルは「MiniCPM5-1B-Claude-Opus-Fable5-Thinking」という名称で、llama.cpp 互換のランタイムに対応した GGUF バージョンも用意されています。API キーは不要であり、クラウドへの通信も一切行いません。

提案されたモデルについて

このモデルの基盤となっているのは、OpenBMB が公開している「openbmb/MiniCPM5-1B」です。これは正式に文書化されたリリースで、標準的な LlamaForCausalLM アーキテクチャを採用した密度の高い 10.8 億パラメータのモデルです。層数は 24 層、グループ化クエリアテンション（GQA）をサポートし、コンテキスト長は最大 131,072 トークンに達します。OpenBMB 自身による比較セットでは、このクラスにおけるオープンソースの最上位性能を達成していると報告されています。

ベースモデルには、すでにネイティブな思考テンプレートが実装されています。「enable_thinking」フラグで推論機能を切り替えられ、「Think（思考あり）」と「No Think（思考なし）」の 2 モードを選べます。派生モデルである今回公開されたバージョンも、このテンプレートと MiniCPM5 のツール呼び出しフォーマットをそのまま継承しています。

その上で開発者は微調整を施しました。モデルカードには「コーディング能力と指示従順性を向上させるため、Fable 5 データでさらにファインチューニングした」と記載されています。GGUF カードでも同様に、「Fable 5 データでポストトレーニングされた」と説明されています。

実際の構築方法について

ここで紹介されている手法は、古典的な知識蒸留（ディストillation）とは異なります。元のモデルを縮小するのではなく、教師モデルを用いて多数の会話データを生成します。その際、教師モデルの回答や推論プロセスを追跡したテキストデータを収集し、それを基に小さなベースモデルに対して教師あり微調整を行います。

この区別は精度において重要です。従来の知識蒸留では、教師モデルのロジットや重みから信号を転送します。しかし、Claude の重みやロジットにアクセスできる人はいません。つまりこれは生成された出力に対する教師あり微調整であり、重みレベルでの蒸留ではありません。一方、OpenBMB 自身のベースモデルでは、独自の教師と生徒チェックポイント間に文書化されたオンポリシー蒸留の工程が用いられています。

実務的な影響として、この 10 億パラメータモデルは応答形式やスタイルを模倣するようになりますが、教師モデルの根幹にある能力まで吸収できるわけではありません。10 億パラメータという予算では、最先端レベルの推論能力を担うことは不可能です。

仕様を確認すると

コンテキストウィンドウは 128K トークンで、ベースとなる config.json（131,072）から継承されています。GGUF リポジトリには 4 つの量子化バージョンが用意されており、Q4_K_M は約 657MB で「最も軽量」としてラベル付けされています。Q5_K_M は約 751MB、Q8_0 は約 1.1GB でメンテナーが推奨するデフォルト設定です。F16 は約 2.1GB です。

「657MB のフットプリント」は最も軽量な量子化版であり、標準ビルドではありません。このモデルは llama.cpp、Ollama、LM Studio、Jan、KoboldCpp で直接読み込み可能です。

インタラクティブ：ビルドの仕組み

以下の解説では、ビルドパイプラインやフットプリントのトレードオフ、そして微調整によって実際に引き継げるものとそうでないものについて、率直に整理します。

実行方法

GGUF カードには、Ollama を使うためのワンライナーが記載されています。

ollama run hf.co/GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF:Q4_K_M

同じリポジトリには、llama.cpp、LM Studio、jan、KoboldCpp での利用方法も記載されています。思考モード（Think mode）での推奨サンプリング設定は、温度（temperature）=0.9、top_p=0.95 です。このモデルは最終回答の前に推論ブロックを出力する可能性があり、後続のアプリケーション側でこれを除去する必要があります。

主なポイント

• このモデルは、OpenBMB の MiniCPM5-1B を Claude Fable 5 の推論ログ（traces）に対して教師あり微調整（SFT）したものであり、重みレベルでの知識蒸留（distillation）ではありません。
• 仕様は以下の通りです：コンテキスト長は 128K。GGUF 量子化版では Q4_K_M で約 657MB から F16 で約 2.1GB まであり、推奨デフォルトは Q8_0 です。
• 出力データでの微調整により、フォーマットやスタイルの転移は可能ですが、最先端の推論能力や広範な知識がそのまま移るわけではありません。
• ベンチマーク結果やトレーニングデータの公開がないため、現在の性能に関する主張は検証できません。
• Apache-2.0 ライセンスはベースモデルの重みのみをカバーしており、Claude の出力データを用いた学習についてはライセンス上の懸念があり、カード側でもその点は明記されていません。

「Someone Fine-Tuned OpenBMB’s MiniCPM5-1B on Claude Fable 5 Traces to Ship a 657MB Local Thinking Model」という記事は、MarkTechPost に掲載されました。