コミュニティが MiniCPM5-1B を微調整し、657MB の思考モデルを公開

記事の3ポイント

1. 1

   モデルの構成と特徴

   OpenBMB が公式に発表した MiniCPM5-1B を基盤とし、開発者 GnLOLot が Claude の思考トレースデータで追加ファインチューニングを施した。

2. 2

   技術的な実装手法

   教師モデルの重みやロジットを用いた古典的知識蒸留ではなく、生成された会話と推論プロセスをテキストとして収集し、小規模モデルに監督学習させる手法を採用している。

3. 3

   ローカル実行環境への対応

   llama.cpp 互換の GGUFフォーマットで提供され、Ollama や LM Studio などのツールで直接動作し、最小サイズでは 657MB で完結する。