Hugging Face、LFM2.5 の量子化学習による Q4_0 GGUF チェックポイントを公開
本文の状態
日本語全文を表示中
詳細モードで約3分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Blog
Hugging Face は、LFM2.5-230M から 2.6B までのモデルに対し、量子化 Aware 蒸留を用いた 4 ビット Q4_0 GGUF チェックポイントを公開した。
AI深層分析を開く2026年8月19日 23:27
AI深層分析
キーポイント
LFM2.5 Q4_0 の公開
Liquid AI が Hugging Face Blog を通じて、新しい LFM2.5 Q4_0 チェックポイントを公開したことを発表した。
量子化意識型蒸留技術の適用
同モデルは量子化意識型蒸留（Quantization-Aware Distillation）という手法を用いて作成されており、効率的な学習プロセスを特徴とする。
ベンチマークと性能評価
記事にはベンチマーク結果や速度、サイズに関する実測データが含まれており、モデルの実用性を示す根拠として提示されている。
ベンチマーク結果
QAD Q4_0 チェックポイントは、推論や指示従属などのすべてのタスクで従来のポストトレーニング量子化を大幅に上回る性能を示す。
BF16ベースラインとの比較
4つのモデルすべてにおいて、QAD チェックポイントはそれぞれBF16ベースラインの96.5%から97.4%のパフォーマンスを維持している。
重要な引用
LFM2.5 Q4_0 Checkpoints from Quantization-Aware Distillation
Benchmark results
Speed and size on real
Across all four models, QAD substantially improves the Q4_0 checkpoint.
編集コメントを表示
編集コメント
量子化意識型蒸留という手法を用いたモデル公開は、リソース効率を重視する開発者にとって有益な情報である。Liquid AI の技術的アプローチが、今後どのような形で業界に浸透していくか注目される。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
本日、QAD Q4_0 GGUF をリリースします。これは LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct、および LFM2.5-2.6B 向けの更新された 4 ビットチェックポイントです。通常は品質が低下してしまう Q4_0 のメモリ使用量と速度でも、LFM2.5 モデルを実行できるようになります。
- Quantization-Aware Distillation (QAD) でトレーニング: 高精度な教師モデルから、量子化された生徒モデルへ知識を移転します。
- ネイティブ Q4_0 と同等のメモリと速度: Q4_0 GGUF が持つ低メモリフットプリントと高いスループットを維持しています。
- 精度回復: 量子化によって失われた BF16 の平均精度の 97% を回復しました。
ベンチマーク結果
4 つのモデルすべてについて、ポストトレーニング量子化 (PTQ) で生成されたリリース版 GGUF と、トレーニング済みの QAD Q4_0 チェックポイントを比較します。ベンチマークスイートには、推論、指示従順性、ツール使用、エージェント機能にわたる GPQA Diamond、MMLU-Pro、IFEval、IFBench、Multi-IF、BFCLv4 が含まれます。BF16 GGUF はフォーマット上の上限値として扱います。また、スケールに応じた数学評価も追加しました。LFM2.5-230M と LFM2.5-350M には GSM8K を、LFM2.5-1.2B-Instruct と LFM2.5-2.6B には AIME25 を使用します。結果は 5 回の反復の平均値を報告しています。
4 つのモデルすべてにおいて、QAD は Q4_0 チェックポイントの性能を大幅に向上させました。QAD によるチェックポイントは、それぞれ BF16 ベースラインの性能に対して 97.1%、96.5%、97.4%、96.6% を維持しています。
リアルなエッジハードウェアにおける速度とサイズ
LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct、LFM2.5-2.6B の 4 つのモデルについて、MacBook Pro、NucBox EVO-X2、Samsung Galaxy S26 Ultra、Raspberry Pi 5 という 4 つのエッジデバイスでのデコードスループットを測定しました。MacBook Pro と NucBox では GPU 推論を使用し、Samsung と Raspberry Pi では Arm CPU による推論を行います。BF16 と F16 はプロファイル化された場合の完全精度モデルとして参照値として示しています。
230M と 350M の QAD Q4_0 チェックポイントは、評価誤差の範囲内で Q5_K_M と同等の品質を維持しつつ、デコードスループットが 4〜33% 向上しました。1.2B と 2.6B の QAD Q4_0 チェックポイントも、Q4_K_M と同等の品質で、スループットは 3〜14% 高くなっています。さらに、QAD Q4_0 チェックポイントは Unsloth の UD-Q4_K_XL（230M と 1.2B で利用可能な場合）とも同等の性能を示しており、これは強力な外部事後学習用量子化チェックポイントです。
QAD GGUF の使い方
llama.cpp または GGUF Q4_0 アーティファクトをサポートする他のランタイムでこれらのファイルを使用できます。
llama-cli -hf LiquidAI/LFM2.5-350M \
--hf-file LFM2.5-350M-QAD-Q4_0.gguf \
-p "What is C. elegans?"
QAD GGUF の利用開始
QAD GGUF は本日、Hugging Face で公開されています：LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct、および LFM2.5-2.6B。
みなさんがどのような成果を生み出すか、楽しみにしています。
引用
引用の場合は、以下の参考文献またはBibTeXをご利用ください。
Liquid AI, "LFM2.5 Q4_0: Quantization-Aware Distillation for Edge Deployment", Liquid AI Blog, Aug 2026.
または、以下のBibTeX形式で引用してください。
@article{liquidAI2026Q40,
author = {Liquid AI},
title = {LFM2.5 Q4_0: Quantization-Aware Distillation for Edge Deployment},
journal = {Liquid AI Blog},
year = {2026},
note = {www.liquid.ai/blog/qad},
}
原文を表示
- Benchmark results
- Speed and size on real edge hardware
- How to use QAD GGUFs
- Get Started with QAD GGUFs
- Citation
Today, we release QAD Q4_0 GGUFs. These are updated 4-bit checkpoints for LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct, and LFM2.5-2.6B. They allow developers to run LFM2.5 models at Q4_0 memory and speed without the usual quality drop:
- Trained with Quantization-Aware Distillation (QAD): a high-precision teacher model is distilled into a quantized student model
- Same memory and speed as native Q4_0: They keep the low memory footprint and high throughput of Q4_0 GGUFs
- Recovery: 97% of their BF16 average accuracy lost to quantization is recovered
Benchmark results
For all four models, we compare their released GGUFs produced with post-training quantization (PTQ) against the trained QAD Q4_0 checkpoints on a benchmark suite spanning reasoning, instruction-following, tool use, and agentic capabilities: GPQA Diamond, MMLU-Pro, IFEval, IFBench, Multi-IF, and BFCLv4. The BF16 GGUF serves as the in-format ceiling. We also add one scale-appropriate math evaluation: GSM8K for LFM2.5-230M and LFM2.5-350M, and AIME25 for LFM2.5-1.2B-Instruct and LFM2.5-2.6B. We report the mean across five repeats.
Across all four models, QAD substantially improves the Q4_0 checkpoint. The QAD checkpoints retain 97.1%, 96.5%, 97.4%, and 96.6% of their respective BF16 baseline performance.
Speed and size on real edge hardware
We measure decode throughput for the four models LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct, and LFM2.5-2.6B across four targets: MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra, and Raspberry Pi 5. MacBook Pro and NucBox use GPU inference, while Samsung and Raspberry Pi use Arm CPU inference. BF16 and F16 are shown as full-precision references where profiled.
The 230M and 350M QAD Q4_0 checkpoints match Q5_K_M quality within evaluation variance at a 4-33% higher decode throughput. The 1.2B and 2.6B QAD Q4_0 checkpoints match Q4_K_M quality at a 3-14% higher throughput. The QAD Q4_0 checkpoints also match Unsloth's UD-Q4_K_XL (where applicable, for the 230M and 1.2B), a strong external post-training quantization checkpoint.
How to use QAD GGUFs
Use the files with llama.cpp or any runtime that supports GGUF Q4_0 artifacts.
llama-cli -hf LiquidAI/LFM2.5-350M \
--hf-file LFM2.5-350M-QAD-Q4_0.gguf \
-p "What is C. elegans?"
Get Started with QAD GGUFs
The QAD GGUFs are available on Hugging Face today: LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct, and LFM2.5-2.6B.
We can't wait to see what you build.
Citation
For citations, please use the following reference or BibTeX:
Liquid AI, "LFM2.5 Q4_0: Quantization-Aware Distillation for Edge Deployment", Liquid AI Blog, Aug 2026.
Or use the BibTeX citation
@article{liquidAI2026Q40,
author = {Liquid AI},
title = {LFM2.5 Q4_0: Quantization-Aware Distillation for Edge Deployment},
journal = {Liquid AI Blog},
year = {2026},
note = {www.liquid.ai/blog/qad},
}
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み