腾讯混元 Hy3、2950 億パラメータを 1bit/4bit 量化で単卡対応へ

腾讯混元 2026-07-14 16:56 广东 ![image](https://wechat2rss.bestblogs.dev/img-proxy/?k=f43a64ab&u=https%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_jpg%2F7avdgR0YVzJiaTvGMAT2icvU4ITrdSjyxVtDXXryeP5eeCecRzuHAak1Mr4DDgsbiaPcqAJd7zZEXofeolsXZyDK5r0mSF6DujCA7wRaQj7gHE%2F0%3Fwx_fmt%3Djpeg) Hy3 のオープンソース化と公開以降、コミュニティからは「量化版」の提供を強く求める声が挙がっていました。特に、単一の GPU で 295B（2,950 億）パラメータという巨大な Hy3 を動かしたいという要望が強かったのです。 多くのユーザーが、「ハイエンドモデルである Hy3 でも、リソースに制約のある環境なら、精度を少し犠牲にする代わりに動かせるのではないか」と模索しています。 こうしたコミュニティの声を踏まえ、腾讯混元チームは Hy3 の重みを 1bit および 4bit に量化し、GGUF 形式でパッケージ化しました。llama.cpp エコシステムとの親和性を高めることで、もともと複数 GPU を必要としていたモデルを、最小限の推論用 GPU 1 枚、あるいはメモリ容量が豊富なローカル環境でも実行可能にしました。 腾讯混元 Hy3 は 295B パラメータを持つフラッグシップモデルで、同サイズの他モデルを凌駕する知能レベルを示す一方、より大規模なフラッグシップモデルと肩を並べる性能を発揮します。これにより、多様な製品や生産性タスクにおける実用性が大幅に向上しました。ただし、BF16 形式の重みは約 600GB に達するため、その真価を引き出すには複数 GPU を備えたサーバー環境が不可欠でした。 ![image](https://wechat2rss.bestblogs.dev/img-proxy/?k=3f020d65&u=https%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_gif%2F7avdgR0YVzJtLQNVRtn9Moneyicia3aqX3rIZ2B6XNdd9efqd5FNjD2VFD236xPcbn2vuyMm12CKDarN0ISAaRhiavurECmXFxgGkFBtuxE75k%2F640%3Fwx_fmt%3Dgif%26from%3Dappmsg) 1bit、4bit、BF16 の Hy3 モデルによるゲームプログラミングの例示 1bit で単一 GPU に収め、4bit でほぼフルスペックを実現 まず提供するのは 1bit の極限量化版「IQ1_M」です。重みのサイズを 598GB から 85.5GiB まで圧縮し、約 6.7 倍の削減に成功しました。これにより、VRAM 容量 96GB の推論用 GPU 1 枚で Hy3 をデプロイすることが可能になります。 ハードウェアリソースが最も限定的な環境や、ローカルマシンでフラッグシップモデルを動かしたいというケースには、Hy3 の 1bit バージョンを特におすすめします。 一方、「Q4_K_M」と呼ばれる 4bit 量化版も用意しています。サイズは 169.9GiB で、推論用 GPU を 2 枚用意すれば十分です。 限られたリソースコストの中で、フルスペックモデルに近い性能を得たいという場合は、Hy3 の 4bit バージョンを選ぶのが最適解です。 ![image](https://wechat2rss.bestblogs.dev/img-proxy/?k=67d6cfb4&u=https%3A%2F%2Fmmbiz.qpic.cn%2Fsz_mmbiz_png%2F7avdgR0YVzLMkUwDDE93KZfEk1qgAp3p6za5PaYXAyvradickInuQUGbuJUK35RIFzs1tkr5ic65KIaLgWKo7ia8QmEdQL7mdLVG3jZ6RJBu4k%2F640%3Fwx_fmt%3Dpng%26from%3Dappmsg) さらに、vLLM を介して直接デプロイし、外部サービスとして提供できる GPTQ Int4 バージョンも用意しました。 vLLM のエコシステムが持つ高並列処理や低遅延のメリットをそのまま享受でき、サーバーサイドでのデプロイ要件に特に適しています。 圧縮しても性能は維持された 画像 量化の良し悪しを判断する最も直接的な方法は、元のモデルとの出力分布がどれだけ近いかを見ることです。4bit 版はこの点で非常に優秀で、ほとんどの位置において最優先の回答や Top-K の確率分布が BF16 版と一致しています。実際のタスクでも同様で、エージェント機能、多言語コード生成、ツール呼び出し、長文理解いずれも「フルスペック」モデルに迫る結果を出しました。また、GPTQ Int4 モデルの評価セットでの性能低下幅は非常に小さく、全体として許容範囲内です。 画像 特に驚いたのが 1bit 版です。直感的には 1bit に圧縮するとモデルが劣化すると考えがちですが、Hy3 の 1bit 版は主要タスクでも安定した性能を発揮しています。長文理解は元のモデルとほぼ同等で、エージェントやコード生成も良好な水準を維持し、わずかな低下にとどまりました。日常のコーディング支援、ツール呼び出し、長文処理、一般的な質問応答といった用途であれば、すでに十分実用可能です。 MTP による高速化 画像 Hy3 を実際にスムーズに動かすには、MTP（Multi-Token Prediction）を用いた投機型デコードが不可欠です。そこで私たちは llama.cpp に専用パッチを開発し、Hy3 の MTP 構造に対応させました。利用可能なビルドとデプロイ手順も公開しています（詳細は https://huggingface.co/AngelSlim/Hy3-GGUF を参照）。MTP を有効にすると、受け入れ率は約 60% で安定し、1bit 版のデコード速度は約 50% 向上、4bit 版ではほぼ 60% の高速化が実現しました。実際のインタラクションでも快適な体験が可能です。 関連リンク： Hy3 モデル：https://huggingface.co/tencent/Hy3 低ビット GGUF モデル：https://huggingface.co/AngelSlim/Hy3-GGUF GPTQ Int4 モデル：https://huggingface.co/AngelSlim/Hy3-GPTQ-Int4 llama.cpp パッチ：https://huggingface.co/AngelSlim/Hy3-GGUF/tree/main/patches WeChat で開くにはこちらへ

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト