テンセントが公開した大規模 MoE モデル「Hy3」の紹介（1 分読了）
騰訊が Apache 2.0 ライセンスで公開した大規模 MoE モデル「Hy3」は、295B パラメータながら 21B のアクティブパラメータを有し、同サイズモデルやフラッグシップオープンソースモデルと競合する性能を発揮している。
キーポイント
ハイブリッドアーキテクチャの実装
295B パラメータの MoE モデルでありながら、推論時に 21B のパラメータのみを活性化し、MTP レイヤーも備えた効率的な設計を採用している。
圧倒的なコンテキスト長とサイズ
最大 256K トークンのコンテキスト長をサポートしており、フルサイズのモデルは 598GB、FP8 量子化版でも 300GB の容量を必要とする。
実用性と生成能力の向上
フィードバックに基づきポストトレーニングが強化され、多様な製品タスクや生産性向上において同等サイズモデルを上回る性能を示している。
影響分析・編集コメントを表示
影響分析
騰訊による大規模 MoE モデルのオープンソース化は、特に中国発の高性能モデルが欧米のフラッグシップモデルと対等に戦えることを示す重要な転換点です。256K のコンテキスト長と高い実用性は、長文書処理や複雑なタスク実行を必要とする開発者にとって即座に活用可能な価値をもたらします。
編集コメント
295B という巨大なモデル規模を MoE 技術で制御し、Apache 2.0 で公開した点は業界に大きなインパクトを与えます。特に OpenRouter を通じた無料提供は、開発者が即座にその性能を検証できる貴重な機会です。
6th July 2026 - Link Blog
tencent/Hy3. 中国のテンセント社から、Apache 2.0 ライセンスで公開された新しいモデル:
Hy3 は、テンセント Hy チームが開発した、パラメータ数 295B の Mixture-of-Experts (MoE) モデルです。アクティブなパラメータ数は 21B、MTP レイヤーのパラメータ数は 3.8B です。4 月末に Hy3 Preview をリリースした後、50 以上の製品からのフィードバックを収集し、高品質なデータを用いてポストトレーニングの規模を拡大しました。本日、Hy3 をご紹介します。同サイズのモデルを上回り、パラメータ数が 2-5 倍のフラッグシップオープンソースモデルにも匹敵する性能を示します。また、さまざまな製品や生産性タスクにおける実用性においても顕著な向上が見られます。
フルサイズモデルは Hugging Face で 598GB です。FP8 量子化版 は 300GB です。コンテキスト長は 256K です。
7 月 21 日まで OpenRouter で無料で利用可能です こちら。そこで「自転車を漕ぐペリカンの SVG を生成して」と指示したところ、以下の結果が得られました:
原文を表示
6th July 2026 - Link Blog
tencent/Hy3. New Apache 2.0 licensed model from Tencent in China:
Hy3 is a 295B-parameter Mixture-of-Experts (MoE) model with 21B active parameters and 3.8B MTP layer parameters, developed by the Tencent Hy Team. Following the Hy3 Preview launch in late April, we gathered feedback from 50+ products and scaled up post-training with higher quality data. Today, we introduce Hy3, which outperforms similar-size models and rivals flagship open-source models with 2-5x parameters. It also shows significant gains in utility across various products and productivity tasks.
The full-sized model is 598GB on Hugging Face, and the FP8 quantized one is 300GB. The context length is 256K.
It's available for free on OpenRouter until July 21st. I had it "Generate an SVG of a pelican riding a bicycle" there and got this:
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み