テンセントが2950億パラメータのMoEモデル「Hy3」を公開
騰訊が公開した大規模パラメータ数を持つ MoE モデル「Hy3」は、21B のアクティブパラメータで 2-5 倍の競合モデルに匹敵する性能を発揮し、業界に新たな基準を提示している。
キーポイント
ハイブリッドアーキテクチャと高性能
295B パラメータのうち 21B をアクティブに使用し、MTP レイヤーを備えることで、同規模モデルやフラッグシップオープンソースモデルを凌駕する性能を実現している。
長大なコンテキストウィンドウ
256K のコンテキスト長をサポートしており、大量の文脈情報を処理するタスクや複雑な分析作業に適している。
多様なフォーマットとアクセス性
フルサイズ（598GB）および FP8 量子化版（300GB）が Hugging Face で利用可能で、7 月 21 日まで OpenRouter を通じて無料で試せる。
実用性と生成能力の向上
50 以上の製品からのフィードバックを反映して後処理学習が行われ、SVG 画像生成などの多様なタスクで高い生産性を示している。
影響分析・編集コメントを表示
影響分析
このモデルの公開は、中国発のオープンソース LLM が欧米製フラッグシップモデルと同等かそれ以上の性能を持つことを示す重要な事例であり、業界全体の技術競争を激化させる要因となる。特に MoE アーキテクチャの最適化と MTP レイヤーの活用により、計算リソース効率と推論精度の両立が図られた点は、今後の大規模モデル開発における標準的なアプローチとして注目される。
編集コメント
騰訊によるこのモデルの発表は、中国発 AI の技術力が頂点に達していることを示す象徴的な出来事であり、特に MoE 構造の効率化と MTP レイヤーの実装は、今後の業界標準となる可能性を秘めています。
中国のテンセントから、新しい Apache 2.0 ライセンスモデルが登場しました。
Hy3 は、テンセント Hy チームが開発した、パラメータ数 295B の Mixture-of-Experts (MoE) モデルで、アクティブなパラメータ数は 21B、MTP レイヤーのパラメータ数は 3.8B です。4 月末に Hy3 Preview をリリースした後、50 以上の製品からのフィードバックを収集し、高品質なデータを用いてポストトレーニングの規模を拡大しました。本日、Hy3 をご紹介します。同サイズのモデルを上回り、パラメータ数が 2〜5 倍のフラッグシップオープンソースモデルにも匹敵する性能を発揮します。また、さまざまな製品や生産性タスクにおける実用性においても顕著な向上が見られます。
フルサイズモデルは Hugging Face で 598GB です。FP8 量子化版 は 300GB です。コンテキスト長は 256K です。
7 月 21 日まで OpenRouter で無料で利用可能です こちら。そこで「自転車を漕ぐペリカンの SVG を生成して」と指示したところ、以下の画像が得られました:
Tags: ai, generative-ai, llms, pelican-riding-a-bicycle, llm-release, ai-in-china
原文を表示
New Apache 2.0 licensed model from Tencent in China:
Hy3 is a 295B-parameter Mixture-of-Experts (MoE) model with 21B active parameters and 3.8B MTP layer parameters, developed by the Tencent Hy Team. Following the Hy3 Preview launch in late April, we gathered feedback from 50+ products and scaled up post-training with higher quality data. Today, we introduce Hy3, which outperforms similar-size models and rivals flagship open-source models with 2-5x parameters. It also shows significant gains in utility across various products and productivity tasks.
The full-sized model is 598GB on Hugging Face, and the FP8 quantized one is 300GB. The context length is 256K.
It's available for free on OpenRouter until July 21st. I had it "Generate an SVG of a pelican riding a bicycle" there and got this:
Tags: ai, generative-ai, llms, pelican-riding-a-bicycle, llm-release, ai-in-china
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み