テンセントが2950億パラメータのMoEモデル「Hy3」を公開
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Simon Willison Blog
中国の騰訊が2950億パラメータ規模のMoEモデル「Hy3」をApache 2.0ライセンスで公開し、同サイズモデルやフラグシップオープンソースモデルと競合する性能を示した。
AI深層分析を開く2026年8月4日 18:47
AI深層分析
キーポイント
大規模MoEアーキテクチャの実装
騰訊Hyチームが開発したHy3は2950億パラメータのうち210億をアクティブに使用し、MTP層も備えた大規模モデルである。
性能と実用性の向上
同社は後期トレーニングの質を高めることで、類似サイズモデルやパラメータ数の多いフラグシップオープンソースモデルに匹敵する性能と、多様なタスクにおける実用性向上を実現したと発表した。
リソース要件と利用環境
フルサイズのモデルは598GB、FP8量子化版は300GBを必要とし、コンテキスト長は256Kをサポートする。
無料提供期間の限定
OpenRouterを通じて2024年7月21日まで無料で利用可能であり、SVG生成などのタスクで動作が確認されている。
重要な引用
Hy3 is a 295B-parameter Mixture-of-Experts (MoE) model with 21B active parameters and 3.8B MTP layer parameters, developed by the Tencent Hy Team.
Today, we introduce Hy3, which outperforms similar-size models and rivals flagship open-source models with 2-5x parameters.
It's available for free on OpenRouter until July 21st.
編集コメントを表示
編集コメント
騰訊が公開したHy3は、MoEアーキテクチャと大規模コンテキスト長を両立させた注目すべきモデルである。Apache 2.0ライセンスでの提供と期間限定の無料利用により、開発者が高性能モデルを実験する機会が拡大する点に意義がある。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
tencent/Hy3
中国のテンセントから、新しい Apache 2.0 ライセンスモデルが登場しました。
Hy3 は、テンセント Hy チームが開発した、パラメータ数 295B の Mixture-of-Experts (MoE) モデルで、アクティブなパラメータ数は 21B、MTP レイヤーのパラメータ数は 3.8B です。4 月末に Hy3 Preview をリリースした後、50 以上の製品からのフィードバックを収集し、高品質なデータを用いてポストトレーニングの規模を拡大しました。本日、Hy3 をご紹介します。同サイズのモデルを上回り、パラメータ数が 2〜5 倍のフラッグシップオープンソースモデルにも匹敵する性能を発揮します。また、さまざまな製品や生産性タスクにおける実用性においても顕著な向上が見られます。
フルサイズモデルは Hugging Face で 598GB です。FP8 量子化版 は 300GB です。コンテキスト長は 256K です。
7 月 21 日まで OpenRouter で無料で利用可能です こちら。そこで「自転車を漕ぐペリカンの SVG を生成して」と指示したところ、以下の画像が得られました:
Tags: ai, generative-ai, llms, pelican-riding-a-bicycle, llm-release, ai-in-china
原文を表示
tencent/Hy3
New Apache 2.0 licensed model from Tencent in China:
Hy3 is a 295B-parameter Mixture-of-Experts (MoE) model with 21B active parameters and 3.8B MTP layer parameters, developed by the Tencent Hy Team. Following the Hy3 Preview launch in late April, we gathered feedback from 50+ products and scaled up post-training with higher quality data. Today, we introduce Hy3, which outperforms similar-size models and rivals flagship open-source models with 2-5x parameters. It also shows significant gains in utility across various products and productivity tasks.
The full-sized model is 598GB on Hugging Face, and the FP8 quantized one is 300GB. The context length is 256K.
It's available for free on OpenRouter until July 21st. I had it "Generate an SVG of a pelican riding a bicycle" there and got this:
Tags: ai, generative-ai, llms, pelican-riding-a-bicycle, llm-release, ai-in-china
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み