テンセントが2950億パラメータのMoEモデル「Hy3」を公開

記事の3ポイント

1. 1

   大規模MoEアーキテクチャの実装

   騰訊Hyチームが開発したHy3は2950億パラメータのうち210億をアクティブに使用し、MTP層も備えた大規模モデルである。

2. 2

   性能と実用性の向上

   同社は後期トレーニングの質を高めることで、類似サイズモデルやパラメータ数の多いフラグシップオープンソースモデルに匹敵する性能と、多様なタスクにおける実用性向上を実現したと発表した。

3. 3

   リソース要件と利用環境

   フルサイズのモデルは598GB、FP8量子化版は300GBを必要とし、コンテキスト長は256Kをサポートする。