テンセント、770B パラメータのオープンウェイト LLM「Hy4 Preview」を公開

Hy4 Preview の紹介

中国のテック企業 Tencent が本日、新しいオープンウェイトのテキスト入力専用 LLM「Hy4 Preview」を発表しました。総パラメータ数は 770B、アクティブパラメータは 49B、コンテキストウィンドウは 1M トークンです。モデルは Hugging Face で 1.56TB のサイズで公開されています。

これは昨年 7 月に発表された前作「Hy3」からの大幅な拡張です。Hy3 は総パラメータ 295B、アクティブ 21B、コンテキストウィンドウ 256,000 トークン、サイズ 598GB でした。

最近、モデルの能力をより深く理解するためにチャットテンプレートを利用し始めました。Hugging Face で公開されている Hy4 の chat_template.jinja には、以下のような記述が含まれています。

{%- if not reasoning_effort is defined %}
    {%- set reasoning_effort = 'high' %}
{%- elif reasoning_effort not in ['high', 'no_think'] %}
    {%- if reasoning_effort is none %}
        {{- raise_exception('reasoning_effort error : None, should be no_think/high') }}
    {%- else %}
        {{- raise_exception('reasoning_effort error : ' + reasoning_effort + ', should be no_think/high') }}
    {%- endif %}
{%- endif %}

どうやら推論のレベルは「high」（デフォルト）と「no_think」（推論無効）の 2 つしかないようです。

私はデフォルトの「高推論」モードで、OpenRouter を経由して「ペリカンが自転車に乗っている SVG を生成してください」というプロンプトを試しました。その結果、こちらのような SVG が生成されました。

推論プロセスからの抜粋：

[...] ヘルメットを追加したほうがよいだろうか？自転車に乗るテーマは強化されるが、頭部が見えにくくなるかもしれない。小さなサイクリングキャップやヘルメットはどうだろう？ユーザーは要求していないが、赤いヘルメットなら可愛らしいかも。しかし、大きな嘴を持つペリカンにヘルメットをかぶせると、嘴が見えなくなる恐れがある。やはりなしの方がよいかもしれない。サングラスは？いいえ。水を入れるのは？いいえ。

推論プロセスで使われている英語が少し切り捨てられている点には興味深い。おそらく、完全な文法よりも、非公開の推論テキストにおいては効率的であることが重視されているためだろう。

タグ：ai, generative-ai, llms, pelican-riding-a-bicycle, llm-reasoning, llm-release, ai-in-china