テンセントRobotics Xラボと混元が2Bエンボディードモデルを共同開発：22項目中16項目で最高評価

腾讯混元 2026-04-09 17:07 广西

基盤モデルは、実世界のエージェント（Agent）への重要な基礎です。

本記事は『量子位』により4月8日に初めて公開されました。

大規模言語モデルを真に現実世界へ導入することは、現在最も緊急性の高いニーズの一つです。

しかし、その美しいビジョンは、実際の物理環境の前でしばしば壁にぶつかります。

テキストの世界では流暢に対応できる汎用ビジョン言語モデル（VLM: Vision-Language Model）も、一度ロボットに組み込まれると、しばしば不器用でぎこちなく見えます。

理由はシンプルです——物理世界には曖昧さの余地がありません。汎用モデルは普段、画像を「おおまかに」理解できれば十分ですが、具身知能（Embodied AI）には極めて精緻な三次元空間の認識と、実際の物理的相互作用に関連する予測・計画が必要です。「問題解決型」の頭脳で現実の肉体労働を行うのは、当然ながら水土不服（不適合）になります。

この業界の痛みに直面し、腾讯混元チームと腾讯Robotics Xラボが共同で開発したHY-Embodied-0.5シリーズの基盤モデルは、非常にハードコアな回答を示しました。これは汎用大規模言語モデル上での単純な「ファインチューニング」ではなく、基盤アーキテクチャからトレーニングパラダイムに至るまで、「具身知能」のために完全にカスタマイズされた再構築です。

今回、HY-Embodiedチームは二つの主力モデルをリリースしました：

MoT-2B（総パラメータ40億、アクティブパラメータ20億）は、革新的な混合Transformer（MoT: Mixture-of-Transformers）アーキテクチャを採用し、エッジ側（端末側）へのデプロイとリアルタイム応答を主眼としています。

MoE-32B（総パラメータ4070億、アクティブパラメータ320億）は、複雑な推論と極致の性能を追求します。

AIが物理空間を真に「理解」し、正確な反応を行うために、チームはアーキテクチャ、データ組織化、トレーニングフローにおいて多くの革新を行いました。

彼らはネイティブ解像度のビジュアルエンコーダを採用するだけでなく、対象的にMixture-of-Transformers（MoT）アーキテクチャを採用し、ビジュアル潜在トークン（Visual Latent Token）メカニズムを導入することで、視覚と言語空間の対齐（アライメント）をさらに強化しました。

トレーニング面では、モデルはまず1億件以上の高品質な具身専用データで基盤を固め、反復型ポストトレーニングパラダイムを導入しました。拒否サンプリング微調整（Refusal Sampling Fine-tuning）、強化学習、オンライン蒸留などの手法を適用し、モデルの思考チェーン（Chain of Thought）の自律的進化を駆動するとともに、大規模モデルの能力を高忠実度で「圧縮」し、アクティブパラメータがわずか20億の軽量バリアントに伝授しました。

HY-Embodiedシリーズモデルは、オープンソースのベンチマーク（Benchmark）で圧倒的なリードを達成しただけでなく、物理的な実演でも紙の上の議論ではないことを証明しました：VLM基盤をVLA（Vision-Language-Action: 視覚・言語・行動）モデルに適用し、直接現実世界のロボット制御を任せることでその実効性を示しました。

知覚（Perception）、推論（Reasoning）、計画（Planning）の22項目からなる権威ある評価ベンチマークにおいて、HY-Embodied-0.5は極めて強力なパフォーマンスを示しました。パラメータ数が少ないMoT-2Bモデルは、16項目で最高スコアを記録し、より大規模な汎用基盤モデルであるQwen3-VL-4Bや、具身知能（Embodied AI）専用モデルであるRoboBrain2.5、MiMo-Embodiedなどを上回りました。

△ HY-Embodied-0.5 2Bパラメータ版の評価結果

一方、完全な機能を持つMoE-A32Bモデルは、具身知能評価基準における総合スコアが、現在の業界標準であるGemini 3.0 Proなどと互角に渡り合っています。

△ HY-Embodied-0.5 フラッグシップモデルの評価結果

優れた評価性能に加え、2Bパラメータの小規模モデルも良好な使用感を提供します。視覚知能および具身タスクにおいて、正確な結果だけでなく、明確で合理的な推論プロセスを示しています。

より強力なビジョン言語モデル（Vision-Language Model, VLM）の基盤をロボットの実機タスクに適用することで、より優れた結果が得られます。事前学習済みのHY-Embodied-0.5基盤（右図）は、ベースラインモデル（左図）と比較して優れています。

同じ動作の訓練データを使用した場合、HY-Embodied基盤はpi0およびpi0.5で初期化されたモデルと比較して、梱包、積み重ね、吊り下げの3つの実機タスクにおいてより優れた結果を達成します。

視覚と言語を統合したMoT（Mixture of Transformers）アーキテクチャ

マルチモーダル学習において、視覚信号は情報量が膨大であるため、モデルが画像を「理解」することに集中しすぎると、本来言語処理に割り当てられるパラメータ空間が圧迫され、「画像認識は優れているのに、言語生成能力が低下する」というカタストロフィックフォギティング（壊滅的忘却）が発生しがちです。この現象は、2B規模のエッジデバイス向けモデルにおいて特に顕著に現れます。

HY-Embodied-0.5は、アーキテクチャ面からモーダル適応性と損失のない知覚の実現を目指しています。つまり、エッジデバイス向けモデル（例：HY-Embodied-0.5-MoT-2B）は、情報損失を最小限に抑えつつ入力画像を明確に認識するだけでなく、視覚と言語が互いに干渉することなくそれぞれの役割を果たすことで、性能の倍増を実現します。

△ HY-Embodied-0.5 MoT-2Bのアーキテクチャ図

エッジデバイスにおける小規模モデルのパフォーマンスボトルネックを打破するため、HY-Embodiedは基盤となるVLM（Vision-Language Model：視覚言語モデル）アーキテクチャを深く再構築しました。その核心は以下の3つの主要コンポーネントで構成されます。

HY-ViT 2.0（ネイティブ解像度対応ビジュアルエンコーダー）

HY-ViT 2.0は、任意の解像度での入力をネイティブにサポートするだけでなく、エッジデバイス向けに最適化された400Mパラメータの軽量バージョンも提供しています。より強力な内部大規模モデルからの知識蒸留（Knowledge Distillation）を行い、視覚再構築の監督信号および小型LLM（Large Language Model：大規模言語モデル）による言語監督を導入することで、大規模言語モデルに入力される視覚信号の情報損失を最小限に抑えます。

MoT計算と双方向アテンション（混合Transformerアーキテクチャ）

視覚と言語の処理が競合しないよう、モデルはMoT（Mixture of Transformers：混合トランスフォーマー）メカニズムを導入し、視覚ブランチに非共有パラメータを割り当てました。具体的には、言語モデルのFFN（Feed-Forward Network：前層ネットワーク）およびQKVパラメータを複製し、事前学習済みの重みで初期化した上で、視覚トークンの計算専用に割り当てています。これによりモデルのパラメータ数は倍増しますが、推論効率にはほぼ影響がありません。

また、画像は言語のような一方向のシーケンシャルな性質を持たないため、モデルは視覚トークンに対して独立した全方向（双方向）アテンションメカニズムを解放し、視覚Next-code予測タスク（各8x8の画像ブロックを2kの離散語彙を用いて単一のコードに圧縮するものを監督信号とする）を導入することで、より強力な視覚監督信号を提供します。

Visual Latent Tokens（視覚潜在トークン：視覚と言語の架け橋）

潜在思考メカニズムに触発され、HY-Embodied-0.5は、各視覚入力シーケンス（画像やビデオフレームなど）の末尾に専用の「ビジュアル潜在トークン」を追加します。事前学習フェーズでは、これらのトークンは超大規模なViT（Vision Transformer）のグローバル特徴から直接監督を受けます。これらは視覚とテキストコンテンツを結ぶ橋渡し役として、エッジ側の小規模モデルの全体的な知覚容量と細粒度理解能力を大幅に向上させます。

大規模で高品質な具身＋空間データ

△ HY-Embodied-0.5の訓練データ構成

HY-Embodied-0.5チームは、モデルが実際の物理エージェント（Agent）のように、「立体空間知覚」から「論理的計画実行」に至る完全な認知リンクを構築することを望んでいます。モデルに真の物理的直感を注入するため、HY-Embodied-0.5は断片的なデータの寄せ集めを放棄し、膨大な基礎視覚データと高度に専門的な具身・空間認知データを深く統合しました。

視覚知覚

視覚知覚データは、モデルに包括的で多次元の「基礎的な視覚理解」能力を体系的に構築します。マクロな2次元および3次元の全方向検出、物理環境の深さ推定から、ミクロな高解像度セマンティックセグメンテーションに至るまで、さらに高密度の目標指向と正確な数え上げといった極めて挑戦的なタスクも含みます。これらのデータにより、モデルは複雑なシーンに対するピクセル単位の精密な制御を確立し、その後の精緻な具身物理操作のための堅牢で信頼性の高い視覚的アンカーの基盤を築きます。

空間知覚

空間知覚データは、3次元環境専用に設計された「空間感覚」を体系的に注入します。幾何学的深さ、空間トポロジーから、視点間の物理的対応関係、さらに厳格な絶対的物理計測に至るまで。これらのデータにより、モデルは2次元ピクセルの限界を完全に打破し、真の立体幾何学的直感を確立します。

具身知覚

HY-Embodied-0.5は、現実世界の物理操作データを厳密な3つの階層に分解します：知覚、セマンティック理解、高度な計画です。これには、基礎的な視覚的アンカーリングやアフィダンス（affordance）予測から、実際のロボットアームの第一人称視点から抽出された長視野の動作推論および軌道予測までが含まれます。これらのデータを通じて、モデルは現在のタスク状態を評価するだけでなく、視覚パズルや直感的な物理法則を含む複雑なシーンにおいて、次の行動シーケンスを正確に生成する方法も学びます。

マルチステージ長連鎖推論後学習

HY-Embodied-0.5は、訓練パラダイムにおいて「基礎的な知覚から深い思考へ、そしてエッジ側へのデプロイメント」までの完璧なクローズドループの実現を目指しています。つまり、モデルは膨大なデータの中で視覚と言語の基盤を固めるだけでなく、自己進化を通じて真に長連鎖論理推論能力を習得する必要があります。

△ HY-Embodiedのトレーニングフロー

常識を理解し、強力な具身（身体を備えた）推論能力を持つモデルを育成するために、HY-Embodiedは多段階で漸進的なディープトレーニングレシピを設計しました。

まず、モデルは膨大なマルチモーダルコーパスおよび空間・具身データを用いて知覚能力を向上させ、データの品質と規模に応じてプリトレーニング（Pre-train：600Bトークン以上）とミッドトレーニング（Mid-train：30M件以上のデータ）の2つのフェーズに分け、モデルの認知基盤を固めます。それに続くサervisedファインチューニング（SFT：Supervised Fine-Tuning）は、高品質な推論データを用いてモデルの推論能力を引き出します。

複雑な具身タスクにおいて最適な行動戦略を見つけ、自己進化する推論能力を獲得させるため、HY-Embodied-0.5は具身タスク用に最適化された一連のポストトレーニングフローを導入しました。

トレーニングプロセスでは、まず強化学習（Reinforcement Learning）を用いてモデルにより良い行動パターンを自由に探索させるよう促し、その後、反復的な自己進化パラダイムを導入します。モデルは拒否サンプリングファインチューニング（RFT：Rejection Sampling Fine-Tuning）を通じて、モデルが評価した高品質な推論プロセスを保持し、思考パターンを強化することで、偶発的な成功を確実な能力へと変換します。

さらにHY-Embodied-0.5は、オンライン蒸留（Online Distillation）戦略を導入し、エッジ側の小規模モデルがまず出力を試みるようにし、大規模モデルは小規模モデルの「誤りのポイント」に対してリアルタイムで直接指導を行うことで、大規模モデルの能力をよりコンパクトなエッジ側モデルへ移行させます。

結び

ベースモデルは、現実世界のエージェント（Agent）への重要な基盤です。

大規模言語モデル（LLM）エージェントは、複雑で抽象的な問題の解決において驚くべき推論能力と想像力を示していますが、私たちはより切実に、モデルがより広範な物理的な現実世界で活躍することを望んでいます。HY-Embodiedシリーズのモデルが探求しているように、大規模モデルの認知リンクは、物理的な操作やロボット制御へと成功裏に拡張されています。

将来、具身知能の基盤が継続的に進化していくにつれ、AIが仮想と現実の境界を真に越え、現実世界でより広範かつ深遠なアプリケーションを実現することを期待しています。

GitHub：

https://github.com/Tencent-Hunyuan/HY-Embodied

Huggingface：

https://huggingface.co/tencent/HY-Embodied-0.5

WeChatで開く