WeChat、多モーダル埋め込みモデル「WeMM-Embedding」の技術報告を公開

ユニバーサルなマルチモーダル埋め込みは、現代の AI システムの中核コンポーネントとなりつつあります。これにより、検索や推薦、分類、エージェントシステムなどのアプリケーションで、多様なコンテンツを共有空間に表現することが可能になります。

本レポートでは、テキスト、画像、動画、視覚ドキュメント、そして任意に組み合わされたマルチモーダル入力を柔軟な出力次元でサポートする「WeMM-Embedding」というユニバーサル・マルチモーダル埋め込みモデルのファミリーを紹介いたします。このファミリーには 2B、4B、9B の 3 つのバリアントが含まれており、大規模なマルチモーダル整列ステージに続き、厳選されたデータ、微細な関連性監督、そしてクロススケールの知識転送を用いた精緻化ステージという 2 段階でトレーニングされています。

広範な評価において、WeMM-Embedding は複数の公開ベンチマークでトップクラスの性能を達成しました。特筆すべきは、2B バリアントがすでに以前最高の 8B オープンソースベースラインを上回る MMEB-v2 のスコアを記録している点です。さらに 9B バリアントでは、全体スコアで 80.6 という新たな最高記録を更新しました。

WeMM-Embedding はまた、WeChat 内のアプリケーションにおいても強力な実用性能を示しています。社内ベンチマークの 26 タスクで大幅な改善が見られ、14 のオンライン A/B テストでも一貫した向上が確認されました。すでに WeChat チャンネル、公式アカウント、モーメンツ、EC サービスなどを含む検索や推薦アプリケーションにおいて大規模に展開されています。

今後の研究を促進するため、モデルの重みとコードは https://github.com/Tencent/WeMM-Embedding で公開しています。