WeChat Vision チームがマルチモーダル埋め込みモデル「WeMM-Embedding」を公開

WeMM-Embedding: 微信マルチモーダル埋め込みモデル

WeMM-Embedding は、微信ビジョンチームが開発した汎用的なマルチモーダル埋め込みモデルのファミリーです。テキスト、画像、動画、視覚ドキュメント、そしてこれらが混在する入力データに対して統一された表現を提供し、多様なタスクやドメインをカバーする複数のベンチマークにおいて最先端の性能を実現しています。

モデルゾーン

すべてのモデルは、テキスト、画像、動画、視覚ドキュメント、そして多様なモダリティが混在する入力に対応しています。埋め込みベクトルは、専用の <embedding> トークン位置における最終層の隠れ状態から取得し、L2 正規化を適用します。なお、音声入力は現時点ではサポートされていません。

インストール

pip install -r requirements.txt

Transformers

推論と再現性を確保するためには、transformers==5.2.0 の使用を推奨します。より新しいバージョンでは前処理の挙動が異なる可能性があるためです。

python examples/transformers_inference.py \
  --model /path/to/WeMM-Embedding-2B \
  --image /path/to/image.jpg \
  --video /path/to/video.mp4 \
  --dimension 2048

この例では、テキスト、画像、動画それぞれの埋め込みベクトルを独立して生成します。埋め込み次元数を指定しない場合は、--dimension オプションを省略し、フルサイズの埋め込みベクトルを取得できます。

Sentence Transformers

python examples/sentence_transformers_inference.py \
  --model /path/to/WeMM-Embedding-2B \
  --image /path/to/image.jpg \
  --video /path/to/video.mp4 \
  --dimension 2048

SentenceTransformer はモデルを直接読み込むため、ローカルパスの代わりに Hugging Face のモデル ID（例：tencent/WeMM-Embedding-2B）を指定することも可能です。

テキスト、画像、動画の入力は SentenceTransformer.encode() を経由し、--dimension オプションで MRL が選択されます。

推論サービス

検証済みバージョン：vLLM 0.27.0 と SGLang 0.5.9

vLLM:

MODEL_PATH=/path/to/WeMM-Embedding-2B
vllm serve "$MODEL_PATH" \
  --runner pooling \
  --chat-template "$MODEL_PATH/embedding_chat_template.jinja"

SGLang:

MODEL_PATH=/path/to/WeMM-Embedding-2B
python scripts/patch_sglang_video.py
python -m sglang.launch_server \
  --model-path "$MODEL_PATH" \
  --is-embedding \
  --enable-precise-embedding-interpolation

scripts/serve_vllm.sh と scripts/serve_sglang.sh には、ワンコマンドで実行できるラッパーが用意されています。

Matryoshka Embeddings

対応する次元数 d の場合、完全な埋め込みベクトルを切り詰め、再度正規化します:

embedding = torch.nn.functional.normalize(embedding[..., :d], dim=-1)

MMEB-v2 において、2B モデルは 256 次元でもフル次元版の画像および動画性能の 98.7% を維持しています。

Evaluation

MMEB-v2

78 のデータセットにおける結果は、技術レポートの Table 1 に記載されています。画像および動画タスクでは Hit@1 を、視覚ドキュメントタスクでは NDCG@5 を採用しており、数値が高いほど性能が良いことを示します。

非公開モデル重みや推論エンドポイントの公開がないクローズドソースリーダーボードへの提出。

MMEB-v3

技術レポート（technical report）の Table 2 に記載されている全 190 タスクの結果。V3-All には、78 の MMEB-v2 タスク、53 のテキストタスク、47 のエージェントタスク、11 のオーディオタスク、および MCMR が含まれます。未対応のタスクはスコアゼロとして扱います。

評価指標は、テキスト結果にNDCG@5を、エージェント・MCMR・音声結果にはHit@1を使用します。

mmeb_v3_eval/ ディレクトリには、報告された数値を生成するために使用された MMEB-v3 評価コードが含まれています。これは公式の TIGER-AI-Lab/VLM2Vec パイプラインに最小限の変更を加えたものです。具体的には、マルチノード・マルチ GPU 推論（torchrun --nnodes=N）と、前処理を実装する wemm_embedding バックボーンです。

バッチ処理による推論、リリースされたモデルに合わせたデータセットの指示、そして 64 フレームの動画サンプリングに対応しています。データのダウンロード方法や、シングルノード・マルチノードでの実行コマンドは mmeb_v3_eval/README.md に記載されています。

cd mmeb_v3_eval
DATA_ROOT=/path/to/MMEB-V3 bash scripts/download_data.sh
MODEL_PATH=/path/to/WeMM-Embedding-2B DATA_BASEDIR=/path/to/MMEB-V3 \
OUTPUT_DIR=exps/wemm_embedding bash scripts/run_eval.sh

引用

このリポジトリが役立つと感じた場合は、スター⭐️を付けていただき、引用をご検討ください。

@article{wemm-embedding,
      title={WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report},
      author={Junjie Zhou and Ke Mei and Lei Li and Tianyi Wang and Fengyun Rao and Jing Lyu},
      year={2026},
      eprint={2608.24053},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2608.24053},
}

ライセンス

特に明記がない限り、本リポジトリ内の騰訊（テンセント）作成のコードは Apache License 2.0 の下で公開されています。

サードパーティ製のコンポーネントは元のライセンスと著作権表示を保持します。利用前に該当するソースファイルを確認してください。