ByteDance、多模態モデル DME を発表し SOTA 達成を報告

2026 年 8 月 18 日 19:00 北京

抖音搜索多模态チームと中国人民大学の高瓴人工智能学院は共同で、抖音多模态表征モデル「DME（Douyin Multimodal Embedding）」を発表しました。多模态表征の権威ある評価ベンチマーク「MMEB-v2」（78 のデータセットを網羅し、画像・動画・視覚ドキュメントの 3 つの領域をカバー）において、DME モデルは 2B パラメータと 9B パラメータの両規模で SOTA（State-of-the-Art）を達成。全体のスコアはそれぞれ 74.8（2B）、78.4（9B）に達し、特に動画および視覚ドキュメント検索において顕著な優位性を示しています。

DME の技術はすでに抖音のオンラインシステムへ実装済みです。内部のオフライン評価セットでは全体で 2.92% の相対向上を記録。また、オンライン A/B テストにおいても、コアビジネス指標である LT（Lifetime）で 0.1% の収益増が確認されました。現在、生成型検索や視覚検索、AI 検索などのシーンで活用されています。

DME が検証した核心は、「検索表現の効率性」と「細粒度な理解」を両立できるという点です。「どこを見るべきか」「何を記憶すべきか」という 2 つのタスクを訓練段階で前倒しすることで、オンライン推論時の高効率性を担保しています。この能力は、10 億件規模の産業用検索シーンにも対応可能であり、検索結果に基づいて深い推論を行う AI 検索や Agent といった新興シナリオも支えることができます。これらのシーンでは、ベクトルが単なるソート用の類似度信号として機能するだけでなく、非対称な意味情報を真に担う必要があります。

MMEB-v2 における全体およびドメイン別のパフォーマンス：DME は 2B と 9B の両規模で同規模最優の成績を収め、特に動画と視覚ドキュメント検索での向上が顕著です。

論文リンク：https://arxiv.org/pdf/2608.02148

1. 背景：AI 時代において、検索能力はより基盤となる表現に依存する

大モデルの時代において、「表現（Embedding）」が担う役割は多様化しています。従来は主に検索や推薦システムを支えるものでしたが、現在は RAG（Retrieval-Augmented Generation）による外部知識の取得や、Agent が外部世界を認識するための検索ツールとして機能することも増えています。こうしたタスクが増加するほど、正確な証拠を呼び出すためにこの基盤層への依存度は高まります。

一方、新たな利用者が求めるものも変化しています。従来の検索ではクエリが短いキーワードであることが多く、「意味的に近い」コンテンツを関連づければ十分でした。しかし、AI 検索や Agent が発するものは、複数の制約を含む一連の指示文であることがほとんどです。求められるのは「見た目が関連している候補」ではなく、その後の推論を支える確かな証拠です。

これはベクトルに対して、これまで求められていなかった性質を要求します。単なるソート用の粗い類似度信号として機能するだけでなく、コンテンツの意味情報を真に担う必要があるのです。しかし、純粋な対比学習（Contrastive Learning）はこの点を保証しません。それは「どのペアが近づくべきか」のみを監督するものであり、ベクトル内にどのような意味情報が残っているかは考慮しないからです。

産業検索の現場では、この基盤層が同時に満たすべき二つの要件があります。第一に、タスクのカバレッジを十分に広げることです。クエリとコンテンツはどちらもテキスト、画像、動画、あるいはそれらの組み合わせとなり得ます。また、EC（電子商取引）やコンテンツ理解など多様なシナリオに対応する必要があります。第二に、10 億件規模のデータにおいても品質と効率を両立させることです。コンテンツはオフラインでエンコードしてインデックスを構築し、オンラインではクエリ側のエンコードのみを許容するという制約があります。

MMEB-v2 は広く利用されている公開ベンチマークであり、この基盤層の汎用的な信頼性を直接評価できる指標となっています。

抖音（TikTok）検索多模态チームが提案した DME も、まさにこれらの要件に焦点を当てて設計されています。堅固なデータとエンジニアリングを土台とし、さらに情報完全性を目的とした Stage 2 を革新的に追加しました。これにより、ベクトルは検索エビデンスの上に構築され、マッチング相手の微細な意味も保持されます。重要なのは、これらの能力がすべてトレーニング段階で完結しており、オンラインではほぼ追加の推論コストを発生させない点です。

MMEB-v2 における同規模モデルとの比較で SOTA（State-of-the-Art）を達成したことは、このアプローチの有効性を証明しています。品質も速度も十分に高いのです。

1. 課題：現実的な産業検索システムの規模制約

三つのパラダイムのトレードオフ：対照学習は高速だが粗く、明示的な CoT は詳細だが遅い。DME はこの二つの利点を組み合わせた。

DME が解決しようとしているのは、ランキングボード上の課題ではなく、抖音（Douyin）の検索システムから生まれた実務的な問題です。動画プラットフォームである抖音では、検索対象となるコンテンツは数百億件に及び、そのモダリティも極めて複雑です。クエリは自然言語、画像、動画、あるいはそれらの組み合わせとなり得ます。一方、候補コンテンツには視覚フレーム、テキストと画像の組み合わせ、タイトル、OCR 文字、そして多様なメタデータが混在しています。

この規模と複雑さが、三つの重要な要件を突きつけました。そのうち二つは制約条件です。まず効率性について、数百億件のコンテンツをオフラインでエンコードしてインデックスを構築し、オンライン検索時にはクエリ側でのエンコードを一度だけ行う必要があります。これが双エンコーダーのアーキテクチャを決定づけます。次に細粒度性について、実際のクエリでは物体、属性、動作、OCR 文字、時間的・空間的な関係などに対する多重の制限が含まれることが多く、難易度の高いネガティブサンプルは正解サンプルと同じグローバルなシーンを共有し、局所的な領域や重要なフレームの違いのみで判別されるケースが珍しくありません。三つ目の要件は絶対的な能力への要求です。検索対象となるデータ量が膨大で分布も多様であるからこそ、モデルはまず広範かつ幾何学的に安定した表現空間を備えていなければなりません。そうでなければ、どれだけ精巧なメカニズムを導入しても効果を発揮できません。

これらの三つの要件に従えば、DME が取り組むべき課題と、それに対応する二つの学習フェーズが明確になります。

第一に、堅固なデータエンジニアリングによって広範な表現空間を構築することです。これが絶対的な能力の源泉となります。大規模で多様なモダリティを持つデータをスケーリングすることで、統一されたベクトル空間を広げます。特に動画や視覚ドキュメントといった、長いコンテキストと強い時系列特性を持つモダリティの上限を引き上げることに注力します。

第二に、効率性と細粒度性の二重制約の中で、モデルの細粒度感知能力を補完することです。ここでの難点は、デプロイ形態を変更できないことです。既存の対照学習アプローチは「どのインスタンス同士が近づくべきか」のみを監督しますが、「どこを見るべきか」「何を記憶すべきか」までは指示しません。一方、明示的な CoT（Chain of Thought）のような推論強化手法は細粒度性を向上させますが、テキスト生成や追加の前向き計算というコストを伴います。数百億件のコンテンツを扱うオンラインシステムにおいて、これを主要な検索エンコーダーとして機能させることは現実的ではありません。

1. 方法論

3.1 学習の基盤：二段階学習、データのスケーリング、そして重要なトレードオフ

2 段階学習フレームワーク：第 1 段階は大規模な対比学習による事前学習、第 2 段階は意味的完全性の学習

学習の枠組み：2 段階学習

生成系大モデルは本質的に生成タスクを目的としており、その核心は隠れ層の表現に基づいて次のトークンを予測することにあります。一方、ベクトルモデルは表現と検索タスクに焦点を当てており、異なるモダリティや粒度を持つコンテンツを統一されたベクトル空間へマッピングし、類似度計算を通じてマッチングとリコールを実現します。

生成系大モデルを高品質なベクトルモデルへと転換するために、DME は 2 段階学習の枠組みを採用しました。まず大規模な対比学習によって汎用的な表現能力を構築し、その後、高品質な指令データを用いて検索シナリオにおける意味的完全性を強化します。

第 1 段階：大規模な対比学習による事前学習

第 1 段階では、約 2500 万組のデータペアを用いた大規模な対比事前学習を行います。目的は、網羅的で構造的に安定した統一多模態ベクトル空間を構築することです。この段階では、すべての訓練サンプルを「クエリ样本」と「関連样本」のペアとして構成し、テキスト、画像、動画など多様なデータ形態をカバーします。最適化には標準的な InfoNCE loss を採用しています。

大規模な対比学習を通じて、モデルは生成系モデルから表現モデルへの初期変換を完了し、モダリティやタスクを超えた基礎的な意味的アライメント能力を獲得します。これがその後の微調整の基盤となります。

ここで、image は第 i 番目のクエリサンプルを、image はimage と一致する正解サンプル（ポジティブサンプル）を、image はバッチ内における第 j 番目の候補サンプルをそれぞれ表します。また、image は温度係数であり、類似度分布の滑らかさを調整する役割を果たします。

ステージ 2：意味的充足性の学習

第 2 段階では、約 500 万件の高品質データを用いて「セマンティック・サフィシェンシー（意味的充足性）」の学習を行います。

意味的充足性とは、単にベクトル表現が全体として関連するサンプルと整合していればよいのではなく、検索による証拠に基づいてモデル化され、かつ対象とのマッチングにおいて微細な意味情報を可能な限り保持することを指します。このため第 2 段階では、従来のコントラスト学習に加え、生成型連合訓練と暗黙的推論メカニズムを導入しました。これにより、モデルは単に「マッチする」だけでなく、「なぜマッチするのか」をより深く理解できるようになります。また、ハードネガティブ（難易度の高い負例）の学習も導入し、意味が似ているが等価ではないコンテンツを微細なレベルで区別する能力をさらに強化します。

訓練データ：構成と品質

データのスケーリング

モデルの基本性能は主に「データのスケーリング」によって確立されます。第 1 段階では、テキスト・画像・動画の 3 つのモダリティをカバーする大規模な弱監督データを主体とし、テキスト–テキストマッチング、画像–テキストマッチング、動画–テキストマッチングなど多様なデータ形態を含みます。これにより、異なるモダリティ間の基本的な意味アライメント能力をモデルに身につけさせます。

第 2 段階に入ると、訓練データはより高品質な監督データへと切り替わります。対象となるタスクには、画像–テキスト検索、動画–テキスト検索、ビジュアルドキュメント検索、QA（質問応答）、分類ベースの検索、そしてマルチモーダル検索などが含まれます。さらに、各タスクの目的を明確に理解できるよう、明示的なタスク指示も導入しています。

また、公開データでは不足している品質・シーンカバレッジ・時系列理解の部分を補うため、自社および合成データを追加で採用しました。具体的には、高品質な画像キャプションを用いて画像とテキストの意味アライメントを向上させます。長編動画のキャプションや、自社構築した動画–テキスト対照コーパスを活用することで、モデルが動画内容をより深くモデル化できるようになります。さらに、フレームレベルおよびクリップレベルでの密集監督を提供し、時系列情報や複雑な視覚シーンに対する理解力を高めます。

訓練中はタスクファミリーごとにバランスよくサンプリングを行い、特定のタスクや大規模データセットが訓練分布を支配してしまうのを防ぎます。これにより、多様な検索シナリオにおけるモデルの汎化能力と安定性を向上させます。

データクリーニング

訓練信号の安定性と一貫性を確保するため、すべてのサンプルを（クエリ样本，関連样本）という形式に統一し、空のサンプルや破損したデータ、低品質なキャプション、解像度の低い画像、および重複に近いサンプルを体系的に排除します。

負例空間の拡大

コントラスト学習において、負例空間の規模は訓練の難易度と表現の質に直結します。ここでは Batch Size を増やすことで in-batch 内の負例数を拡大し、モデルが各訓練ステップでより多くの候補ノイズに直面するようにしました。これによりマッチングタスクの識別難度を高め、モデルの表現能力をさらに強化しています。

ハードネガティブの掘り起こし

ランダムな負例のみでは、微細な意味差を区別する能力を十分に訓練できません。そのため、訓練前に既存モデルを用いて大規模な候補ライブラリに対してオフラインで検索・評価を行い、クエリと意味的に近く、モデルが誤って関連があると判断しやすいが実際にはマッチしないサンプルを選別します。これらをハードネガティブとして訓練に組み込みます。

ランダム負例と比較して、こうしたサンプルは実際の検索シーンにおけるノイズに近い存在です。より挑戦的な学習信号を提供し、モデルが「見た目は関連している」ものと「本当に関連がある」ものの境界をさらに明確に区別できるよう促します。その結果、類似するが等価ではないコンテンツの識別能力が高まり、検索結果の精度も向上します。

偽負例のフィルタリング

大規模なコントラスト学習では、一部の負例が正例と意味的に極めて近接しており、実際には妥当な回答となるケースもあります。こうしたサンプルをそのまま負例として訓練に用いると、モデルに誤った最適化信号を与えてしまいます。そこで、負例と正例ドキュメント間の類似度を計算し、スコアが高すぎるサンプル（潜在的な偽負例）をフィルタリングします。これにより、モデルが誤った勾配方向へ収束するのを防ぎ、訓練の安定性を高めています。

タスク均衡型 in-batch 混合サンプリング

同種タスク内での一貫性と、多様なデータタイプを混在させる柔軟性の両立を図るため、「タスク均衡型 in-batch 混合サンプリング」戦略を採用しました。これは、同じバッチ内で同一データソースから一定比率で連続的にサンプリングしつつ、異なるタスクタイプのデータを混入させる手法です。これにより、同種サンプルによる訓練安定性を維持しつつ、タスク間やモダリティ間の対照信号を増やし、より汎用的な統一表現を学習できるようになります。

訓練設定：効率、安定性、性能のバランス

訓練設定においては、主に 3 つのトレードオフに注力しました。まず限られたリソース下で大規模モデルをいかに効率的に適応させるか、次に大規模バッチでの対照学習（contrastive learning）における安定性をどう担保するか、そして多様なモダリティ入力による VRAM（ビデオ RAM）負荷をどう抑えるかです。

最終的に、パラメータ効率の高い微調整には LoRA を採用し、バッチサイズや学習率、温度係数といった重要なハイパーパラメータのチューニングに注力して、対照学習プロセスにおける収束安定性を確保しました。多モダリティ入力側では、画像トークン数と動画のフレーム抽出数を制限しています。具体的には、画像トークンは最大 1280 までとし、動画は均等に 32 フレームを抽出します。これにより、十分な視覚情報と時系列情報を保持しつつ、計算コストを抑えています。

また、訓練中は bf16 と gradient checkpointing、そして Zero オプションを組み合わせて VRAM 使用量を最適化し、大規模バッチや多モダリティの長文入力下でも安定した学習を実現しています。

Stage 2 訓練：対照学習による暗黙的推論と生成型監督の融合で、セマンティックな充分性を最適化

3.2 暗黙的推論：エンコーダーに「どこを見るべきか」を教える

Stage 1 の対照学習は最終的な類似度スコアのみを監督するものであり、エンコーダーが具体的にどの部分に注目すべきかは制約していませんでした。しかし、エージェント時代における検索要件では、モデルが暗黙的な推論要求を理解する必要があります。

DME のアプローチは、モデルに大量の明示的な推論テキストを生成させるのではなく、1 回のエンコーディングプロセスに少数の暗黙的トークンを追加し、簡易な内部推論フローを実行させることにあります。その手順は以下の通りです。

まず証拠を探す：モデルはテキスト、画像、または動画の中から最も重要な単語、領域、あるいはキーフレームを見つけ出します。各モダリティに対していくつかのアンカートークンを割り当て、学習可能な投影を通じて、アンカーの隠状態と同一モダリティ内のコンテンツトークンとのアテンション分布を計算します。これが「そのアンカーがどこを見ているか」を表します。教師モデルによって标注された証拠目標はトークンレベルの分布に変換され、証拠命中損失（evidence hit loss）によって監督されます。

次に証拠を理解する：単に「どこを見るか」だけでなく、「その部分が何を表しているのか」も理解する必要があります。アンカーの分布は同時に証拠表現を定義し、これを集約してグローバルな証拠表現を得ます。その後、教師モデルが生成したキャッシュベクトルとの余弦アライメントを行います。これはつまり、アンカーが正しい位置をカバーするだけでなく、プール化された証拠にもその位置本来持つべき意味情報が保持されることを要求しているのです。

そしてマッチング判断を行う：どの証拠が正例（positive sample）を支え、どの詳細が「似ているようで実は違う」ハードネガティブ（hard negative）を排除できるかを判断します。クエリ側には検索役割を持つ少数の暗黙的状態を追加配置し、その役割体系には localize（局所化）、align_pos（位置整合）、reject_neg（負例拒否）、summarize（要約）が含まれます。これらは 3 つの異なる目標によって監督されます。

• 意味定位状態：教師モデルの状態記述キャッシュベクトルとのアライメント
• 正例整合状態：軌道レベルの対照目標で訓練し、対応する正例を検索可能にする
• 負例拒否状態：相対的な負例よりも正例を優先するように学習させる

最後に検索ベクトルの生成：最終的に発見した証拠と判断結果を融合させ、後のベクトル検索に用いるための埋め込み（embedding）を作成します。

訓練時には、教師モデルが重要なテキストや画像領域、動画フレームを特定し、簡潔な意味的なヒントを提供することで、モデルが「どこを見るべきか」および「なぜその部分が重要なのか」を学習できるよう支援します。同時に、正例同士を近づけ、難易度の高いネガティブサンプルからは遠ざける学習も行われます。

このプロセスはすべて単一のエンコーダー順方向計算の内部で完結し、明示的な Chain of Thought (CoT) を生成することも、追加の多輪推論を必要ともしません。そのため、本番環境でも通常の埋め込みモデルと同様にベクトルを 1 つだけ出力すればよく、追加される遅延は極めて微小です。DME の目的は、双塔検索の効率性を維持したまま、埋め込みが単なる「全体の類似度」にとどまらず、真に関係性を決定づける局所的な証拠を保持できるようにすることにあります。

3.3 再構成損失：訓練目標であると同時に評価指標にも

3.2 節で「ベクトルがいかに形成されるか」の改善を図ったのであれば、本節では「ベクトルがどれだけ情報を保持すべきか」という制約を課します。チームは、純粋な対比学習による監督下では、MLLM のバックボーンから継承された微細な生成・理解能力が衰退し、かつベクトルに対して「関連するペアとそうでないものを明確に区別できる」意味情報が保持されるよう要求されていないことに気づきました。

訓練目標としての交叉条件再構成

手法を一言で要約すれば、「検索ベクトル自体を意味のボトルネックとして扱う」ということになります。

正規化前の読み出しベクトルを取得し、それをデコーダーシーケンスの最初のプレフィックストークンとして同じバックボーンに戻します。正样本ペアに対しては、query ベクトルを用いてドキュメント側のテキストを再構成し、対称的にドキュメントベクトルを用いて query 側のテキストを再構成します。このベクトルを正規化すれば検索用の埋め込みとなるため、「相手のテキストを再構成するために必要な情報」は必然的にこのベクトルを通じて流れることになります。

これに 2 つの補完的な目標を重ね合わせます。NTP（次トークン予測）では、相手側のテキストトークンのみに対してクロスエントロピーを計算します。一方、MTP（マルチトークン予測）では各位置でさらに D 個の未来トークンを追加監督し、ベクトルがより長距離にわたる相手の意味情報を捉えられるように促します。これにより、モデルは相手側の情報に対する理解をさらに最適化されます。

デコーダープロセスと MTP モジュールは、トークンレベルの勾配を共有バックボーンと読み出し層へ戻すためだけに使用され、推論時には完全に破棄されます。したがって、DME のオンライン運用では標準的な双エンコーダーとして動作し、追加のデコーディングは一切行われません。この監督学習は、オンライン検索チェーンに対してゼロの追加コストで完結します。

評価指標としての測定可能な表現完全性

「意味的十分性」を提唱した後、次なる課題はそれが実際に最適化されたことをどう証明するかです。チームは上記の監督手法を逆転させて評価指標を構築しました。

動機は極めて直接的です。「クロスエントロピーは無界であり、このベクトルが実際にはどの程度の情報を保持しているかが判別できない」からです。そこで NTP 目標を有界形式に改変し、池化されたベクトルを唯一の条件プレフィックスとして与え、教師強制（teacher-forcing）で実行します。そして、正解トークンが Top-K 予測に含まれる割合、すなわち acc@K を統計的に算出します（各サンプルは最大 10 位置のみ評価し、マイクロ平均化）。この指標は [0,1] の範囲に収まり、「ベクトルが Top-K 以内で目標の先頭トークンを何個回復できるか」をそのまま読み取れるため、データセットや方向、モダリティ間での比較が可能になります。

4 つの探査方向が 2 つのカテゴリの問題に答えます。自己再構成方向（q2q、d2d）はベクトルが自身のコンテンツをどの程度忠実に再現できるかを測定し、相互方向（q2d、d2q）はペアの相手側情報をどれだけ保持しているかを測定します。可視化結果については実験 4.3 節をご覧ください。

1. 実験結果

4.1 MMEBv2 の SOTA レコード更新

MMEB-v2 の 78 データセット全体において、DME-2B は 74.8、DME-9B は 78.4 を記録し、いずれも同規模モデルの中で最良のスコアを達成しました。これはアリババや Meta などが提案した表現モデルの指標を上回るものです。Image（75.9 / 79.8）、Video（65.6 / 70.8）、VisDoc（79.9 / 82.0）の 3 つのドメインでバランスよく先行しており、多様なモダリティにおける汎用的な一般化能力を保証しています。

MMEB-v2 の主要結果（78 データセット）：DME は 2B と 9B の両モデルサイズにおいて、同規模の最先端技術（SOTA）を達成しました。

4.2 消融実験

トレーニングモジュールの検証

Stage-2 のデータを用いて各モジュールを順次追加し、その有効性を段階的に確認しました。全体スコアは 70.9 から 74.8 に向上し、累積で +3.9 ポイントの改善が見られました。

Stage 1：大規模事前学習では +1.6（70.9→72.5）の向上があり、特に動画（+4.0）と視覚ドキュメント（+1.9）での効果が顕著でした。

Stage 2-A：潜在空間推論（Latent Reasoning）では +1.3（72.5→73.8）の改善が見られ、動画タスク単体で +4.4 の大きな伸びを記録しました。

Stage 2-B：再構成損失（Reconstruction Loss）の導入により +1.0（73.8→74.8）の上昇があり、3 つのドメインすべてで均等に効果が発揮されました。

累積トレーニング配方の診断：3 つのモジュールを順次追加することで、全体スコアは 70.9 から 74.8 に引き上げられました。

トレーニングパラメータの検証

負サンプル空間の拡大

バッチサイズ（Batch Size）を大きくすることで、バッチ内の負サンプル数を増やし、対比学習の難易度とモデルの識別能力を高めることができます。実験結果によると、バッチサイズを 128 から 8192 に増加させることで、各指標は全体的に順調に向上しました。しかし、さらにバッチサイズを増やすと性能の上昇は頭打ちとなり、場合によっては低下することさえあります。その主な原因は、バッチ内の偽の負サンプルによるノイズが増加し、困難な負サンプルに対する勾配が多数の単純な負サンプルによって希釈されてしまう点にあります。

負サンプル空間の拡大：バッチサイズが指標に与える影響

タスク均衡型 In-batch 混合サンプリング

単一タスク内での訓練の一貫性と、多様なデータソースを混合することによる多様性の両方を兼顾するために、タスク均衡型の In-batch 混合サンプリング戦略を検証しました。これは、同じバッチ内で異なるデータ源から一定の比率で連続的にサンプリングする手法です。その結果、サンプリング比率が 0.25 の場合に、タスクの一貫性とデータの多様性のバランスが最も良く、全体の性能も最適であることが示されました。

混合サンプリング：混合サンプリング比率が指標に与える影響

視覚解像度とフレーム数の最適化

動画のフレーム抽出戦略：トレーニングおよび推論時のフレーム数を 8 フレームから 32 フレームへ引き上げることで、長時間動画における動作や意味情報の捕捉能力を大幅に強化しました。

動画のフレーム抽出：動画のフレーム抽出戦略が指標に与える影響

画像トークンの拡張：トレーニングおよび推論時の画像入力解像度を高めることで、視覚的な詳細を表現する能力を強化しました。

画像解像度：画像解像度が指標に与える影響

4.3 表現の完全性：数値指標と可視化結果の相互検証

3.3 で定義した acc@K を用いて 4 つの方向性を評価した結果、ベクトルは単なる順序付けのための粗い要約ではなく、情報的に十分であることが示されました。具体的には、自己再構成方向で q2q が 87.9%、d2d が 74.3%（Top-1）、跨方向では d2q が 87.7%、q2d が 65.9% を記録しました。また、すべての方向において Top-10 の精度は 88% を超えています。

ドメインごとの差異も直感通りです。構造が整った VisDoc は最も再構成が容易で（q2d で 95.1%）、一方、動画における跨方向のタスクが最も困難でした（59.2%）。これは、テキストによる検索と時系列視覚目標の間には本質的な情報格差が存在することを反映しています。

「acc@K」の 4 つの評価軸：Self は自己再構築の完全度、Cross は相手側の完全度を指します。

ベクトルを唯一の前綴としてバックボーンに戻し、貪欲デコード（原始テキストや視覚トークンは一切提供しない）を行うと、これらの数値が何を意味するか直感的に理解できます。

ベクトルは依然として「言語で解読可能」です。純粋な画像入力や純粋な動画入力から得られたベクトルであっても、一貫性があり文脈に沿ったテキストを生成できます。これは対照学習が行っても、バックボーンの生成・理解能力が単なる類似度計算に圧縮されて崩壊していないことを示しています。

これは逐字コピーではなく抽象化されたボトルネックです。長い指示クエリは「Hamster eating food（ハムスターが食事をする）」といったコンパクトなフレーズとして解読され、検索の要点は保持されつつ表面的な詳細は捨てられています。

ベクトルには、クエリとターゲットの間の意味的な共通部分が浮かび上がります。例えば、クエリ側で「Hamster eating food」と解読された場合、ターゲット側では「Hamster」が解読されます。「Saxophone player in a music store（楽器店でサックスを演奏する人）」は「Saxophone player（サックス奏者）」に対応します。検索の関連性は本来、マッチングペア間の共有意味に基づいて定義されるものです。この現象は、再構築損失がなぜ有効なのかをメカニズムレベルで説明しています。同時に、これらのベクトルが単なるソート用の類似度信号ではなく、さらに消費可能な意味情報を担っていることも示唆しています。これは AI 検索やエージェントの検索において必要な性質です。

再構築の可視化：ベクトル 1 つのみを与え、原始入力は何も提供しない状態で両側を解読すると、共有概念が安定して浮かび上がります。

4.4 効率：性能と効率の両立。クエリあたりのコストは 1 ミリ秒未満

暗黙的推論（Implicit Reasoning）を有効化すると、クエリエンコーダーの p50 レイテンシ増加分は、純粋なテキストで +0.87 ms、テキストと画像の組み合わせで +0.08 ms、動画で +0.80 ms となりました（すべてクエリあたり）。いずれも 1 ミリ秒以内です。

この結果は設計通りのものです。暗黙的推論では自己回帰的な生成や多段階の推論を行わず、単に同一の前向計算内で数個の soft token を追加するだけです。特に動画のような入力の場合、計算量は元々原始視覚トークンによって支配されており、追加コストがさらに薄められます。

4.2 の結果と比較すると、MMEB-v2 で 3.9 ポイントの向上を達成しながら、オンラインでのコストは 1 ミリ秒未満。このコスパこそが、DME が主要な検索ループに組み込まれることを可能にした前提条件です。

クエリエンコーダーの p50 レイテンシ比較：暗黙的推論を有効化した場合の追加コストは、クエリあたりすべて 1 ミリ秒以内です。

4.5 実装効果：抖音（TikTok）でのオフライン評価で +2.92%、オンラインでは LT が +0.1%

DME を初期化モデルとして活用し、社内環境で関連技術を移植して継続訓練を行った結果、抖音（Douyin）の内部オフライン評価セットにおいて全体で相対的に 2.92% の向上を達成しました。特に 4 つのクロスモーダル方向において一貫した改善が見られ、Text2Video は +3.10%、Text2Image は +3.03%、Image2Video は +2.83%、Image2Image は +2.70% とそれぞれ高水準で向上しています。

オンライン運用においては、DME をすでに抖音の検索機能に導入し、生成型検索を支える基盤として機能するとともに、ランキング段階での特徴量としてスコアリングに活用されています。A/B テストの結果、主要業務指標である LT（Lifetime）が +0.1% 改善することが実証されました。現在では、生成型検索やビジュアル検索、AI 検索など、複数の実際のユースケースで広く採用されています。

5. まとめと展望

DME の取り組みは、産業現場における効率性と細粒度な制約の両立という課題にどう取り組むかを模索したものです。多モーダル表現のためのデータ構築、訓練のパラダイム、そして評価のガイドラインを体系的に探求することで、第一段階では表現の基礎能力を整備し、第二段階では対照学習が持つ「どの 2 つのインスタンスを近づけるか」という情報だけでは不足していた具体的なコンテンツの細粒度情報を補完しました。これを実現したのは、Latent Reasoning とクロス条件再建（Cross-condition Reconstruction）です。

生成目標を表現訓練に導入する意義はここにあります。検索結果が Agent や AI 検索によってさらに消費される時代において、ベクトル内に何が留められているかという点が、単なるランキング精度よりも重要視されるべきなのです。産業現場と次世代の Agent に奉仕する高品質かつ高効率な汎用多モーダル表現モデルを構築し、公開評価や抖音のオフライン・オンラインの多様なシナリオにおいて安定した成果をもたらしました。

検索精度向上のための従来のアプローチが、オンラインでの推論追加、ランキング加重、ツール呼び出しに依存する傾向が強まる中、DME はあえて逆方向の解法を示しました。つまり、認知負荷を訓練段階へ前倒しすることで、オンライン処理をシンプルに保つという発想です。遅延やインデックスコストに制約されるあらゆる検索システムにとって、このアプローチは参考になるはずです。

今後はチームがデータとモデル規模の 2 つのスケーリング軸に沿ってさらに推進していく予定で、初期の実験ですでに一貫した効果が見られています。

表現（Representation）とは、大規模モデル時代の古いインフラストラクチャではありません。むしろ、その土台となる基盤なのです。この基盤をより堅固に築くことで、その上に構築される推論が安定して機能するようになります。

6. チームへの参加

私たちは抖音を支える多モーダル検索技術チームです。多モーダル大規模モデルの技術を駆使して検索システムの世代交代を推進し、ユーザーにとって最適な多モーダル検索入口を創出することを目指しています。

当チームでは、2000 基以上の GPU からなる計算クラスターと超巨大規模の多モーダルデータに触れる機会があります。大規模な Continue Train、Post Train、CoT+RL（Chain of Thought + Reinforcement Learning）、生成型検索といった技術分野を実践的に学ぶことができます。チームは高い人材密度を誇り、活気ある技術文化が根付いています。

現在、2028 年以降に卒業予定の学生を対象にインターンシップ生を募集しています。多モーダル関連の経験と堅固な数理的基礎を持っていることが求められます。週 3 日以上出勤が可能で、4 ヶ月以上の継続的な实习（実習）が可能な方を歓迎します。

応募方法：履歴書を wangyuanjiang@bytedance.com まで送信してください。件名は「氏名 + 学校名 + 实习期間」の形式としてください。

WeChat で開く