NVIDIA、RAG向けオープン埋め込みモデル「Nemotron 3 Embed」発表

エンベディングモデルは、エージェントが実際に目にする文書を選別する役割を担っています。NVIDIA はこの層の処理を最適化するために「Nemotron 3 Embed」モデルを発表しました。本モデルは、大規模な RAG（検索拡張生成）やエージェントによる情報取得、コード検索、そしてエージェントの記憶機能といった用途を対象としています。

Nemotron 3 Embed とは何か？

このコレクションには、オープンソースで利用可能なチェックポイントが 3 つ含まれています。精度を最優先する選択肢として「Nemotron-3-Embed-8B-BF16」があります。一方、「Nemotron-3-Embed-1B-BF16」は同じ設計思想を持ちながら、より軽量なサイズで提供されます。また、「Nemotron-3-Embed-1B-NVFP4」は Blackwell アーキテクチャ向けに最適化された 4 ビット版です。

これら 3 つのモデルはいずれも、双方向アテンションマスクを用いて訓練されたトランスフォーマーエンコーダーです。最終的な埋め込みベクトルは、トークンレベルでの表現を平均プールすることで生成されます。すべてのチェックポイントで、最大シーケンス長は 32,768 トークンをサポートしています。

各モデルは 34 か国語にわたって評価が行われました。ライセンスについては、すべて「OpenMDW License Agreement version 1.1（OpenMDW-1.1）」が適用されます。興味深い点として、ベースとなっているのは Mistral モデルです。8B バージョンは「Ministral-3-8B-Instruct-2512」を基に構築されており、両方の 1B バリアントには「Ministral-3-3B-Instruct-2512」が採用されています。

性能評価

Nemotron 3 Embed-8B-BF16 は、7 月 17 日時点での検索埋め込みベンチマーク（RTEB）において総合 1 位を獲得しました。評価は 16 の公開タスクにわたって行われ、すべての数値はモデルのシーケンス長を 4096 に設定した際の平均 NDCG@10 を示しています。

2 つの重要なギャップに注目する必要があります。1B モデルは、前世代のベースラインである llama-nemotron-embed-vl-1b-v2 と比較して 10.4 ポイントの RTEB スコアを向上させています。一方、NVFP4 形式への量子化では、BF16 ベースモデルと比較して 0.38 ポイントの低下にとどまり、性能維持率は 99.5% を達成しています。

1B モデルはどのように作られたのか？

この 1B モデルのスコアは、小規模な学習から得られたものではなく、圧縮パイプラインの結果です。ベースモデルとなるのは nemotron-3-embed-3b で、これを 2 回の反復を通じて剪定（pruning）と蒸留（distillation）を施して作成しました。

まず、NVIDIA ModelOpt の mcore_minitron Neural Architecture Search (NAS) を用いて、3B モデルを 2B に剪定します。探索対象には隠れ層の幅、FFN のサイズ、アテンションヘッドの数、そしてネットワークの深さが含まれます。その結果得られた候補の中から、パレート最適解の上位 10 位以内から最も優れたものを選出します。この選定プロセスでは、5 万件のドメイン内データで構成された校正コーパスを用いて評価を行いました。

次に、微調整済みの 8B エンベディングモデルを教師として用い、2B モデルを蒸留します。蒸留にはコサイン距離損失（COS）と平均二乗誤差（MSE）損失を組み合わせて使用しました。学習データは多言語かつドメイン内のデータで構成されています。最後に、同じ手順を繰り返すことで 1.14B のチェックポイントも生成しています。

NVFP4 形式での推論におけるトレードオフ

圧縮プロセスは、推論時のフォーマットにも引き継がれます。線形層の重みと活性化値に対してのみ量子化を適用し、NVFP4 データ型をターゲットにしました。使用されたツールは nvidia-modelopt v0.45.0 です。また、長文入力に対する精度回復を主目的として、Quantization-Aware Distillation (QAD) を実施しています。

校正には 512 サンプル（クエリとパッセージ各 256 件）を用いました。これは abisee/cnn_dailymail データセットから抽出したものです。一方、QAD の学習には 2 万件のサンプルを使用しました。

研究チームによると、Blackwell 上で動作する NVFP4 は、BF16 に比べてスループットを最大 2 倍向上させます。その一方で、検索精度は BF16 の 99% 以上を維持しています。

NVFP4 カードでは、動的に埋め込みベクトルのサイズを変更することも可能です。2048 次元のベクトルから、先頭部分だけを切り出して 1024 次元や 512 次元へと縮小し、その後で再正規化を行うことができます。

インタラクティブ解説：検索プロセスの 5 つの段階

コードに触れる前に、まず動作を確認しましょう。このアニメーションでは、プレフィックス付け、双方向エンコーディング、アベレージプーリング、L2 正規化、そしてドット積スコアの計算という一連の流れを視覚的に示しています。表示されるスコアは、各カードで公開されている期待値に基づいています。

デプロイメントマトリックス

先ほどの解説が示す通り、チェックポイントごとに実行時のパスは異なります。

| 学習データ | 50M+ サンプル | 8.5M+ (蒸留) | 20k (QAD)

チェックポイントの公開に合わせ、NVIDIA の研究チームは 1B モデル用の最適化された NIM マイクロサービスもリリースしました。Rust で実装されたこの NIM は、GB200 や RTX PRO 6000 において vLLM チェックポイントと同等か、それ以上の性能を発揮します。NVIDIA では入力シーケンス長を 256 と 1024 の両方でテストを実施しました。また、NVIDIA NeMo AutoModel のレシピでは、ファインチューニングや知識蒸留（ディストillation）の手順もカバーしています。

コードでの利用方法

利用にあたっては、まずプレフィックスの指定が重要です。クエリには query: を、ドキュメントには passage: をそれぞれ付与します。生成される埋め込みベクトルは L2 正規化されているため、内積計算を行うことでコサイン類似度を直接得ることができます。

Copy CodeCopiedUse a different Browser

pip install --upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"

import torch

from sentence_transformers import SentenceTransformer

QUERIES = ["How can someone reduce exposure to pollen during allergy season?"]

DOCUMENTS = ["People with pollen allergy can reduce exposure by staying indoors "

"on dry, windy days, avoiding early-morning outdoor activity, and "

"going outside after rain when pollen levels are lower."]

model = SentenceTransformer(

"nvidia/Nemotron-3-Embed-8B-BF16",

device="cuda",

model_kwargs={"dtype": torch.bfloat16,

# use "sdpa" if FlashAttention-2 is unavailable

"attn_implementation": "flash_attention_2"},

processor_kwargs={"padding_side": "left"},

)

model.max_seq_length = 32768

q = model.encode_query(QUERIES, batch_size=1, convert_to_tensor=True)

d = model.encode_document(DOCUMENTS, batch_size=1, convert_to_tensor=True)

print(model.similarity(q, d)) # card's published q[3]/d[3] score: 0.8008

encode_query と encode_document は保存されたプロンプトを読み込むため、手動でプレフィックスを追加する必要はありません。ただし、推論サーバー（serving）では /v2/embed エンドポイントが input_type から自動的にプレフィックスを適用します。

vllm serve nvidia/Nemotron-3-Embed-1B-NVFP4 \
  --max-model-len 4096 \
  --max-num-batched-tokens 4096 \
  --max-cudagraph-capture-size 4096

import numpy as np, requests

def embed(input_type: str, texts: list[str]) -> np.ndarray:
    r = requests.post(
        "http://localhost:8000/v2/embed",
        json={"model": "nvidia/Nemotron-3-Embed-1B-NVFP4",
              "input_type": input_type,          # "query" or "document"
              "texts": texts,
              "embedding_types": ["float"],
              "truncate": "END"},
        timeout=120,
    )
    r.raise_for_status()
    return np.array(r.json()["embeddings"]["float"], dtype=np.float32)

scores = embed("query", QUERIES) @ embed("document", DOCUMENTS).T

具体的なユースケースと事例

多言語対応の企業向け検索

サポートチームが、ヒンディー語、日本語、英語の問い合わせチケットをまとめてインデックス化します。検索機能が多言語間（クロスリンガル）に対応しているため、ドイツ語で入力されたクエリに対して、日本語で記された解決策ノートがヒットするといったケースも可能です。

コード検索では、coir_apps、coir_cosqa、synthetic_text2sql、SWE-bench を学習データに含めました。これにより、自然言語からコードを検索するタスクが、学習分布の範囲内（インディストリビューション）に近い状態になっています。

エージェントのメモリ機能では、32,768 トークンの制限により、長い会話の要約を細かく分割することなく埋め込むことが可能になりました。

コストに応じた RAG 構成では、高頻度の検索には 1B-NVFP4 モデルを使用し、難易度の高いクエリは 8B モデルにルーティングします。モデル幅が異なるため、この構成には 2 つのインデックスが必要です。

重要なポイント

Nemotron-3-Embed-8B-BF16 は、RTEB ベンチマークで平均 NDCG@10 が 78.46 を記録し、トップランクを獲得しました。

公開されているチェックポイントは 3 つあり、それぞれ 8B BF16、1B BF16、1B NVFP4 です。

NVFP4 モデルは、Blackwell でのスループットを最大 2 倍に向上させながら、BF16 の精度の 99% 以上を維持しています。

1B モデルは、ModelOpt NAS（ニューラルアーキテクチャサーチ）によるプルーニングと、8B モデルからの COS+MSE 蒸留によって作成されました。

すべてのチェックポイントは OpenMDW-1.1 を採用しており、32,768 トークンの入力をサポートしています。

この投稿は元々 MarkTechPost に掲載された「NVIDIA AI Releases Nemotron 3 Embed: An Open Embedding Collection Whose 8B Checkpoint Ranks #1 on RTEb」です。