Introducing the Ettin Reranker Family｜Ettin リランカーファミリーの紹介

[記事一覧に戻る](https://huggingface.co/blog) ## TL;DR（要約） 本日、6 つの新しい [Sentence Transformers](https://sbert.net/) の CrossEncoder ランク付けモデル（reranker）をリリースします。これらはそれぞれのサイズにおいて最先端性能を誇り、[Ettin](https://huggingface.co/collections/jhu-clsp/encoders-vs-decoders-the-ettin-suite) ModernBERT エンコーダーを基盤として構築されています。また、これらのモデルを生成したデータセットと完全なトレーニングレシピも公開します： - cross-encoder/ettin-reranker-17m-v1 - cross-encoder/ettin-reranker-32m-v1 - cross-encoder/ettin-reranker-68m-v1 - cross-encoder/ettin-reranker-150m-v1 - cross-encoder/ettin-reranker-400m-v1 - cross-encoder/ettin-reranker-1b-v1 これらのモデルは、**蒸留（distillation）レシピ**を用いて訓練されました。具体的には、[cross-encoder/ettin-reranker-v1-data](https://huggingface.co/datasets/cross-encoder/ettin-reranker-v1-data) 上の [mixedbread-ai/mxbai-rerank-large-v2](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v2) のスコアに対して、ポイントワイズ MSE（平均二乗誤差）を適用する手法です。[cross-encoder/ettin-reranker-v1-data] は、[lightonai/embeddings-pre-training](https://huggingface.co/datasets/lightonai/embeddings-pre-training) のサブセットに、[lightonai/embeddings-fine-tuning](https://huggingface.co/datasets/lightonai/embeddings-fine-tuning) からランク付けされたサブセットを混合したものです。 *Our six rerankers paired with [google/embeddinggemma-300m](https://huggingface.co/google/embeddinggemma-300m) on MTEB(eng, v2) Retrieval. See [Results](#results) for five more embedder pairings.* （訳注：原文の最後の英文は、MTEB(eng, v2) 検索タスクにおいて、当社の 6 つのランク付けモデルを [google/embeddinggemma-300m] と組み合わせた結果を示し、さらに 5 つの埋め込みモデルとの組み合わせについては[結果](#results)セクションをご参照ください、という意味です。） reranker に初めて触れる方で、まず「なぜ reranker が必要なのか」を知りたい場合は、[What is a reranker, and why pair one with an embedder?](#what-is-a-reranker-and-why-pair-one-with-an-embedder) をご覧ください。単にモデルをプラグインしたいだけなら [Usage](#usage) に、ご自身でトレーニングを行いたい場合は [Training](#training) へお進みください。 ** 私は以下のトレーニングレシピを、[Sentence Transformers v5.5.0](https://github.com/huggingface/sentence-transformers/releases/tag/v5.5.0) で提供された新しい [train-sentence-transformers Agent Skill](https://github.com/huggingface/sentence-transformers/tree/main/skills) を用いてブートストラップしました。`hf skills add train-sentence-transformers [--global] [--claude]` と実行してインストールし、AI コーディングエージェント（Claude Code, Codex, Cursor, Gemini CLI など）に指示を出して、ご自身のデータ上で SentenceTransformer、CrossEncoder、または SparseEncoder モデルをファインチューニングしてください。 ## Table of contents - What is a reranker, and why pair one with an embedder? - Usage エンドツーエンドの retrieve-then-rerank パイプライン - Architecture Details - Results MTEB(eng, v2) Retrieval - Speed - Training 蒸留レシピ - Dataset - Training Arguments - Evaluation - Overall Training Script - Conclusion - Acknowledgements ## What is a reranker, and why pair one with an embedder? リランカー（別名：ポイントワイズ・クロスエンコーダー）は、(クエリ，ドキュメント) ペアを入力として受け取り、単一の関連性スコアを出力するニューラルモデルです。クエリとドキュメントをそれぞれ個別に符号化し、2 つの埋め込みベクトルから類似度を計算するエンベディングモデルとは異なり、リランカーは各トランスフォーマー層を通じて 2 つのテキストが相互に注意を向けることを可能にします。この結合符号化はより正確ですが、その分コストも高くなります：モデルはテキスト 1 件あたりではなく、(クエリ，ドキュメント) ペア 1 組ごとに実行される必要があるためです。 クロスエンコーダーをフルコーパス全体で実行するにはコストが高すぎるため、一般的な実装パターンは「検索後に再ランク付け」です。すなわち、高速なエンベディングモデルが上位 K 件の候補（低コスト）を取得し、その後クロスエンコーダーがその K 件のみを高精度で再順序付けします。これにより総コストは抑制されたまま、最終的なランキングは包括的なクロスエンコーダー処理によって得られる結果に非常に近くなります。 ** 本ブログ記事全体を通じて、「リランカー」と「クロスエンコーダー」は互換的に使用されます。 ## 使用方法 公開されているモデルは通常の Sentence Transformers CrossEncoder モデルですので、3 行のコードだけで利用可能です： from sentence_transformers import CrossEncoder model = CrossEncoder("cross-encoder/ettin-reranker-32m-v1") scores = model.predict([ ("Where was Apple founded?", "Apple Inc. was founded in Cupertino, California in 1976 by Steve Jobs, Steve Wozniak, and Ronald Wayne."), ("Where was Apple founded?", "The Fuji apple is an apple cultivar developed in the late 1930s and brought to market in 1962."), ]) print(scores) # [11.393298 2.968891] <- larger means more relevant クエリと候補リストに対しては、rank を使用してソートされたインデックスとスコアを取得することもできます: ranked = model.rank( query="Which planet is known as the Red Planet?", documents=[ "Venus is often called Earth's twin because of its similar size and proximity.", "Mars, known for its reddish appearance, is often referred to as the Red Planet.", "Jupiter, the largest planet in our solar system, has a prominent red spot.", "Saturn, famous for its rings, is sometimes mistaken for the Red Planet.", ], top_k=4, return_documents=True, ) for r in ranked: print(f"({r['score']:.2f}): {r['text']}") # (10.82): Mars, known for its reddish appearance, is often referred to as the Red Planet. # (9.86): Saturn, famous for its rings, is sometimes mistaken for the Red Planet. # (8.55): Jupiter, the largest planet in our solar system, has a prominent red spot. # (6.21): Venus is often called Earth's twin because of its similar size and proximity. 品質と速度のトレードオフのために、[cross-encoder/ettin-reranker-32m-v1](https://huggingface.co/cross-encoder/ettin-reranker-32m-v1) を任意の他のサイズに置き換えることができます。ModernBERT の長文脈事前学習のおかげで、これら 6 つのモデルはいずれも最大 8K トークンのコンテキスト（長いドキュメントの再ランク付けに有用）を受け入れます。 最高スループットを得るには、[kernels](https://github.com/huggingface/kernels) のインストールと、model_kwargs={"dtype": "bfloat16", "attn_implementation": "flash_attention_2"} の設定を推奨します。詳細は以下の [Speed](#speed) セクションをご覧ください。一般的に、モデルサイズやシーケンス長に応じて、デフォルト読み込みに対して 1.7 倍〜8.3 倍の高速化が期待できます。 from sentence_transformers import CrossEncoder model = CrossEncoder( "cross-encoder/ettin-reranker-32m-v1", model_kwargs={"dtype": "bfloat16", "attn_implementation": "flash_attention_2"}, ) ## 検索後再ランク付けの完全エンドツーエンドパイプライン 検索には高速な埋め込みモデルを、最終的な順序付けには再ランク付け器を使用する完全な例を示します： from sentence_transformers import SentenceTransformer, CrossEncoder # 静的埋め込みモデルによる高速検索（CPU 上でクエリあたりサブミリ秒） embedder = SentenceTransformer("sentence-transformers/static-retrieval-mrl-en-v1") reranker = CrossEncoder("cross-encoder/ettin-reranker-68m-v1") corpus = [ "Apple Inc. was founded in Cupertino, California in 1976 by Steve Jobs, Steve Wozniak, and Ronald Wayne.", "The Fuji apple is an apple cultivar developed in the late 1930s.", "Steve Jobs introduced the iPhone in 2007 at Macworld.", "Macintosh computers were sold by Apple from 1984 onward.", # ... thousands or millions more in production ] query = "Where was Apple founded?" # Step 1: encode + retrieve top-100 query_emb = embedder.encode_query(query, convert_to_tensor=True) corpus_emb = embedder.encode_document(corpus, convert_to_tensor=True) scores = embedder.similarity(query_emb, corpus_emb)[0] top_k_idx = scores.topk(min(100, len(corpus))).indices.tolist() # Step 2: rerank top_k_docs = [corpus[i] for i in top_k_idx] ranked = reranker.rank(query, top_k_docs, top_k=5, return_documents=True) for r in ranked: print(f"({r['score']:.2f}): {r['text']}") # (11.63): Apple Inc. was founded in Cupertino, California in 1976 by Steve Jobs, Steve Wozniak, and Ronald Wayne. # (4.71): Steve Jobs introduced the iPhone in 2007 at Macworld. # (1.96): The Fuji apple is an apple cultivar developed in the late 1930s. # (1.49): Macintosh computers were sold by Apple from 1984 onward. これは、現代の検索システムで広く採用されている同じ形状です。リトリーバー（検索器）がどの情報をフィルターの入口に入れるかを決定し、ランカー（再ランク付け機）がどの結果が勝者となるかを決定します。 ## アーキテクチャの詳細 6 つの再ランク化モデルはすべて同じアーキテクチャを共有し、バックボーンのサイズのみが異なります。バックボーンは、ジョンズ・ホプキンス大学の Ettin スイートから提供される 6 つの [Ettin エンコーダー](https://huggingface.co/blog/ettin) のいずれかです。これらは、パディングなしのアテンション、RoPE（回転位置埋め込み）位置エンコーディング、GeGLU を備えた ModernBERT スタイルのモデルであり、オープンライセンスの事前トレーニングで 2T トークンを処理可能で、最大 8192 トークンのコンテキストをサポートしています。 各エンコーダーの上には、ModernBertForSequenceClassification に倣いつつも Sentence Transformers のモジュール型コンポーネントから構築された 4 つのモジュールからなる分類ヘッドが配置されています。基盤となる Transformer は、シーケンス分類用の AutoModelForSequenceClassification ではなく、通常の AutoModel です。これにより、可変長の入力に対してシーケンスのパディングを解除し、Flash Attention 2 を利用することが可能になります。中程度のドキュメントシーケンス長においては、モデルサイズに応じて fp32+SDPA と比較して 1.7 倍から 8.3 倍の高速化が実現されます（詳細なベンチマークについては [Speed](#speed) セクションをご参照ください）: 1. Transformer(FA2) 2. Pooling(cls) 3. Dense(H, H, bias=False, GELU) 4. LayerNorm(H) 5. Dense(H, 1, scores) 私のアブレーション実験では、CLS プーリングが平均プーリングを上回る結果となりました。これは少し驚きでした。ModernBERT では、グローバルアテンションは 3 層に一度だけ使用され、残りの 3 分の 2 の層ではローカルウィンドウアテンションが用いられ、遠隔の位置から CLS トークンへの到達が不可能です。しかし実証的に、ごく少数のグローバル層で十分なシグナルを伝達できることが示されており、CLS をより優れたプーリング手法として選択する根拠となっています。 モデル バックボーン 隠れ層サイズ 層数 パラメータ（ヘッド含む） [cross-encoder/ettin-reranker-17m-v1](https://huggingface.co/cross-encoder/ettin-reranker-17m-v1) [jhu-clsp/ettin-encoder-17m](https://huggingface.co/jhu-clsp/ettin-encoder-17m) 256 7 17.6M [cross-encoder/ettin-reranker-32m-v1](https://huggingface.co/cross-encoder/ettin-reranker-32m-v1) [jhu-clsp/ettin-encoder-32m](https://huggingface.co/jhu-clsp/ettin-encoder-32m) 384 10 32.8M [cross-encoder/ettin-reranker-68m-v1](https://huggingface.co/cross-encoder/ettin-reranker-68m-v1) [jhu-clsp/ettin-encoder-68m](https://huggingface.co/jhu-clsp/ettin-encoder-68m) 512 19 68.6M [cross-encoder/ettin-reranker-150m-v1](https://huggingface.co/cross-encoder/ettin-reranker-150m-v1) [jhu-clsp/ettin-encoder-150m](https://huggingface.co/jhu-clsp/ettin-encoder-150m) 768 22 150.9M [cross-encoder/ettin-reranker-400m-v1](https://huggingface.co/cross-encoder/ettin-reranker-400m-v1) [jhu-clsp/ettin-encoder-400m](https://huggingface.co/jhu-clsp/ettin-encoder-400m) 1024 28 401.6M [cross-encoder/ettin-reranker-1b-v1](https://huggingface.co/cross-encoder/ettin-reranker-1b-v1) [jhu-clsp/ettin-encoder-1b](https://huggingface.co/jhu-clsp/ettin-encoder-1b) 1792 28 1.00B これら 6 つのモデルは、Ettin エンコーダーと同様に Apache 2.0 ライセンスの下でリリースされています。 ## 結果 ## MTEB(eng, v2) リトリーバル 公開された各モデルを、MTEB の [2 段階再ランク付けフロー](https://embeddings-benchmark.github.io/mteb/get_started/advanced_usage/two_stage_reranking/) を用いて、[MTEB(eng, v2) Retrieval ベンチマーク](https://github.com/embeddings-benchmark/mteb)（10 タスク、上位 100 件を再ランク付け）の全タスクに適用して評価を行いました。各再ランクャーには、速度と品質のスペクトラム全体をカバーする 6 つの埋め込みモデルをペアリングしました： 埋め込みモデル アクティブパラメータ数 検索のみ NDCG@10 [sentence-transformers/static-retrieval-mrl-en-v1](https://huggingface.co/sentence-transformers/static-retrieval-mrl-en-v1) 0M 0.3495 [sentence-transformers/all-MiniLM-L6-v2](https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2) 23M 0.4292 [BAAI/bge-small-en-v1.5](https://huggingface.co/BAAI/bge-small-en-v1.5) 33M 0.5149 [nomic-ai/nomic-embed-text-v1.5](https://huggingface.co/nomic-ai/nomic-embed-text-v1.5) 137M 0.5226 [google/embeddinggemma-300m](https://huggingface.co/google/embeddinggemma-300m) 308M 0.5463 [jinaai/jina-embeddings-v5-text-small-retrieval](https://huggingface.co/jinaai/jina-embeddings-v5-text-small-retrieval) 596M 0.5980 各チャートにおける**破線の検索のみライン**が、競争相手となる主要な数値です。このラインより下回る結果は、平均的に再ランクャーがパイプラインの性能を低下させていることを意味します： 結果の全表（クリックして展開） 6 つの埋め込みモデルの組み合わせ全体における NDCG@10 の平均値を降順にソートした結果です。当社の 6 つのモデルは**太字**で、教師モデルである [mixedbread-ai/mxbai-rerank-large-v2](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v2) は下線付きで表示されています。 Reranker パラメータ数 MTEB(eng, v2) 検索 NDCG@10 [Qwen/Qwen3-Reranker-4B](https://huggingface.co/Qwen/Qwen3-Reranker-4B)† 4.02B 0.6367 [mixedbread-ai/mxbai-rerank-large-v2](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v2) 1.54B 0.6115 **[cross-encoder/ettin-reranker-1b-v1](https://huggingface.co/cross-encoder/ettin-reranker-1b-v1)** **1.00B** **0.6114** **[cross-encoder/ettin-reranker-400m-v1](https://huggingface.co/cross-encoder/ettin-reranker-400m-v1)** **401M** **0.6091** **[cross-encoder/ettin-reranker-150m-v1](https://huggingface.co/cross-encoder/ettin-reranker-150m-v1)** **151M** **0.5994** [Qwen/Qwen3-Reranker-0.6B](https://huggingface.co/Qwen/Qwen3-Reranker-0.6B) 596M 0.5940 [mixedbread-ai/mxbai-rerank-base-v2](https://huggingface.co/mixedbread-ai/mxbai-rerank-base-v2) 494M 0.5920 **[cross-encoder/ettin-reranker-68m-v1](https://huggingface.co/cross-encoder/ettin-reranker-68m-v1)** **68.6M** **0.5915** [jinaai/jina-reranker-m0](https://huggingface.co/jinaai/jina-reranker-m0) 2.44B 0.5856 [Alibaba-NLP/gte-reranker-modernbert-base](https://huggingface.co/Alibaba-NLP/gte-reranker-modernbert-base) 150M 0.5843 **[cross-encoder/ettin-reranker-32m-v1](https://huggingface.co/cross-encoder/ettin-reranker-32m-v1)** **32.8M** **0.5779** [ibm-granite/granite-embedding-reranker-english-r2](https://huggingface.co/ibm-granite/granite-embedding-reranker-english-r2) 150M 0.5656 **[cross-encoder/ettin-reranker-17m-v1](https://huggingface.co/cross-encoder/ettin-reranker-17m-v1)** **17.6M** **0.5576** [BAAI/bge-reranker-v2-m3](https://huggingface.co/BAAI/bge-reranker-v2-m3) 568M 0.5526 [zeroentropy/zerank-2-reranker](https://huggingface.co/zeroentropy/zerank-2-reranker)† 4.02B 0.5300 [BAAI/bge-reranker-large](https://huggingface.co/BAAI/bge-reranker-large) 560M 0.5098 [cross-encoder/ms-marco-MiniLM-L6-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L6-v2) 22.7M 0.5082 [cross-encoder/ms-marco-MiniLM-L12-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L12-v2) 33.4M 0.5066 [mixedbread-ai/mxbai-rerank-large-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v1) 435M 0.5063 [cross-encoder/ms-marco-MiniLM-L4-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L4-v2) 19.2M 0.4979 [mixedbread-ai/mxbai-rerank-xsmall-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-xsmall-v1) 70.8M 0.4968 [BAAI/bge-reranker-base](https://huggingface.co/BAAI/bge-reranker-base) 278M 0.4890 [mixedbread-ai/mxbai-rerank-base-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-base-v1) 184M 0.4865 † max_seq_length=8192 にキャップされています（4B Qwen3 ベースのrerankerは、ネイティブコンテキストでは単一の H100 80GB に収まりません。ネイティブコンテキストでの評価結果はおそらくさらに高くなります）。 NanoBEIR の完全な結果表（クリックして展開） [NanoBEIR](https://huggingface.co/collections/sentence-transformers/nanobeir-with-bm25-rankings) は、[BEIR](https://github.com/beir-cellar/beir) の高速な 13 データセットからなるサブセットで、各データセットあたり最大 5000 ドキュメントに対して 50 クエリを使用します。NanoBEIR は、トレーニング時に metric_for_best_model に設定された指標（[Evaluation](#evaluation) を参照）であり、私が実験を導くために使用したものです。 Reranker パラメータ数 NanoBEIR 平均 NDCG@10 [mixedbread-ai/mxbai-rerank-large-v2](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v2) 1.54B 0.7318 **[cross-encoder/ettin-reranker-1b-v1](https://huggingface.co/cross-encoder/ettin-reranker-1b-v1)** **1.00B** **0.7237** [jinaai/jina-reranker-m0](https://huggingface.co/jinaai/jina-reranker-m0) 2.44B 0.7197 **[cross-encoder/ettin-reranker-400m-v1](https://huggingface.co/cross-encoder/ettin-reranker-400m-v1)** **401M** **0.7193** [mixedbread-ai/mxbai-rerank-base-v2](https://huggingface.co/mixedbread-ai/mxbai-rerank-base-v2) 494M 0.7162 **[cross-encoder/ettin-reranker-150m-v1](https://huggingface.co/cross-encoder/ettin-reranker-150m-v1)** **151M** **0.7086** [Alibaba-NLP/gte-reranker-modernbert-base](https://huggingface.co/Alibaba-NLP/gte-reranker-modernbert-base) 150M 0.7017 [BAAI/bge-reranker-v2-m3](https://huggingface.co/BAAI/bge-reranker-v2-m3) 568M 0.6971 **[cross-encoder/ettin-reranker-68m-v1](https://huggingface.co/cross-encoder/ettin-reranker-68m-v1)** **68.6M** **0.6915** [ibm-granite/granite-embedding-reranker-english-r2](https://huggingface.co/ibm-granite/granite-embedding-reranker-english-r2) 150M 0.6909 **[cross-encoder/ettin-reranker-32m-v1](https://huggingface.co/cross-encoder/ettin-reranker-32m-v1)** **32.8M** **0.6825** **[cross-encoder/ettin-reranker-17m-v1](https://huggingface.co/cross-encoder/ettin-reranker-17m-v1)** **17.6M** **0.6746** [mixedbread-ai/mxbai-rerank-large-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v1) 435M 0.6488 [BAAI/bge-reranker-large](https://huggingface.co/BAAI/bge-reranker-large) 560M 0.6379 [cross-encoder/ms-marco-MiniLM-L12-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L12-v2) 33.4M 0.6369 [cross-encoder/ms-marco-MiniLM-L6-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L6-v2) 22.7M 0.6312 [cross-encoder/ms-marco-MiniLM-L4-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L4-v2) 19.2M 0.6298 [mixedbread-ai/mxbai-rerank-base-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-base-v1) 184M 0.6231 [mixedbread-ai/mxbai-rerank-xsmall-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-xsmall-v1) 70.8M 0.6136 [BAAI/bge-reranker-base](https://huggingface.co/BAAI/bge-reranker-base) 278M 0.6027 私が公開する最も小さなモデルである17Mは、パラメータ数が約半分という条件下で、MTEBにおいて33Mのms-marco-MiniLM-L12-v2をNDCG@10で+0.051 (0.5576 vs 0.5066) 上回り、NanoBEIRでは+0.038 (0.6746 vs 0.6369) の差をつけています。また、32MはMTEBにおいて568MのBAAI/bge-reranker-v2-m3を+0.025 (0.5779 vs 0.5526) 上回っており、これはパラメータ数で17倍もの差があることを意味します。もし従来のMiniLM rerankers のいずれかを「検索後に再ランク付けする」スタックのデフォルトとして使用している場合、私たちの17M (または32M) に差し替えることは低リスクな置き換えとなり、両方のベンチマークで明確な品質向上が期待できます。 表を上位へ見ていくと、150MはMTEBにおいて600M未満の範囲で私がテストした中で最も強力なrerankerであり、直近のQwen/Qwen3-Reranker-0.6B (596M) を+0.005 (0.5994 vs 0.5940) の差でわずかに上回り、すべてのBAAI bge-reranker バリアントを0.03から0.05の差で下回っています。また、68Mにも言及する価値があります：0.5915というスコアはQwen3-Reranker-0.6B (0.5940) とほぼ同じ位置にありながら、パラメータ数はその約9分の1です。 公開された範囲の最上位にある1Bモデルは、教師モデルに非常に近い性能を示します。MTEBでは1.54Bのmxbai-rerank-large-v2と0.0001 (0.6114 vs 0.6115) の差しかなく、NanoBEIRでも0.008の差に収まっています。これは、自分自身より54%大きいモデルから知識蒸留（distillation）を行ったにもかかわらず達成された結果です。この蒸留プロセスは教師モデルとの格差を実質的に解消しており、今回の公開に向けて私が期待していた通りでした。 比較において全体最強の再ランク付けモデルは、MTEB で 0.6367 を記録し、当社の 1B モデルより +0.025 高い Qwen/Qwen3-Reranker-4B です。現在のレシピからこの差を埋めるには、おそらくより強力な教師モデルからの知識蒸留（distilling）が必要となるでしょう（当社の教師モデル自体も Qwen3-Reranker-4B より下位に位置しています）。ほとんどの「検索後に再ランク付け」のワークロードにおいては、パラメータ数が 1/4 の当社の 1B モデル（[速度](#speed)参照）の方が、はるかに実用的な選択肢となります。 ## 速度 品質の数値は再ランク付けモデルにとって重要な要素の半分だけです。もう半分の重要度は、検索結果をユーザーに表示するまでの時間枠内で、そのレイテンシが予算内に収まるかどうかにかかっています。私が測定した内容について順を追って説明します。 私は、単一の NVIDIA H100 80GB グラフィックボード上で、公開されている 6 つのモデルすべてを、13 のパブリック再ランク付けモデル（約 1B パラメータまでの強力なベースライン）と比較してベンチマークしました。クエリとドキュメントは、[sentence-transformers/natural-questions](https://huggingface.co/datasets/sentence-transformers/natural-questions) データセットの自然なドキュメント長分布から取得したものです：NQ の回答の多くは短く、一部は長くなります。ドキュメントは、古いモデルに不公平な優位性を与えないよう、max_length=512 で切り捨てられています。各モデルは、そのアーキテクチャがサポートする最良のアテンション実装を使用します。BERT、XLM-RoBERTa、ModernBERT、Qwen2 については Flash Attention 2 を使用し（Flash Attention 2）、それ以外では SDPA（SDPA）を使用します。DeBERTa-v2 の場合は eager モードを使用します（これは現在、transformers ライブラリにおいて FA2 も SDPA もサポートされていないためです）。 各モデルに対して、バッチサイズ検索はバッチサイズ 8 から開始し、GPU のメモリが尽きるまで倍増していきます。各バッチサイズでは 3 回の計測パスを実行し、その中央値（メディアン）のスループットを記録するため、単一の不運な実行結果が数値を大きく歪めることはありません。報告されるスループットは、勝利したバッチサイズにおけるものです。 **表 1.** 秒間あたりのペア数（すべて bfloat16）。当社の 6 つの再ランク化器（rerankers）は**太字**で示されています。 Model | Params | Attn | pairs / second ---|---|---|--- **[cross-encoder/ettin-reranker-17m-v1](https://huggingface.co/cross-encoder/ettin-reranker-17m-v1)** | **17M** | FA2 | **7517** **[cross-encoder/ettin-reranker-32m-v1](https://huggingface.co/cross-encoder/ettin-reranker-32m-v1)** | **32M** | FA2 | **6602** **[cross-encoder/ettin-reranker-68m-v1](https://huggingface.co/cross-encoder/ettin-reranker-68m-v1)** | **68M** | FA2 | **4913** [cross-encoder/ms-marco-MiniLM-L4-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L4-v2) | 19M | FA2 | 4029 [cross-encoder/ms-marco-MiniLM-L6-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L6-v2) | 22M | FA2 | 3817 [cross-encoder/ms-marco-MiniLM-L12-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L12-v2) | 33M | FA2 | 3311 **[cross-encoder/ettin-reranker-150m-v1](https://huggingface.co/cross-encoder/ettin-reranker-150m-v1)** | **150M** | FA2 | **3237** [BAAI/bge-reranker-base](https://huggingface.co/BAAI/bge-reranker-base) | 278M | FA2 | 2858 [mixedbread-ai/mxbai-rerank-xsmall-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-xsmall-v1) | 70M | eager | 2636 [mixedbread-ai/mxbai-rerank-base-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-base-v1) 184M eager 1953 **[cross-encoder/ettin-reranker-400m-v1](https://huggingface.co/cross-encoder/ettin-reranker-400m-v1)** **400M** FA2 **1738** [BAAI/bge-reranker-large](https://huggingface.co/BAAI/bge-reranker-large) 560M FA2 1659 [BAAI/bge-reranker-v2-m3](https://huggingface.co/BAAI/bge-reranker-v2-m3) 568M FA2 1569 [Alibaba-NLP/gte-reranker-modernbert-base](https://huggingface.co/Alibaba-NLP/gte-reranker-modernbert-base) 150M FA2 1418 [ibm-granite/granite-embedding-reranker-english-r2](https://huggingface.co/ibm-granite/granite-embedding-reranker-english-r2) 150M FA2 1404 **[cross-encoder/ettin-reranker-1b-v1](https://huggingface.co/cross-encoder/ettin-reranker-1b-v1)** **1B** FA2 **928** [mixedbread-ai/mxbai-rerank-large-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v1) 435M eager 867 [mixedbread-ai/mxbai-rerank-base-v2](https://huggingface.co/mixedbread-ai/mxbai-rerank-base-v2) 494M FA2 809 [mixedbread-ai/mxbai-rerank-large-v2](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v2) 1.5B FA2 387 私たちの17Mモデルは、比較対象全体の中で最も高速なリランカーであり、1秒間に7517ペアを処理します。これはms-marco-MiniLM-L6-v2（3817）のスループットのほぼ2倍に相当し、より小型のms-marco-MiniLM-L4-v2（4029）よりもさらに高速です。前述のMTEB表でお分かりいただいた通り、私たちの17MモデルはすべてのMiniLMバリアントよりも精度が高いことも確認されています。現在MiniLMクロスエンコーダーを実行中の方にとって、私たちの17Mモデルへ切り替えるのは単なる一行の変更で済み、レイテンシと検索品質の両方を向上させることができます。 私たちの150Mモデルはさらに興味深い比較対象となります。なぜなら、パラメータ数が正確に150Mである直接競合するアーキテクチャを持つモデルが2つ存在するからです：[Alibaba-NLP/gte-reranker-modernbert-base](https://huggingface.co/Alibaba-NLP/gte-reranker-modernbert-base) と [ibm-granite/granite-embedding-reranker-english-r2](https://huggingface.co/ibm-granite/granite-embedding-reranker-english-r2) です。これら両モデルは、同じModernBERT-baseバックボーン（基盤アーキテクチャ）に基づいて構築されています。私たちの150Mモデルは1秒間に3237ペアで動作するのに対し、この2つの競合モデルはそれぞれ1418と1404ペアで、速度差が2.3倍に達します。 150M モデルのすべてが Flash Attention 2 を使用していますが、そのうちの 2 つは AutoModelForSequenceClassification を通してロードされ、入力にパディングが保持されたままになります。つまり、アテンション自体は FA2 カーネルを実行しますが、モデルの残りの部分は、何にも貢献しないパディングトークンに対して依然として密な計算を行っています。一方、当社のモジュラー Transformer モジュール（上記の [Architecture Details](#architecture-details) を参照）では、パディングのない入力をモデル全体にわたって伝播させるため、各層は実在するトークンのみに計算リソースを費やします。これが FA2 の一部のみを享受することと、その恩恵をすべて受け取ることの違いです。 表の下部にある 1B モデルは、秒間 928 ペアという処理速度を達成しており、これは MTEB スコアが 0.0001 の差以内で一致しつつも、1.54B の教師モデルである mxbai-rerank-large-v2（秒間 387 ペア）と比較して 2.4 倍高速です。この教師モデルは Qwen2 ベースであり、ペアごとにプロンプトテンプレートのオーバーヘッドが存在しますが、蒸留された学生モデルはその教師のキャリブレーションと判断力を継承しつつ、実行時のすべての負荷を排除しています。これは正直に言って、今回のリリース全体で私にとって最も満足感を得られる単一の数値です。 残念なことに、DeBERTa-v2 ベースの mxbai-rerank-{xsmall,base,large}-v1 シリーズは、DeBERTa-v2 が現在 transformers において Flash Attention 2 も SDPA（Sparse Dynamic Programming Attention）もサポートしていないため、表の他のモデルよりも大幅に低速になります。70M の mxbai-rerank-xsmall-v1 は秒間 2636 ペアで動作しますが、これはパラメータ数がほぼ同じである当社の 68M モデルのスループットの約半分です。これらのモデル自体は全く問題ありませんが、最新の注意カーネルを利用できないというだけです。 Same benchmark on a consumer GPU (RTX 3090, 24 GB) データセンター向け GPU ではなく、コンシューマー向けカードでセルフホスティングする場合の、同じスループットスイープを RTX 3090 で実施した結果です。ベンチマーク設定は Table 1 と同一：bfloat16（ブーフローティン）、各モデルで最もサポートが充実しているアテンション機構、および収容可能な最大のバッチサイズにおける 3 回の実行の中央値スループット。 Model Params Best attn pairs / second **[cross-encoder/ettin-reranker-17m-v1](https://huggingface.co/cross-encoder/ettin-reranker-17m-v1)** **17M** FA2（Flash Attention 2） **9008** [cross-encoder/ms-marco-MiniLM-L4-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L4-v2) 19M FA2 5071 **[cross-encoder/ettin-reranker-32m-v1](https://huggingface.co/cross-encoder/ettin-reranker-32m-v1)** **32M** FA2（Flash Attention 2） **4497** [cross-encoder/ms-marco-MiniLM-L6-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L6-v2) 22M FA2 4234 [cross-encoder/ms-marco-MiniLM-L12-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L12-v2) 33M FA2 2847 **[cross-encoder/ettin-reranker-68m-v1](https://huggingface.co/cross-encoder/ettin-reranker-68m-v1)** **68M** FA2（Flash Attention 2） **1916** [mixedbread-ai/mxbai-rerank-xsmall-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-xsmall-v1) 70M eager（イーガーモード） 1677 [BAAI/bge-reranker-base](https://huggingface.co/BAAI/bge-reranker-base) 278M FA2 1329 **[cross-encoder/ettin-reranker-150m-v1](https://huggingface.co/cross-encoder/ettin-reranker-150m-v1)** **150M** FA2（Flash Attention 2） **982** [mixedbread-ai/mxbai-rerank-base-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-base-v1) 184M eager 772 [ibm-granite/granite-embedding-reranker-english-r2](https://huggingface.co/ibm-granite/granite-embedding-reranker-english-r2) 150M FA2 598 [Alibaba-NLP/gte-reranker-modernbert-base](https://huggingface.co/Alibaba-NLP/gte-reranker-modernbert-base) 150M FA2 586 [BAAI/bge-reranker-large](https://huggingface.co/BAAI/bge-reranker-large) 560M FA2 448 [BAAI/bge-reranker-v2-m3](https://huggingface.co/BAAI/bge-reranker-v2-m3) 568M FA2 436 **[cross-encoder/ettin-reranker-400m-v1](https://huggingface.co/cross-encoder/ettin-reranker-400m-v1)** **400M** FA2 **429** [mixedbread-ai/mxbai-rerank-large-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v1) 435M eager 266 [mixedbread-ai/mxbai-rerank-base-v2](https://huggingface.co/mixedbread-ai/mxbai-rerank-base-v2) 494M FA2 221 **[cross-encoder/ettin-reranker-1b-v1](https://huggingface.co/cross-encoder/ettin-reranker-1b-v1)** **1B** FA2 **189** [mixedbread-ai/mxbai-rerank-large-v2](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v2) 1.5B FA2 69 17M モデルは依然として表の中で最速であり、1 秒あたり 9008 ペアという速度は H100 の数値よりも高く、これは極小サイズでは純粋な計算リソースがボトルネックではなく、H100 の追加性能がそのまま転換されないことを示唆しています。表の中央部では再編が行われ、MiniLM リランカーが当社の 32M および 68M モデルを抜いて上位に位置し、1B モデルは mxbai-rerank-base-v2（1 秒あたり 189 ペア対 221 ペア）の下位に後退しました。一方、当社の 150M モデルは 2 つの 150M ベースの ModernBERT 系競合モデルに対して依然として堅固なリードを維持しており、教師モデル置換のストーリーも有効で、当社の 1B モデルは 1.5B の mxbai-rerank-large-v2（1 秒あたり 189 ペア対 69 ペア）と比較してスループットが 2.7 倍となっています。 同じベンチマークを CPU（Intel Core i7-13700K）で実行した場合 モデル | パラメータ数 | 最適アテンション | 秒間ペア数 **[cross-encoder/ettin-reranker-17m-v1](https://huggingface.co/cross-encoder/ettin-reranker-17m-v1)** | **17M** | SDPA | **267.4** [cross-encoder/ms-marco-MiniLM-L4-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L4-v2) | 19M | SDPA | 206.2 [cross-encoder/ms-marco-MiniLM-L6-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L6-v2) | 22M | SDPA | 143.9 **[cross-encoder/ettin-reranker-32m-v1](https://huggingface.co/cross-encoder/ettin-reranker-32m-v1)** | **32M** | SDPA | **92.5** [cross-encoder/ms-marco-MiniLM-L12-v2](https://huggingface.co/cross-encoder/ms-marco-MiniLM-L12-v2) | 33M | SDPA | 75.9 [mixedbread-ai/mxbai-rerank-xsmall-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-xsmall-v1) | 70M | eager | 38.9 **[cross-encoder/ettin-reranker-68m-v1](https://huggingface.co/cross-encoder/ettin-reranker-68m-v1)** **68M** SDPA **31.2** [BAAI/bge-reranker-base](https://huggingface.co/BAAI/bge-reranker-base) 278M SDPA 19.2 [Alibaba-NLP/gte-reranker-modernbert-base](https://huggingface.co/Alibaba-NLP/gte-reranker-modernbert-base) 150M SDPA 14.7 [ibm-granite/granite-embedding-reranker-english-r2](https://huggingface.co/ibm-granite/granite-embedding-reranker-english-r2) 150M SDPA 14.5 **[cross-encoder/ettin-reranker-150m-v1](https://huggingface.co/cross-encoder/ettin-reranker-150m-v1)** **150M** SDPA **14.0** [mixedbread-ai/mxbai-rerank-base-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-base-v1) 184M eager 13.4 [BAAI/bge-reranker-large](https://huggingface.co/BAAI/bge-reranker-large) 560M SDPA 6.2 [BAAI/bge-reranker-v2-m3](https://huggingface.co/BAAI/bge-reranker-v2-m3) 568M SDPA 6.0 **[cross-encoder/ettin-reranker-400m-v1](https://huggingface.co/cross-encoder/ettin-reranker-400m-v1)** **400M** SDPA **5.2** [mixedbread-ai/mxbai-rerank-large-v1](https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v1) 435M eager 4.3 [mixedbread-ai/mxbai-rerank-base-v2](https://huggingface.co/mixedbread-ai/mxbai-rerank-base-v2) 494M SDPA 3.5 **[cross-encoder/ettin-reranker-1b-v1](https://huggingface.co/cross-encoder/ettin-reranker-1b-v1)** **1B** SDPA **2.1** CPU では bf16、Flash Attention 2、アンパディングの利点を活用できないため、レイテンシに関する話は少し単純になります：パラメータ数が多いほどモデルは遅くなります。17M モデルは ms-marco-MiniLM-L6-v2 よりも大幅に高速です（1 秒あたりペア数で 267.4 vs 143.9）

Ettin リランカーファミリーの紹介

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト