Ettin Reranker ファミリーの紹介（19 分読み）
Ettin は、17M から 1B パラメータまでの新しい CrossEncoder ランカーモデルファミリーをリリースし、Flash Attention 2 の活用により速度と精度を大幅に向上させた。
キーポイント
新モデルファミリーの発表
Ettin ModernBERT エンコーダーを基盤とした 6 つの新規 CrossEncoder ランカーが、17M から 1B パラメータまでリリースされた。
教師あり学習による精度向上
強力な 1.54B パラメータの教師モデルからポイントワイズ MSE 蒸留を行うことで、既存モデルに対する精度が大幅に改善されている。
検索システムでの効率化
Flash Attention 2 の採用により速度が向上し、特に「検索→再ランク付け」のアーキテクチャにおいて高い効率性を発揮する。
重要な引用
Six new state-of-the-art CrossEncoder Ettin rerankers built on Ettin ModernBERT encoders have been released
trained with pointwise MSE distillation from a strong 1.54B parameter teacher
enhancing speed, especially with Flash Attention 2
影響分析・編集コメントを表示
影響分析
この発表は、RAG システムや検索エンジンにおける再ランク付けプロセスにおいて、より軽量かつ高精度なモデルを即座に導入できる可能性を開くものであり、実運用環境のパフォーマンス向上に直結する重要な進展です。特に Flash Attention 2 の活用による速度改善は、リアルタイム性が求められるアプリケーションでの採用ハードルを下げます。
編集コメント
Ettin の新モデルは、既存の軽量ランカーモデルを凌駕する性能を持ちつつ、推論速度も向上させており、RAG パイプラインの最適化を検討している開発者にとって即座に活用できる価値あるニュースです。
Ettin ModernBERT エンコーダーを基盤とした、6 つの新しい最先端 CrossEncoder Ettin リランカーがリリースされました。これらは 17M から 1B パラメータまでのモデルを提供し、強力な 1.54B パラメータを持つ教師モデルからのポイントワイズ MSE 蒸留（distillation）によって訓練されています。これらのモデルは、速度の向上、特に Flash Attention 2 を使用した場合の高速化を実現しつつ、従来のモデルと比較して精度を大幅に改善しています。また、検索後に再ランク付けを行うシステムにおける効率性が特筆すべき点であり、MTEB や NanoBEIR ベンチマークにおいて ms-marco-MiniLM-L12-v2 などのモデルを上回る性能を示します。
原文を表示
Six new state-of-the-art CrossEncoder Ettin rerankers built on Ettin ModernBERT encoders have been released, offering models from 17M to 1B parameters. These models, trained with pointwise MSE distillation from a strong 1.54B parameter teacher, provide significant accuracy improvements over legacy models while enhancing speed, especially with Flash Attention 2. The models are particularly notable for their efficiency in retrieve-then-rerank systems and outperform models like ms-marco-MiniLM-L12-v2 on MTEB and NanoBEIR benchmarks.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み