H Company、ビジョン塔と因果デコーダーを廃したマルチモーダルエンコーダー「NeoMME」を発表

現在、実運用されている視覚ドキュメント検索システムの多くは、既存の技術を流用したものです。ColPali やその後のモデルたちは、生成型のビジョン言語モデルを借用し、エンコーダーとして再利用しています。しかしその結果、別々に事前学習されたビジョントワーと、トークンを生成しない因果的デコーダーが依然として残ったままです。これは、単に表現（レプレゼンテーション）が必要であるタスクに対して、パラメータと計算リソースの無駄を生む構造です。

H Company は NeoMME をリリースしました。これは 260M パラメータと 800M パラメータの双方向エンコーダーからなるファミリーで、ビジョントワーも因果的デコーダーも不要な設計です。1 つの Transformer が、多言語テキストトークンと生の 32×32 RGB イメージパッチを同じレイヤーを通じて処理し、ランダム初期化からトレーニングされます。検索用ファインチューニングモデルである NeoMME-Retriever は、260M パラメータで ViDoRe v3 ベンチマークにおいて nDCG@10 0.523 を達成しています。

実装可能でしょうか？はい、可能です。すべてのチェックポイントは Apache 2.0 ライセンスの下に提供され、Hugging Face Transformers で即日サポートされています。260M モデルは単一の NVIDIA L40S で 1 秒あたり 51.3 ページをインデックス化でき、CPU のみのホストでもクエリのエンコードに 78.3 ミリ秒しかかかりません。

imagehttps://arxiv.org/pdf/2609.01657

1 つのタワー、2 つのモダリティ

テキストは ALBERT スタイルの因子化埋め込みを通じて入力されます。これは 256 次元のルックアップテーブルをモデル幅に射影するものです。画像は重なり合わない 32×32 パッチに分割され、ゼロからトレーニングされた 2 レイヤー MLP によって射影されます。パッチマージングモジュールも SigLIP2 タワーも存在しません。

両モデルとも 16,384 トークンのコンテキスト長をサポートしており、パッチ化処理を施した標準的な 3,840×2,160 の 4K UHD 画像 2 枚分のデータ量を扱えます。レイヤーの大半は対称型のスライディングウィンドウアテンションを採用し、6 層に一度と最終層のみがグローバルアテンションを実行します。スタック全体ではグループ化クエリアテンション（GQA）、クエリ・キー正規化、ゲート付きアテンション、2D ロータリー位置埋め込み、そして二乗 ReLU を用いた MLP が組み合わされています。

パラメータ数は正確に 262,937,906 と 793,715,032 です。

トークナイザーは空白を制約しない BPE（Byte Pair Encoding）で、語彙サイズは 131,072 エントリ。ゼロから独自に訓練されました。FLORES-200 の開発テストセットに含まれる 14 言語を対象とした評価では、ModernBERT に比べて生成されるトークン数が 44.4% 削減されています。

マスク付き拡散ノイズ除去器として訓練

事前学習は、テキストに対して離散的なマスク付き拡散を適用する手法です。必要に応じて可視化された画像パッチを条件付けます。テキストのみのセグメントでは、欠損率を 0 から 1 の間で一様にサンプリングします。マルチモーダルセグメントでは 0.30 から 1 の範囲からサンプリングし、言語情報のみに依存する近道（ショートカット）を防ぎ、モデルがページ内容を正しく読み取るよう強制しています。

このアプローチの有効性は、クロスモーダルなアブレーションプローブによって確認されています。90% のマスク条件下では、可視化されたページパッチがあることで、260M モデルのマスク済みトークンの精度は 38.4 ポイント向上し、800M モデルでは 40.5 ポイント向上しました。

各学習ラウンドで処理されるトークン数は約 5,240 億個（パッキング済み）です。そのうちテキストのみのデータが約 290 億個含まれています。計算には、それぞれ 16 基および 32 基の H100 アクセラレーターを使用しました。

検索結果

NeoMME-Retriever は、共有バックボーン上に二つの併用トレーニングされたヘッドを追加しています。一つはマトリョーシカ幅を持つ平均プーリング型密着ヘッド、もう一つはすべてのトークンとパッチを 128 次元に投影する後期相互作用ヘッドです。これらは単一の順方向パスで同時に取得できます。

ViDoRe v3 ベンチマークでは、260M モデルが nDCG@10 で 0.523 を記録し、800M モデルは 0.556 を達成しました。260M の結果は、パラメータ数 37.5 億の ColQwen2.5-v0.2 と比較して誤差 0.002 以内であり、同規模（300M 未満）の他モデル中最優の結果を 26.1 ポイント上回っています。一方、800M モデルは同サイズの Vultron Retriever Flash よりも 0.9 ポイント低いスコアとなりました。ViDoRe v1 と v2 では、それぞれ nDCG@5 で 0.860/0.522 および 0.874/0.559 の成績を収めています。

テキスト検索の性能は相対的に弱めです。BEIR-15 ベンチでは、後期相互作用モデルが 0.4881 と 0.5126 を記録しましたが、パラメータ数 1.49 億の LateOn は 0.5722 を達成しています。著者らはこの差の一部を、学習データの規模の違いに起因すると説明しています。NeoMME が約 43 万件のテキストクエリ例しか見ていないのに対し、mLateOn は約 6.6 億件の対照的（コントラスト）例で訓練されているためです。

ストレージとスループット

後期相互作用インデックスはコストがかかります。2048×2048 のページサイズの場合、1 ドキュメントあたり 4,162 個のベクトルが発生し、float32 で約 1.5 MB を消費します。これを削減する手法として二つの方法があります。

一つ目は、トークンプーリングを 10 倍に設定し、クエリとドキュメントに int8 を使用する方法です。これによりページあたり 39.0 kB に圧縮され、サイズは 39.4 倍減少します。その際、ベースラインの nDCG@10 は 99.16% 維持されます。

二つ目は、プーリング係数を 8 に設定し、クエリに int8、ドキュメントにバイナリ表現を使用する方法です。これによりページあたり 6.0 kB となり、サイズは 255.5 倍減少します。この場合でも nDCG@10 は 95.19% を維持できます。

ベクトル数に対するインデックス作成速度も速いです。L40S 上で 2048×2048 の入力に統一した場合、NeoMME-260M は秒間 51.3 ページをエンコードするのに対し、ColModernVBERT は 26.0 ページです。これは約 1.97 倍の差があります。

インタラクティブ解説

主なポイント

1 つの双方向 Transformer がテキストと生の画像パッチを同時に処理します。ビジョンタワーもデコーダーも不要です。

NeoMME-Retriever-260M は ViDoRe v3 で nDCG@10 0.523 を達成し、800M パラメータ未満のモデルの中で最高スコアを記録しました。

このモデルは、パラメータ数 3.75B の ColQwen2.5 と ViDoRe v3 で同等のパフォーマンスを発揮しながら、サイズは約 14.4 分の 1 です。

トークンプーリングと非対称量子化により、ページあたりのインデックスサイズを約 1.5 MB から 6 kB に削減しました。

テキストのみの検索や、自然画像への転移学習においては、まだ改善の余地が残されています。

本記事は MarkTechPost に掲載されました。