H Company、ビジョン塔と因果デコーダーを廃したマルチモーダルエンコーダー「NeoMME」を発表

記事の3ポイント

1. 1

   アーキテクチャの革新性

   従来の生成モデルを流用する手法と異なり、テキストトークンと画像パッチを単一のトランスフォーマーで処理し、視覚塔や因果デコーダを廃止した双方向エンコーダーである。

2. 2

   学習手法の独自性

   ランダム初期化から訓練を開始し、テキストと画像の混合データに対して離散マスク拡散ノイズ除去（masked diffusion denoiser）を用いて事前学習を行うことで、言語に依存しない表現力を獲得した。

3. 3

   検索性能と効率性

   260M パラメータモデルが ViDoRe v3 で 0.523 nDCG@10 を達成し、NVIDIA L40S 上で秒間 51.3 ページのインデックス処理や CPU 単体での高速クエリ応答を可能にする。