Hugging Face、効率的な多言語・マルチモーダルエンコーダー「NeoMME」を発表

記事の3ポイント

1. 1

   アーキテクチャの革新性

   従来の生成モデルとは異なり、別個のビジョンエンコーダーや因果言語モデルを使用せず、単一の双方向トランスフォーマーでテキストと画像パッチを同時に処理する。

2. 2

   検索性能と効率

   ViDoRe v3 のパレートフロンティアに位置し、2048×2048 解像度の入力に対し、260M モデルは ColModernVBERT の約2倍の処理速度を達成する。

3. 3

   インデックス圧縮技術

   階層トークンプーリングと非対称量子化を採用することで、ページあたりのインデックスサイズを約1.5MBから6kBに削減し、性能低下は95%未満に抑える。