Hugging Face、ユニファイド型スパース・密結合多モーダル埋め込み「UEmb」を発表

記事の3ポイント

1. 1

   ユニファイドアーキテクチャの実現

   既存の双方向エンコーダーに依存せず、デコーダー型の単一因果フォワードパスでスパース・レキシカル表現と稠密表現を同時に生成する。

2. 2

   独自の学習メカニズム

   入力に N 個の学習可能な特殊トークンを付加し、語彙を N 個の互いに素な部分集合に分割することで、各トークンの隠れ状態がスパース重みを予測する。

3. 3

   高性能な評価結果

   公開データで訓練された UEmbed-9B は MMEB-v2 で稠密 71.8、スパース 71.0 を達成し、RzenEmbed などの既存モデルを上回る。