CONE：単位と変数の意味を保持する複雑な数値データのための埋め込み

arXiv:2603.04741v1 発表タイプ: 新規 アブストラクト: 大規模事前学習モデル（LMs）および大規模言語モデル（LLMs）は、一般的に言語の意味や文脈的関係を捉えるのに優れています。しかし、数値を含むタスクにおいて、これらのモデルは性能を十分に発揮できないという課題があります。数値や構造化データを単なる単語として扱うだけでは不十分であり、その意味をモデルが適切に理解し、表現する必要があります。本論文では、数値、範囲、ガウス分布を距離関係を保持した埋め込みベクトル空間に変換するハイブリッドトランスフォーマーエンコーダ事前学習モデル、CONEを提案します。また、数値、範囲、ガウス分布と、それらに付随する単位および属性名を統合し、複雑な意味を正確に捉える新しい複合埋め込み構築アルゴリズムを導入します。様々な分野（Web、医療、金融、行政）の大規模データセットを用いた広範な実験により、CONEの優れた数値推論能力が実証されました。DROPデータセットではF1スコア87.28%を達成し、最先端（SOTA）ベースラインと比較してF1で最大9.37%の顕著な向上を示しました。さらに、主要なSOTAモデルを上回り、Recall@10では最大25%の大幅な改善を得ています。

CONE：単位と変数の意味を保持する複雑な数値データのための埋め込み

背景や根拠まで確認しますか？

調べる

選ぶ

サイト