CONE：単位と変数の意味を保持する複雑な数値データのための埋め込み
ArXivで公開されたCONEは、数値データと単位・属性を統合的にエンコードするハイブリッドTransformerモデルであり、金融や医療など多様なドメインでSOTAモデルを上回る数値推論性能を実現した。
キーポイント
数値とセマンティクスの統合エンコーディング
既存のLLMが数値を単なる用語として扱う課題に対し、CONEは数値、範囲、ガウス分布、単位、属性名を統合した複合埋め込みアルゴリズムを導入し、距離を保存するベクトル空間へエンコードする。
大規模データセットによる実証とSOTA超え
Web、医療、金融、政府の多様な大規模データセットで評価を行い、DROPベンチマークでF1スコア87.28%を達成し、既存の最先端モデル比で最大9.37%の改善とRecall@10で最大25%の向上を示した。
ハイブリッドTransformerアーキテクチャの提案
数値や構造化データに対する文脈的関係と意味を捉えるため、ハイブリッドTransformerエンコーダを事前学習モデルとして提案し、数値推論タスクにおける最適パフォーマンスの維持を目指す。
影響分析・編集コメントを表示
影響分析
この研究は、LLMが苦手とする数値推論タスクにおける重要な進展を示唆しています。特に金融や医療といった厳密な数値処理が求められる分野において、単なるパターンマッチングではなく「単位や属性を考慮した意味理解」を実現する手法は、実務でのLLM活用における信頼性と精度を大幅に向上させる可能性があります。
編集コメント
LLMの弱点である数値処理を、単なるトークン化ではなく「単位と属性を含む複合埋め込み」というアプローチで解決しようとする試みは非常に興味深いです。実務適用にはアーキテクチャの詳細な検証が必要ですが、数値精度が求められる領域でのLLM活用拡大に寄与する可能性があります。
arXiv:2603.04741v1 発表タイプ: 新規
アブストラクト: 大規模事前学習モデル（LMs）および大規模言語モデル（LLMs）は、一般的に言語の意味や文脈的関係を捉えるのに優れています。しかし、数値を含むタスクにおいて、これらのモデルは性能を十分に発揮できないという課題があります。数値や構造化データを単なる単語として扱うだけでは不十分であり、その意味をモデルが適切に理解し、表現する必要があります。本論文では、数値、範囲、ガウス分布を距離関係を保持した埋め込みベクトル空間に変換するハイブリッドトランスフォーマーエンコーダ事前学習モデル、CONEを提案します。また、数値、範囲、ガウス分布と、それらに付随する単位および属性名を統合し、複雑な意味を正確に捉える新しい複合埋め込み構築アルゴリズムを導入します。様々な分野（Web、医療、金融、行政）の大規模データセットを用いた広範な実験により、CONEの優れた数値推論能力が実証されました。DROPデータセットではF1スコア87.28%を達成し、最先端（SOTA）ベースラインと比較してF1で最大9.37%の顕著な向上を示しました。さらに、主要なSOTAモデルを上回り、Recall@10では最大25%の大幅な改善を得ています。
原文を表示
arXiv:2603.04741v1 Announce Type: new
Abstract: Large pre-trained models (LMs) and Large Language Models (LLMs) are typically effective at capturing language semantics and contextual relationships. However, these models encounter challenges in maintaining optimal performance on tasks involving numbers. Blindly treating numerical or structured data as terms is inadequate -- their semantics must be well understood and encoded by the models. In this paper, we propose CONE, a hybrid transformer encoder pre-trained model that encodes numbers, ranges, and gaussians into an embedding vector space preserving distance. We introduce a novel composite embedding construction algorithm that integrates numerical values, ranges or gaussians together with their associated units and attribute names to precisely capture their intricate semantics. We conduct extensive experimental evaluation on large-scale datasets across diverse domains (web, medical, finance, and government) that justifies CONE's strong numerical reasoning capabilities, achieving an F1 score of 87.28% on DROP, a remarkable improvement of up to 9.37% in F1 over state-of-the-art (SOTA) baselines, and outperforming major SOTA models with a significant Recall@10 gain of up to 25%.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み