Databricks、エージェントのチャート理解を強化する構造化抽出手法を発表

モチベーション

現在、多くの企業がエージェントに自社の独自ドキュメントを処理させ、その内容について質問に応じさせるケースが増えています。しかし、重要な情報の多くは図やチャートの中に存在します。多くの顧客が、チャートの値を読み取り数え上げる必要がある質問に対して、エージェントが対応できないことに悩まされています。多様な企業環境でエージェントが確実に機能するためには、チャートをより解釈しやすくする必要があります。

では、どのようにすればエージェントがチャートを理解しやすくなるでしょうか？私たちは簡単なテストを行いました。異なるエージェントに*「このチャート上に局所的最大値はいくつありますか？」*と問いかけたのです。

以下は、最先端のエージェントと Databricks Genie がこの質問に答える際の比較です。最先端のエージェントには画像のみが渡され、50 秒間推論を行いましたが、結果は誤った「17」という回答でした。一方、Databricks Genie は ai_parse_document を通じてチャートの構造化抽出を行い、正解である「18」を導き出しました。

私たちは、OfficeQA Pro ベンチマークにおいて、チャートや多様なデータを含む質問に対してモデルの精度が低下する課題を認識しました。これは、金融サービス分野などにおける顧客の情報検索システムでも同様の傾向が見られます。テキストベースの検索システムは、文字列空間内での検索しかできません。一般的な解決策として、チャートの内容を説明するキャプションを生成する方法がありますが、これではチャート内の数値に関する細かい質問に必要なデータを見逃してしまう可能性があります。その結果、システムが誤ったページを検索したり、正しいページを検索しても回答に必要な情報が不足してしまったりすることがあります。

本稿では、チャートからの構造化抽出が、チャート関連の質問に対する検索精度と回答品質を向上させることを示します。私たちは、視覚的に豊かな文書に対する検索や質問応答のためのベンチマークである ViDoRe V3 のチャート重視サブセットと、私たちが Chart-RAG と名付けた合成チャート特化データセットの 2 つのデータセットでアプローチを検証しました。その結果、大規模な単一ベクトル型およびマルチベクトル型の多モーダル埋め込みモデルと比較しても、十分に競争力のある性能を示すことが確認できました。

*図 1: 記述のみによる解析、上位 3 つの検索画像で拡張された aiparsedocument、そして回答に上位 5 ページを使用した場合における最も強力な多モーダル埋め込みベースラインの回答精度。結果は 3 回のランニングの平均値です。*

Databricks の AI 関数群 Databricks’s AI functions を活用し、チャート認識機能を備えた検索パイプラインをゼロから構築しました。この関数群は最先端の研究技術を基に最適化された、組み合わせ可能な機能セットです（*Figure 2* 参照）。

文書内容の抽出には ai_parse_document を使用し、チャートを構造化 JSON 形式として含めて抽出しました。次に ai_prep_search で検索可能なチャンクに変換し、軽量な 3 億パラメータのテキスト埋め込みモデルでインデックス化しています。作成したインデックスは ai_search を通じて Genie に接続し、検索と回答機能を連携させています。

*Figure 2: Databricks AI 関数を用いたチャート抽出および検索パイプラインの実装例*

評価手法

同じ PDF ソースから作成した 3 億パラメータの BGE テキスト埋め込みモデルを用いて、チャートの表現方法のみが異なる 2 つのインデックスを比較しました。

• 説明文ベース（基準）: 図表はキャプションのみで表現
• JSON 拡張型: 図表はキャプションと構造化 JSON を組み合わせて表現し、チャンク内に埋め込む

チャート抽出の例:

2026 年と 2027 年の GDP 成長率および総合インフレ率に関する 5 つの経済予測シナリオを比較したグループ棒グラフ。

ViDoRe V3 ベンチマークから、チャートやインフォグラフィックが多用された質問 310 件を評価対象としました。このベンチマークは、雇用、エネルギー、製薬、物理学、金融、コンピュータサイエンス、産業文書の 7 つのドメインにわたる情報検索および回答能力を検証するものです。各実験では、16,000 ページからなる英語のコーパス全体を解析・チャンク化し、すべての問い合わせに対してフルインデックス検索を行いながら回答を生成しました。

チャート関連の質問を選定しましたが、周囲のテキスト情報だけで回答可能なケースも少なくありませんでした。そこで、チャート内容の影響を明確に評価するため、3 つの複雑でチャートが多用された報告書（BIS Quarterly Review、*IMF World Economic Outlook*、*J.P. Morgan Long-Term Capital Market Assumptions）から作成されたチャート依存型の質問に特化した第 2 のベンチマークを構築しました。これら 3 つの文書（計 378 ページ）に基づき、視覚情報に根拠を持つ質問 114 件を作成し、synthetic Chart-RAG データセットを構築しました。

採点基準: 各回答は、正解・部分的正解・不正解のいずれかに分類されます。判定には LLM ジェネレーター（gemini-3-flash）を用い、ゴールドアンサーとの比較に基づいて評価を行いました。

検索評価: Hit Rate@10 と nDCG@10 を報告します。Hit Rate@10 は、上位 10 件に少なくとも 1 つの正解ページが含まれているかを確認する指標です。ViDoRe ベンチマークの質問には複数の正解ページが存在し、それぞれに関連度スコア（1 または 2）が割り当てられています。Hit Rate@10 の計算では、スコアが 1 または 2 のいずれかのページを「ヒット」とみなすため、評価を二値化して使用します。一方、nDCG@10 では元の多段階評価スコアをそのまま保持しています。Chart-RAG データセットでは、各クエリに正解ページは 1 つのみ設定されています。

安定した測定結果を得るため、各構成で 3 回実験を行い、信頼区間付きの結果を報告します。

構造化チャートデータが検索と回答の精度を向上させる

*Figure 3: ViDoRe V3 サブセットおよび合成された Chart-RAG データセットにおける、記述情報のみの検索と Chart-JSON を追加した検索の比較。正答率、Hit@10、nDCG@10 の結果を示しています。各値は 3 回の実験の平均です。

*Figure 4: チャート JSON の追加により、以前は誤っていた回答が正解に修正されたケースを分析。これらのケースにおいて、JSON の付与が検索精度（Hit@10）やランキング順位（nDCG@10）の向上にも寄与した頻度を示しています。結果は 3 回の実験の平均です。

Chart-RAG データセットからの以下の例では、JSON 形式による表現が検索と回答品質をどのように改善するかを示します：

この検索精度の向上は、チャートに関する質問に限定されるものではありません。抽出されたチャートの数値やラベルを活用することで、回答がチャート上に直接表示されていない場合でも、ページ自体の検索しやすさが向上します。

画像により回答品質がさらに向上

一部の質問では、単なる数値だけでなく図表の外観そのものが重要になります。視覚的な文脈を復元することによる効果を測定するため、回答生成時に上位 3 つの検索結果テキストチャンクに対応する画像と JSON データをエージェントに提供しました。

*Figure 5: チャート JSON のみを用いた場合と、回答時に上位 3 つの検索画像を追加した場合の正答率。結果は 3 回のランの平均値です。

この実験では検索プロセス自体は変更していません。チャート画像を追加したことで、Chart-RAG データセットでは正答率が 4 ポイント向上し、ViDoRe V3 サブセットでも 2.6 ポイントの上昇が見られました。

JSON レプリゼンテーションはマルチモーダル埋め込みと競合する

軽量な 3 億パラメータのテキスト埋め込みモデルを使用する当社のアプローチが、マルチモーダル埋め込みモデルと比較してどうなるかという問いに対して、4 つの代替モデルでベンチマークを行いました。比較対象には、後期相互作用スコアリングを用いる大規模多ベクトル型マルチモーダル埋め込みモデル「ColQwen2.5-3B」、大規模単一ベクトル型マルチモーダル埋め込みモデル「Qwen3-VL-Embedding-2B」、そして軽量な単一ベクトルモデルである「Jina CLIP v2 (0.9B パラメータ)」と「CLIP ViT-L/14 (428M パラメータ)」が含まれます。各マルチモーダルモデルは、すべてのページを埋め込み処理しました。

クエリ実行時には、「ColQwen2.5-3B」に対して MaxSim を、「単一ベクトルモデル」に対してコサイン類似度を用いてランキング付けを行いました。検索範囲は全コーパスとし、スコア上位 5 ページを回答用 VLM（Vision Language Model）へ渡しました。

5 ページの取得結果を用いて正答率を報告するのには2つの理由があります。第一に、これは ViDoRe サブセットと Chart-RAG データセットにおいて最も性能を発揮する深さの中間的なバランス点を提供するためです。第二に、5 ページは当社のアプローチで平均的に使用される入力コンテキストに近い値であり、公平な比較を可能にするためです。

なお、標準的な検索評価指標として nDCG@10 も併せて報告します。

ViDoRe V3:

Chart-RAG:

最も強力なモデルにおいて、Chart-RAG データセットでの検索性能はコーパスサイズが 378 ページと小さいため、ほぼ飽和状態にあります。したがって、ここではより興味深い比較対象となるのは回答の品質です。

ViDoRe V3 において、上位 3 枚の画像を抽出した chart-JSON を使用すると正答率は 75.9% に達します。Chart-RAG でも同様の設定で 75.1% の性能を発揮しました。いずれも、モデルに渡す画像数を 3 枚に抑えつつ、4 つのマルチモーダル埋め込みベースラインを上回る結果です。この高いパフォーマンスは、ColQwen2.5-3B が採用する多ベクトル・後期相互作用アーキテクチャと比較して、約 10 分の 1 の規模でよりシンプルな代替案を実現したことに由来します。つまり、構造化されたチャートの前処理を行うことで、画像使用量を削減しつつも競争力のある回答品質を維持でき、インデックス作成や検索にかかるオーバーヘッドも大幅に軽減できるのです。

まとめ

企業ドキュメントにおいて、チャートは情報の主要な形式の一つです。チャート情報を容易に見つけられ、明確に解釈可能であることは、検索エージェントの精度にとって極めて重要です。構造化されたチャート JSON は、検索インデックスに正確な値を追加し、エージェントが推論を行うための材料を提供することで、従来の RAG システムにおける課題を解消します。本研究では、構造化チャート JSON が検索品質とエージェントによる回答精度の両方を向上させることを示しました。今後の研究では、異なる構造化抽出表現形式が検索や回答精度にどのような影響を与えるかをさらに探求していくことが期待されます。

「ai_parse_document」(https://docs.databricks.com/aws/en/sql/language-manual/functions/ai_parse_document) に対するチャート JSON の拡張機能は近日公開予定です。これにより、関数のインターフェースを変更することなく、解析されたドキュメントから自動的にチャートの値が構造化テキストとして抽出されます。

検索機能の強化には、「ai_prep_search」(https://docs.databricks.com/aws/en/sql/language-manual/functions/ai_prep_search) と併用することを推奨します。この機能はまた、Databricks の顧客向けに PDF 内のチャート関連質問への回答精度を向上させる「Genie One」(https://www.databricks.com/product/genie/) の基盤としても活用されます。

著者：Amrutha Srivatsav, Ivan Zhou, Jasmine Collins, Michael Bendersky, Adyasha Maharana, Erich Elsen, Xing Chen, Matei Zaharia

**近日公開の「ai_parse_document」と「ai_prep_search」を組み合わせて、チャート認識型の検索・回答パイプラインを構築しましょう**