信頼性の高いデータ分析エージェント（16 分読）
ZJU-NLP が提案した「DataPRM」は、LLM のデータ分析エージェントにおける「沈黙するエラー」を検出し、試行錯誤を正しく評価することで、既存の手法より大幅な性能向上を実現する革新的なプロセス報酬モデルである。
キーポイント
既存 PRM の限界と課題の特定
従来の汎用ドメイン向けプロセス報酬モデル（PRM）は、データ分析タスクにおいて「エラーを発生させずに間違った結果を出す沈黙するエラー」を検出できず、また必要な試行錯誤を誤ってペナルティとして評価してしまうことが実証された。
環境意識型生成モデル DataPRM の提案
中間実行状態を能動的に検証してエラーを発見する機能と、修正可能なエラーと回復不能なミスを区別する「反射認識 3 値報酬戦略」を採用した新モデル DataPRM を導入し、これらの課題を解決した。
大規模データパイプラインの構築
多様性を重視した軌道生成と知識拡張ステップレベル注釈を通じて、8,000 件以上の高品質トレーニングインスタンスを構築するスケーラブルなパイプラインを設計し、モデルの学習基盤を整備した。
顕著な性能向上の実証
Best-of-N 推論において ScienceAgentBench で +7.21%、DABStep で +11.28% の改善を達成し、40 億パラメータという軽量モデルでありながら強力なベースラインを上回る性能を示した。
影響分析・編集コメントを表示
影響分析
この研究は、LLM が複雑なデータ分析タスクを実行する際の信頼性を飛躍的に高める可能性を示しており、特に「正解への道筋」を厳密に評価・指導するプロセス報酬モデルの新たなパラダイムを提示しています。実用的には、コード生成やデータ処理エージェントが自己完結型で動作し、隠れたバグに気づかずに間違った結論を出すリスクを大幅に低減させるため、産業レベルでの AI エージェント導入における重要なブレークスルーとなります。
編集コメント
「沈黙するエラー」の検出と、試行錯誤への適切な報酬設計という 2 つの課題を同時に解決した点は非常に独創的です。軽量モデルで高パフォーマンスを発揮するため、実運用におけるコスト効率も高く評価できます。
**
要約：プロセス報酬モデル（PRM）は、数学などの静的ドメインにおける大規模言語モデル（LLM）の推論能力を強化する上で顕著な成功を収めています。しかし、動的なデータ分析タスクにおけるその可能性はまだ十分に探求されていません。本研究ではまず、一般ドメイン向けの PRM がデータ分析エージェントを監督することに苦戦することを示す実証研究を発表します。具体的には、それらはインタプリタ例外を引き起こさないが誤った結果をもたらす論理的欠陥である「サイレントエラー」を検出できず、また必要な試行錯誤探索を基盤付けの失敗と誤って判断し、探求的な行動を不当に罰してしまいます。このギャップを埋めるために、私たちは環境認識型生成プロセス報酬モデルである DataPRM を導入します。これは（1）能動的な検証者として機能し、環境と自律的に相互作用して中間実行状態を検証しサイレントエラーを発見し、（2）修正可能な基盤付けエラーと回復不能なミスを区別する「反射意識型 3 値報酬戦略」を採用しています。多様性駆動型の軌道生成と知識強化されたステップレベル注釈を通じて、DataPRM のために 8,000 件以上の高品質トレーニングインスタンスを構築するためのスケーラブルなパイプラインを設計しました。実験結果は、Best-of-N 推論を用いた場合、DataPRM が ScienceAgentBench で 7.21%、DABStep で 11.28% の後続ポリシー LLM の性能向上をもたらすことを示しています。特筆すべきは、わずか 40 億パラメータの DataPRM が強力なベースラインを上回り、多様なテスト時スケーリング戦略にわたって堅牢な一般化能力を示すことです。さらに、DataPRM を強化学習（RL）に統合することで、結果報酬ベースラインに対して大幅な改善がもたらされ、DABench で 78.73%、TableBench で 64.84% のスコアを達成し、プロセス報酬監督の有効性が実証されました。コードは この https URL で利用可能です。
**
コメント:
作業中
主題:
計算と言語 (cs.CL); 人工知能 (cs.AI); 計算工学・金融・科学 (cs.CE); マシンラーニング (cs.LG); マルチエージェントシステム (cs.MA)
引用形式:
arXiv:2604.24198 [cs.CL]
（または、このバージョンについては
arXiv:2604.24198v1 [cs.CL）
https://doi.org/10.48550/arXiv.2604.24198
arXiv が DataCite を介して発行した DOI
## 提出履歴
From: Ningyu Zhang [メールを表示]
[v1]**
月曜日、2026 年 4 月 27 日 09:00:30 UTC (4,098 KB)
原文を表示
Abstract:Process Reward Models (PRMs) have achieved remarkable success in augmenting the reasoning capabilities of Large Language Models (LLMs) within static domains such as mathematics. However, their potential in dynamic data analysis tasks remains underexplored. In this work, we first present a empirical study revealing that general-domain PRMs struggle to supervise data analysis agents. Specifically, they fail to detect silent errors, logical flaws that yield incorrect results without triggering interpreter exceptions, and erroneously penalize exploratory actions, mistaking necessary trial-and-error exploration for grounding failures. To bridge this gap, we introduce DataPRM, a novel environment-aware generative process reward model that (1) can serve as an active verifier, autonomously interacting with the environment to probe intermediate execution states and uncover silent errors, and (2) employs a reflection-aware ternary reward strategy that distinguishes between correctable grounding errors and irrecoverable mistakes. We design a scalable pipeline to construct over 8K high-quality training instances for DataPRM via diversity-driven trajectory generation and knowledge-augmented step-level annotation. Experimental results demonstrate that DataPRM improves downstream policy LLMs by 7.21% on ScienceAgentBench and 11.28% on DABStep using Best-of-N inference. Notably, with only 4B parameters, DataPRM outperforms strong baselines, and exhibits robust generalizability across diverse Test-Time Scaling strategies. Furthermore, integrating DataPRM into Reinforcement Learning yields substantial gains over outcome-reward baselines, achieving 78.73% on DABench and 64.84% on TableBench, validating the effectiveness of process reward supervision. Code is available at this https URL.
Comments:
Work in progress
Subjects:
Computation and Language (cs.CL); Artificial Intelligence (cs.AI); Computational Engineering, Finance, and Science (cs.CE); Machine Learning (cs.LG); Multiagent Systems (cs.MA)
Cite as:
arXiv:2604.24198 [cs.CL]
(or
arXiv:2604.24198v1 [cs.CL] for this version)
https://doi.org/10.48550/arXiv.2604.24198
arXiv-issued DOI via DataCite
Submission history
From: Ningyu Zhang [view email] [v1]
Mon, 27 Apr 2026 09:00:30 UTC (4,098 KB)
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み