PACE：エージェント型能力評価のためのプロキシ手法（2 分読了）
Librarian Bot が Semantic Scholar API を活用し、PACE 論文に関連する長期的エージェント評価やコーディングベンチなどの関連研究を自動推薦した。
キーポイント
自動化された論文推薦機能
Hugging Face の Librarian Bot が Semantic Scholar API を使用して、対象となる PACE 論文と類似性の高い研究を自動的に抽出・提示している。
エージェント評価ベンチマークの動向
推薦リストには「WildClawBench」や「SWE-Explore」など、現実世界での長期ホライズンやリポジトリ探索を評価する最新のベンチマークが含まれている。
エージェントの制御と適応
推薦された論文群は、LLM エージェントの手順記憶管理やワークフローの評価プロトコルなど、エージェントの制御と適応能力に焦点を当てている。
重要な引用
This is an automated message from the Librarian Bot. I found the following papers similar to this paper.
WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation
SWE-Explore: Benchmarking How Coding Agents Explore Repositories
影響分析・編集コメントを表示
影響分析
この記事自体は特定の技術的発見を報じるものではなく、Hugging Face のコミュニティ機能における AI による文献探索の利便性を示す事例です。しかし、エージェント評価という重要な研究領域において、関連する最新ベンチマークや理論が自動的に可視化される仕組みは、研究者や開発者の学習効率を高める上で実用的な価値があります。
編集コメント
これは特定の技術的ニュースというより、研究支援ツールの機能紹介に近い内容ですが、エージェント評価分野の最新動向を把握する上で有用な情報源となっています。
これはライブラリアンボットからの自動メッセージです。この論文と類似する以下の論文を見つけました。
Semantic Scholar API によって推奨された以下の論文:
- WildClawBench: 現実世界における長期ホライゾンのエージェント評価のためのベンチマーク (2026)
- SWE-Explore: コーディングエージェントがリポジトリをどのように探索するかをベンチマークする (2026)
- RealClawBench: 実際の開発者 - エージェントセッションからのライブオープンクローブenchmarks (2026)
- LLM エージェントにおける手続き記憶の管理：制御、適応、および評価 (2026)
- より多くのエージェントが役立つか？LLM エージェントワークフローの統制されたプロトコル整合型評価 (2026)
- 初期経験からのエージェントルーティング学習 (2026)
- FastContext: コーディングエージェント向けの効率的なリポジトリエクスプローラーのトレーニング (2026)
このコメントが役に立った場合は、このコメントに「いいね」をお願いします！
Hugging Face 上の任意の論文に関する推奨事項をご希望の場合は、こちらの Space をご覧ください。
コメントで @librarian-bot recommend とタグ付けすることで、ライブラリアンボットに直接論文の推薦を依頼できます。
PACE：エージェント能力評価のためのプロキシ（2 分読了）（続き 2/5）
"updatedAt":"2026-07-04T04:37:25.022Z","author":{"_id":"63d3e0e8ff1384ce6c5dd17d","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/1674830754237-63d3e0e8ff1384ce6c5dd17d.jpeg","fullname":"Librarian Bot (Bot)","name":"librarian-bot","type":"user","isPro":false,"isHf":false,"isHfAdmin":false,"isMod":false,"followerCount":372,"isUserFollowing":false}},"numEdits":0,"identifiedLanguage":{"language":"en","probability":0.7221300601959229},"editors":["librarian-bot"],"editorAvatarUrls":["https://cdn-avatars.huggingface.co/v1/production/uploads/1674830754237-63d3e0e8ff1384ce6c5dd17d.jpeg"],"reactions":[],"isReport":false}}],["primaryEmailConfirmed":false,"paper":{"id":"2607.02032","authors":[{"_id":"6a47204e6ee372f6920de2fa","name":"Yueqi Song","hidden":false},{"_id":"6a47204e6ee372f6920de2fb","name":"Lintang Sutawika","hidden":false},{"_id":"6a47204e6ee372f6920de2fc","name":"Jiarui Liu","hidden":false},{"_id":"6a47204e6ee372f6920de2fd","name":"Lindia Tjuatja","hidden":false},{"_id":"6a47204e6ee372f6920de2fe","name":"Jiayi Geng","hidden":false},{"_id":"6a47204e6ee372f6920de2ff","name":"Yunze Xiao","hidden":false},{"_id":"6a47204e6ee372f6920de300","name":"Daniel Lee","hidden":false},{"_id":"6a47204e6ee372f6920de301","name":"Aditya Bharat Soni","hidden":false},{"_id":"6a47204e6ee372f6920de302","name":"Vincent Lo","hidden":false},{"_id":"6a47204e6ee372f6920de303","name":"Xiang Yue","hidden":false},{"_id":"6a47204e6ee372f6920de304","name":"Graham Neubig","hidden":false}],"publishedAt":"2026-07-02T00:00:00.000Z","submittedOnDailyAt":"2026-07-03T00:00:00.000Z","title":"PACE: A Proxy for Agentic Capability Evaluation","submittedOnDailyBy":{"_id":"6039478ab3ecf716b1a5fd4d","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/6039478ab3ecf716b1a5fd4d/_Thy4E7taiSYBLKxEKJbT.jpeg","isPro":true,"fullname":"taesiri","user":"taesiri","type":"user","name":"taesiri"},"summary":"SWE-Bench や GAIA などのベンチマークで LLM エージェント（LLM agents）を評価することは、コストが高く、時間がかかり、複雑なインフラストラクチャが必要です。単一の評価には数千ドルの費用がかかることもあり、完了までに数日かかることもあります。一方、推論やコード生成など個々の能力（atomic capabilities）のみをテストする非エージェント型 LLM ベンチマークは、実行が迅速で安価です。本論文では、高コストなエージェントベンチマークでのパフォーマンスを、小さく慎重に選択された原子評価インスタンスのサブセット上でのパフォーマンスによって正確に予測できるかどうかを検証します。私たちは PACE というフレームワークを導入しました。これは、エージェントベンチマークにおけるモデルのパフォーマンスを最も信頼性高く予測する集計スコアを持つ既存の非エージェント型評価からインスタンスを選択することで、プロキシベンチマーク（proxy benchmarks）を構築するものです。原子的能力にわたる候補インスタンスのプールが与えられた場合、PACE は、コンパクトなソースインスタンスのサブセット上でのモデルのスコアを、ターゲットのエージェントベンチマーク上のスコアにマッピングする回帰分析（regression）をフィットさせます。このサブセット自体は、ターゲット関連性に基づく局所選択（target-relevance local selection）と、グローバルに情報豊富なグローバル選択（globally informative global selection）という 2 つの相補的なインスタンス選択戦略を組み合わせてキュレーションされます。PACE を本論文で扱う 4 つのエージェントベンチマークに適用することで、PACE-Bench という具体的なプロキシベンチマークが得られ、これが本論文で評価される対象となります。14 のモデル、4 つのエージェントベンチマーク、および 19 の非エージェント型ベンチマークにわたる実験により、PACE-Bench は、アウトオブサン（leave-one-out）クロスバリデーション（LOOCV）における平均絶対誤差（MAE）が 4% 未満、スピアマン相関（Spearman correlation）が 0.80 を超え、ペアワイズモデルランキング精度（pairwise model-ranking accuracy）が約 85% に達することが示されました。これらはすべて、完全なエージェント評価コストの 1% も満たないコストで達成されています。さらに、選択されたプロキシインスタンスを分析し、各エージェントベンチマークが独自に要求するスキルが明らかになりました。PACE を用いることで、実践者は、フルエージェント評価のオーバーヘッドなしに、モデルの開発、選定、ルーティング中にエージェントパフォーマンスの信頼できる推定値を得ることができます。","upvotes":14,"discussionId":"6a47204f6ee372f6920de305","ai_summary":"PACE は、高コストなエージェント型 LLM ベンチマークのパフォーマンスを、原子評価インスタンスの小さなサブセットを用いて予測するフレームワークであり、コストの大幅な削減ながら高い精度を実現します。","ai_keywords":["LLM agents","SWE-Bench","GAIA","agentic benchmarks","non-agentic benchmarks","proxy benchmarks","regression","instance-selection strategies","target-relevance local selection","globally informative global selection","leave-one-out cross-validation","mean absolute error","Spearman correlation","pairwise model-ranking accuracy"],"ai_summary_model":"Qwen/Qwen2.5-Coder-32B-Instruct"},"canReadDatabase":false,"canManagePapers":false,"canSubmit":false,"hasHfLevelAccess":false,"upvoted":false,"upvoters":[{"_id":"6a2da6c8ca070ee12c6e396c","avatarUrl":"/avatars/0355287dcabaa67dbc7f0b10b87451f9.svg","isPro":false,"fullname":"Joe Mama","user":"JoeMama123123123","type":"user"},{"_id":"69a40193e47f4320d87378a0","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/noauth/SacorIUGoZu4Z3MUArRrj.png","isPro":false,"fullname":"Chenxi Gao","user":"zruilin7wi","type":"user"},{"_id":"697c8b15a7f796854ef333c4","avatarUrl":"/avatars/94de3a736fac914944f1b57609e3819a.svg","isPro":false,"fullname":"Joel Wang","user":"joelhenwang","type":"user"},{"_id":"650bfb96d564b800cc7fde73","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/noauth/DoFM731uaoaNDue1Nm_Zp.png","isPro":false,"fullname":"Maojia Song","user":"OrangeEye","type":"user"},{"_id":"63e7bf7be02ee67e8e53f78d","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/63e7bf7be02ee67e8e53f78d/z9j1PWrurEyIA2JXzpz0i.png","isPro":false,"fullname":"Yueqi Song","user":"yueqis","type":"user"},{"_id":"6358edff3b3638bdac83f7ac","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/1666772404424-noauth.jpeg","isPro":false,"fullname":"Pratyay Banerjee","user":"Neilblaze","type":"user"},{"_id":"63ac5701c21e60a3e9b58aa7","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/63ac5701c21e60a3e9b58aa7/g6EX7diOpuA94R2ab-rZC.png","isPro":true,"fullname":"Dipankar Sarkar","user":"dipankarsarkar","type":"user"},{"_id":"69bb584cfe142225ca7e484c","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/noauth/gLJfInRNmFDQTaqmHSZyo.png","isPro":false,"fullname":"Xiao Yutian","user":"riley-scott55","type":"user"},{"_id":"69bcb365518f6d1f3d29b6a6","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/noauth/3McEtiC4SdYb8VfFgnw6e.png","isPro":false,"fullname":"Семёнов Максим","user":"yuziyu63","type":"user"},{"_id":"62ea79dd01ed9b0e8f61ccd3","avatarUrl":"/avatars/70af83e0e267be39fcd5f23b85e2dafa.svg","isPro":false,"fullname":"Chengsong Huang","user":"ChengsongHuang","type":"user"},{"_id":"64706ed2fa9fd77212de57ed","avatarUrl":"/avatars/e27564d1ba5bd77212de57ed","isPro":false,"fullname":"Jiarui Liu","user":"Jerry999","type":"user"},{"_id":"650f4ae42a45730c3fedf001","avatarUrl":"/avatars/fc9274aeb0dc2071b12acfe52023bbe.svg","isPro":false,"fullname":"Jiayi Geng","user":"JiayiG","type":"user"}],"acceptLanguages":["*"],"dailyPaperRank":0,"markdownContentUrl":"https://huggingface.co/buckets/huggingchat/papers-content/resolve/2607/2607.02032.md","query":{"utm_source":"tldrai"}}"> 2026 年 7 月 2 日公開
著者:
,
,
,
,
,
,
,
,
,
Abstract
PACE は、高コストなエージェント型大規模言語モデル（LLM）のベンチマーク性能を、少数の原子評価インスタンスを用いて予測するフレームワークであり、そのコストはごく一部で済むながら高い精度を実現します。
SWE-Bench や GAIA といったベンチマークにおいて LLM エージェント を評価することは、費用がかさみ、時間がかかり、複雑なインフラを必要とします。単一の評価には数千ドルの費用がかかることもあり、完了までに数日かかることもあります。一方、推論やコード生成といった個々の能力のみを検証する非エージェント型 LLM ベンチマークは、迅速かつ低コストで実行可能です。本論文では、高価な エージェント型ベンチマーク におけるパフォーマンスを、細かく選定された原子評価インスタンスの小さなサブセットでのパフォーマンスによって正確に予測できるかどうかを検証します。私たちは PACE というフレームワークを導入しました。これは、既存の非エージェント型評価から、その集計スコアが エージェント型ベンチマーク におけるモデルのパフォーマンスを最も信頼性高く予測できるインスタンスを選択することで、プロキシ・ベンチマーク を構築するものです。原子的能力にわたる候補インスタンスのプールから、PACE は、コンパクトなソース・インスタンスのサブセットにおけるモデルのスコアを、ターゲットとなるエージェント型ベンチマークでのスコアへとマッピングする 回帰 をフィットさせます。このサブセット自体は、2 つの相補的な インスタンス選択戦略、すなわち「ターゲット関連性に基づく局所選択 (target-relevance local selection)」と「グローバルに情報豊富なグローバル選択 (globally informative global selection)」を組み合わせることで選別されます。PACE を本論文で扱う 4 つのターゲット エージェント型ベンチマーク に適用することで、本論文で評価する具体的なプロキシ・ベンチマークである PACE-Bench が得られます。14 のモデル、4 つの エージェント型ベンチマーク、および 19 の 非エージェント型ベンチマーク にわたる実験により、PACE-Bench は、leave-one-out クロスバリデーション (LOOCV) において 平均絶対誤差 (MAE) が 4% 未満、スピアマン相関係数 が 0.80 を超え、ペアモデルランキング精度 が約 85% であることを示しました。これらはすべて、完全なエージェント評価コストの 1% も満たないコストで達成されています。さらに、選択されたプロキシ・インスタンスを分析することで、各エージェント型ベンチマークが独自に要求するスキルが明らかになりました。PACE を用いることで、実践者は、フルエージェント評価に伴うオーバーヘッドなしに、モデルの開発、選定、ルーティングの過程において、エージェントのパフォーマンスに関する信頼性の高い推定値を得ることができます。
arXiv ページを見る PDF を見る コレクションに追加
このペーパーをエージェントで取得するには:
hf papers read 2607.02032
最新の CLI をお持ちでない場合は、curl -LsSf https://hf.co/cli/install.sh | bash を実行してください。
この論文を引用するモデル 0
本論文へのリンクを持つモデルはありません
このページからリンクするには、モデルの README.md に arxiv.org/abs/2607.02032 の引用を追加してください。
この論文を引用するデータセット 1
[## neulab/pace-bench
ビューアー • 約 23 時間前に更新• 412 • 169 • 1](https://huggingface.co/datasets/neulab/pace-bench)
この論文を引用するスペース 0
本論文へのリンクを持つスペースはありません
このページからリンクするには、スペースの README.md に arxiv.org/abs/2607.02032 の引用を追加してください。
この論文を含むコレクション 5
原文を表示
This is an automated message from the Librarian Bot. I found the following papers similar to this paper.
\nThe following papers were recommended by the Semantic Scholar API
\n\n- WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation (2026)
\n- SWE-Explore: Benchmarking How Coding Agents Explore Repositories (2026)
\n- RealClawBench: Live OpenClaw Benchmarks from Real Developer-Agent Sessions (2026)
\n- Managing Procedural Memory in LLM Agents: Control, Adaptation, and Evaluation (2026)
\n- Do More Agents Help? Controlled and Protocol-Aligned Evaluation of LLM Agent Workflows (2026)
\n- Learning Agent Routing From Early Experience (2026)
\n- FastContext: Training Efficient Repository Explorer for Coding Agents (2026)
\n
\n Please give a thumbs up to this comment if you found it helpful!
\n If you want recommendations for any Paper on Hugging Face checkout this Space
\n You can directly ask Librarian Bot for paper recommendations by tagging it in a comment: @librarian-bot recommend
\n","updatedAt":"2026-07-04T04:37:25.022Z","author":{"_id":"63d3e0e8ff1384ce6c5dd17d","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/1674830754237-63d3e0e8ff1384ce6c5dd17d.jpeg","fullname":"Librarian Bot (Bot)","name":"librarian-bot","type":"user","isPro":false,"isHf":false,"isHfAdmin":false,"isMod":false,"followerCount":372,"isUserFollowing":false}},"numEdits":0,"identifiedLanguage":{"language":"en","probability":0.7221300601959229},"editors":["librarian-bot"],"editorAvatarUrls":["https://cdn-avatars.huggingface.co/v1/production/uploads/1674830754237-63d3e0e8ff1384ce6c5dd17d.jpeg"],"reactions":[],"isReport":false}}],"primaryEmailConfirmed":false,"paper":{"id":"2607.02032","authors":[{"_id":"6a47204e6ee372f6920de2fa","name":"Yueqi Song","hidden":false},{"_id":"6a47204e6ee372f6920de2fb","name":"Lintang Sutawika","hidden":false},{"_id":"6a47204e6ee372f6920de2fc","name":"Jiarui Liu","hidden":false},{"_id":"6a47204e6ee372f6920de2fd","name":"Lindia Tjuatja","hidden":false},{"_id":"6a47204e6ee372f6920de2fe","name":"Jiayi Geng","hidden":false},{"_id":"6a47204e6ee372f6920de2ff","name":"Yunze Xiao","hidden":false},{"_id":"6a47204e6ee372f6920de300","name":"Daniel Lee","hidden":false},{"_id":"6a47204e6ee372f6920de301","name":"Aditya Bharat Soni","hidden":false},{"_id":"6a47204e6ee372f6920de302","name":"Vincent Lo","hidden":false},{"_id":"6a47204e6ee372f6920de303","name":"Xiang Yue","hidden":false},{"_id":"6a47204e6ee372f6920de304","name":"Graham Neubig","hidden":false}],"publishedAt":"2026-07-02T00:00:00.000Z","submittedOnDailyAt":"2026-07-03T00:00:00.000Z","title":"PACE: A Proxy for Agentic Capability Evaluation","submittedOnDailyBy":{"_id":"6039478ab3ecf716b1a5fd4d","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/6039478ab3ecf716b1a5fd4d/_Thy4E7taiSYBLKxEKJbT.jpeg","isPro":true,"fullname":"taesiri","user":"taesiri","type":"user","name":"taesiri"},"summary":"Evaluating LLM agents on benchmarks like SWE-Bench and GAIA can be expensive, time-consuming, and requires complex infrastructure. A single evaluation can cost thousands of dollars and take days to complete. In contrast, non-agentic LLM benchmarks that test individual capabilities (e.g., reasoning, code generation) are fast and cheap to run. In this paper, we investigate whether performance on expensive agentic benchmarks can be accurately predicted by the performance on a small, carefully selected subset of atomic evaluation instances. We introduce PACE, a framework that constructs proxy benchmarks by selecting instances from existing non-agentic evaluations whose aggregate scores most reliably predict model performances on agentic benchmarks. Given a pool of candidate instances spanning atomic capabilities, PACE fits a regression that maps a model's scores on a compact subset of source instances to its score on the target agentic benchmark. The subset itself is curated by combining two complementary instance-selection strategies, target-relevance local selection and globally informative global selection. We apply PACE to the 4 target agentic benchmarks in this paper, which yields PACE-Bench, the concrete proxy benchmark that we evaluate in the paper. Experiments across 14 models, 4 agentic benchmarks, and 19 non-agentic benchmarks show that PACE-Bench predicts agentic scores with leave-one-out cross-validation (LOOCV) mean absolute error (MAE) under 4%, Spearman correlation above 0.80, and pairwise model-ranking accuracy around 85%, all at much less than 1% of the full agentic evaluation cost. We further analyze the selected proxy instances, revealing which skills each agentic benchmark uniquely demands. PACE enables practitioners to obtain reliable estimates of agentic performance during model development, selection, and routing, without the overhead of full agent evaluation.","upvotes":14,"discussionId":"6a47204f6ee372f6920de305","ai_summary":"PACE is a framework that predicts expensive agentic LLM benchmark performance using a small subset of atomic evaluation instances, achieving high accuracy at a fraction of the cost.","ai_keywords":["LLM agents","SWE-Bench","GAIA","agentic benchmarks","non-agentic benchmarks","proxy benchmarks","regression","instance-selection strategies","target-relevance local selection","globally informative global selection","leave-one-out cross-validation","mean absolute error","Spearman correlation","pairwise model-ranking accuracy"],"ai_summary_model":"Qwen/Qwen2.5-Coder-32B-Instruct"},"canReadDatabase":false,"canManagePapers":false,"canSubmit":false,"hasHfLevelAccess":false,"upvoted":false,"upvoters":[{"_id":"6a2da6c8ca070ee12c6e396c","avatarUrl":"/avatars/0355287dcabaa67dbc7f0b10b87451f9.svg","isPro":false,"fullname":"Joe Mama","user":"JoeMama123123123","type":"user"},{"_id":"69a40193e47f4320d87378a0","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/noauth/SacorIUGoZu4Z3MUArRrj.png","isPro":false,"fullname":"Chenxi Gao","user":"zruilin7wi","type":"user"},{"_id":"697c8b15a7f796854ef333c4","avatarUrl":"/avatars/94de3a736fac914944f1b57609e3819a.svg","isPro":false,"fullname":"Joel Wang","user":"joelhenwang","type":"user"},{"_id":"650bfb96d564b800cc7fde73","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/noauth/DoFM731uaoaNDue1Nm_Zp.png","isPro":false,"fullname":"Maojia Song","user":"OrangeEye","type":"user"},{"_id":"63e7bf7be02ee67e8e53f78d","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/63e7bf7be02ee67e8e53f78d/z9j1PWrurEyIA2JXzpz0i.png","isPro":false,"fullname":"Yueqi Song","user":"yueqis","type":"user"},{"_id":"6358edff3b3638bdac83f7ac","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/1666772404424-noauth.jpeg","isPro":false,"fullname":"Pratyay Banerjee","user":"Neilblaze","type":"user"},{"_id":"63ac5701c21e60a3e9b58aa7","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/63ac5701c21e60a3e9b58aa7/g6EX7diOpuA94R2ab-rZC.png","isPro":true,"fullname":"Dipankar Sarkar","user":"dipankarsarkar","type":"user"},{"_id":"69bb584cfe142225ca7e484c","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/noauth/gLJfInRNmFDQTaqmHSZyo.png","isPro":false,"fullname":"Xiao Yutian","user":"riley-scott55","type":"user"},{"_id":"69bcb365518f6d1f3d29b6a6","avatarUrl":"https://cdn-avatars.huggingface.co/v1/production/uploads/noauth/3McEtiC4SdYb8VfFgnw6e.png","isPro":false,"fullname":"Семёнов Максим","user":"yuziyu63","type":"user"},{"_id":"62ea79dd01ed9b0e8f61ccd3","avatarUrl":"/avatars/70af83e0e267be39fcd5f23b85e2dafa.svg","isPro":false,"fullname":"Chengsong Huang","user":"ChengsongHuang","type":"user"},{"_id":"64706ed2fa9fd77212de57ed","avatarUrl":"/avatars/e27564d1ba5bd9ac2f228a9c8e4c9506.svg","isPro":false,"fullname":"Jiarui Liu","user":"Jerry999","type":"user"},{"_id":"650f4ae42a45730c3fedf001","avatarUrl":"/avatars/fc9274aeb0dc2071b120acfe52023bbe.svg","isPro":false,"fullname":"Jiayi Geng","user":"JiayiG","type":"user"}],"acceptLanguages":["*"],"dailyPaperRank":0,"markdownContentUrl":"https://huggingface.co/buckets/huggingchat/papers-content/resolve/2607/2607.02032.md","query":{"utm_source":"tldrai"}}"> Published on Jul 2
Authors:
,
,
,
,
,
,
,
,
,
Abstract
PACE is a framework that predicts expensive agentic LLM benchmark performance using a small subset of atomic evaluation instances, achieving high accuracy at a fraction of the cost.
Evaluating LLM agents on benchmarks like SWE-Bench and GAIA can be expensive, time-consuming, and requires complex infrastructure. A single evaluation can cost thousands of dollars and take days to complete. In contrast, non-agentic LLM benchmarks that test individual capabilities (e.g., reasoning, code generation) are fast and cheap to run. In this paper, we investigate whether performance on expensive agentic benchmarks can be accurately predicted by the performance on a small, carefully selected subset of atomic evaluation instances. We introduce PACE, a framework that constructs proxy benchmarks by selecting instances from existing non-agentic evaluations whose aggregate scores most reliably predict model performances on agentic benchmarks. Given a pool of candidate instances spanning atomic capabilities, PACE fits a regression that maps a model's scores on a compact subset of source instances to its score on the target agentic benchmark. The subset itself is curated by combining two complementary instance-selection strategies, target-relevance local selection and globally informative global selection. We apply PACE to the 4 target agentic benchmarks in this paper, which yields PACE-Bench, the concrete proxy benchmark that we evaluate in the paper. Experiments across 14 models, 4 agentic benchmarks, and 19 non-agentic benchmarks show that PACE-Bench predicts agentic scores with leave-one-out cross-validation (LOOCV) mean absolute error (MAE) under 4%, Spearman correlation above 0.80, and pairwise model-ranking accuracy around 85%, all at much less than 1% of the full agentic evaluation cost. We further analyze the selected proxy instances, revealing which skills each agentic benchmark uniquely demands. PACE enables practitioners to obtain reliable estimates of agentic performance during model development, selection, and routing, without the overhead of full agent evaluation.
View arXiv page View PDF Add to collection
Get this paper in your agent:
hf papers read 2607.02032
Don't have the latest CLI? curl -LsSf https://hf.co/cli/install.sh | bash
Models citing this paper 0
No model linking this paper
Cite arxiv.org/abs/2607.02032 in a model README.md to link it from this page.
Datasets citing this paper 1
[### neulab/pace-bench
Viewer • Updated about 23 hours ago• 412 • 169 • 1](https://huggingface.co/datasets/neulab/pace-bench)
Spaces citing this paper 0
No Space linking this paper
Cite arxiv.org/abs/2607.02032 in a Space README.md to link it from this page.
Collections including this paper 5
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み