オープンエージェントリーダーボードの発表
Hugging Face が IBM Research と共同で、汎用 AI エージェントの能力を測定・比較するためのオープンな評価フレームワーク「Open Agent Leaderboard」を発表した。
キーポイント
汎用エージェントの評価課題への対応
既存のベンチマークが特定のタスクに特化している現状に対し、AI エージェントの「一般性（generality）」を包括的に測定する必要性が提起された。
オープンな評価フレームワークの構築
透明性と再現性を重視し、コミュニティが検証・拡張可能なオープンソースの評価枠組みを構築したと発表されている。
初期学習と今後の展望
公開直後のデータから得られる知見や、コミュニティからのフィードバックを歓迎する姿勢を示し、継続的な改善を目指す方針が示された。
影響分析・編集コメントを表示
影響分析
この発表は、AI エージェント分野において「どのモデルが最も汎用的か」を客観的に比較できる共通言語を提供する画期的な一歩です。業界全体でベンチマークの標準化が進むことで、開発者の選定基準が明確になり、より実社会での活用が見込める信頼性の高いエージェントの開発が加速すると予想されます。
編集コメント
エージェント技術が実用化段階に差し掛かる中、その能力を公平かつ包括的に測る指標の確立は業界にとって待望のニュースです。特に「一般性」への焦点は、単なるタスク達成率を超えた真の知能評価へとパラダイムシフトさせる重要な転換点と言えます。
- 一般性（generality）を測定することは可能か？
- 私たちが構築したもの
- リーダーボードの読み方
- すでに学んでいること
- 今日公開される内容
- コミュニティに求めるもの
- 次のステップ
- クロージング
- 関連する記事
汎用 AI エージェント（AI agents）はどれほど優秀なのか？その答えを見つけるために、私たちはオープンな評価フレームワークを構築しました。
AI におけるほとんどの評価では、単に「各モデルがどのベンチマークタスクで何点を得たか」という単純な結果が報告されます。しかし、エージェント（agent）を実際にデプロイする際、あなたは単にモデルを選ぶだけではありません。ツールをどのように利用可能にするか、ステップをどのように計画するか、アクションの間に何を記憶し続けるか、何が起きたときにどう回復するかといった、フルシステム全体を選択することになります。これらいずれかを変更すれば、同じモデルであっても非常に異なる結果を生み出し、コストも大きく変動します。
**
AI エージェントの性能は、その内部にあるモデルだけでなく、どのように構築されているかに依存します。
本日、私たちは「Open Agent Leaderboard（オープンエージェントリーダーボード）」をローンチしました。これは、単に内部のモデルを比較するのではなく、フルなエージェントシステム全体を比較するためのオープンなベンチマークです。品質とコストの両方を報告するため、何が機能するかだけでなく、実際にデプロイする価値があるかがわかります。
このリーダーボードは、評価を実行し再現するための「Exgentic フレームワーク」と、完全な手法と結果を記述した論文とセットになっています。すべてが初日からオープンです。
一般性（generality）を測定することは可能か？
AI エージェントは、慣れ親しんだリポジトリでのコーディングや、既知のツールセットを用いたカスタマーサービス対応など、特定の業務に慎重に調整された場合に非常に有用になります。しかし、より難しい問いは、同じエージェントがそれぞれ独自のツール、ルール、制約を持つ多数の異なる業務を、それぞれに対して手動でカスタマイズすることなく処理できるかどうかです。
より汎用的なエージェントとは、新しい環境に投入するだけで、そのまま機能するものを指します。
これが私たちが意味する「汎用性」であり、これは二値的なラベルではなく、スペクトラムとして理解するのが最も適切です。もちろん、理論上のみで機能する汎用性は有用ではありません。重要なのは、業務や環境の範囲が広がるにつれてエージェントがその能力を維持できるかどうか、そしてそれを合理的なコストで実現できるかどうかです。あらゆるタスクを処理できても実行に莫大な費用がかかるシステムは、実質的な意味での汎用性を持ちません。
このリーダーボードはまさにそれを測定するものです：あなたのエージェントは実際にどれほど汎用的なのか。
これは、異なるツール、ルール、制約を持つ多様で未知の環境においてエージェントを評価し、品質とコストの両方を報告します。これにより、システムがどの程度よく機能するかだけでなく、実際に導入する価値があるかどうかを確認できます。このリーダーボードは、将来的に汎用的なエージェントが必要とするすべての機能を網羅しているわけではありません。しかし、これが以前から利用可能だったものよりも、異なる状況においてエージェントがどのように機能するかをより強力にテストするものです。また、測定対象をモデルのみならず、完全なエージェントシステムとして扱うことで、結果を駆動している実際の要因を可視化します。
私たちが構築したもの
私たちは6つのベンチマークを構築しました。それぞれが異なる種類の現実的なタスクを検証するものです。これらを組み合わせることで、コーディング、カスタマーサービス、技術サポート、パーソナルアシスタント、研究といった幅広い作業環境を網羅することを目指しています。
- SWE-Bench Verified -- 実際のコードリポジトリにある本物のバグの修正
- BrowseComp+ -- ウェブ全体にわたる複雑な質問への調査
- AppWorld -- 数百ものアプリとアクションを跨ぐパーソナルタスクの完了
- tau2-Bench Airline & Retail -- 企業ポリシーに従ったカスタマーサービス
- tau2-Bench Telecom -- 企業ポリシーに従った技術サポート
それぞれは研究コミュニティによって作成・レビューされた確立されたベンチマークです。単一のベンチマークが一般的なエージェント能力を捉えているから選ばれたのではありません。選ばれた理由は、これらを組み合わせることで、実際のコード変更、オープンエンドな調査、広範なアクション空間、ルールに縛られた対話など、非常に異なる要素を検証できるからです。この組み合わせこそが、評価を有意義にするものです。
これらのベンチマークはそれぞれ、ある特定の種類のタスクを、ある特定の方法でテストするように設計されています。それらを連携させるためには、共通の構造を与える必要がありました。私たちはすべてのベンチマークに同じ形状を与える統一プロトコルを導入しました：タスク（何をすべきか）、コンテキスト（何を知る必要があるか）、そして一連のアクション（何が許可されているか）です。
各エージェントがそれぞれのベンチマークの言語を話すのではなく、すべてが一つの共通言語を話すようにしたのです。
この標準化は簡単ではありません。各ベンチマークには独自の前提、指示、相互作用パターンが付随しています。これらの要素が異なるエージェントの内部動作と衝突しないようにするには、両側に対する深い理解が必要です。これがこの作業に時間がかかった理由の一つであり、個々のベンチマークリーダーボードで見られる結果と異なる可能性がある理由の一つでもあります。しかし、その対価は確かにあります：ベンチマークは元の設計を維持し、エージェントはネイティブのツールとインターフェースを保持したまま、プロトコルがそれらを接続するための共通の方法を提供します。
リーダーボードの見方
各行は完全なエージェントシステムを表しています。これは特定のモデルに特定のエージェントを組み合わせたものであり、6 つのすべてのベンチマークで評価されています。各構成については、平均成功率、タスクあたりの平均コスト、およびベンチマークごとの内訳が表示されます。
現在の上位 5 位がどのようなものか見てみましょう：
上位 3 つに注目してください。すべて同じモデルを使用していますが、そのモデルを囲むエージェントシステムが異なるため、スコアとコストの両方で違いが生じています。
同じモデル、異なるエージェント、異なる結果——エージェント自体が重要なのです。
コストの差も非常に顕著です。上位 5 位の中で最も効率的な構成は、最も強力な構成の価格の数分の一で実行されています。品質とコストに基づいてすべての構成をプロットすると、全体像が明確になります：
エージェントの実装がモデルとともに可視化されている場合、結果を駆動している要因を解きほぐし始めることができます。どの成果がモデル由来で、どの成果がエージェント設計によるものか、そしてどのコンポーネントが設定を超えて一般化できるのかです。このリーダーボードはまさにそのために構築されています。
結果に関する注記：ここに掲載のエージェントは、ベンチマーク固有のチューニングを施さず、またモデル開発者が個々のベンチマークに対してしばしば適用するプロンプトや環境最適化を行わないまま、汎用システムとしてテストされます。そのためスコアには差異が生じる可能性があります。詳細については論文をご覧ください。
すでに学んでいること
ある発見は私たちを驚かせました：汎用エージェントはすでに専門的なエージェントと競合できるレベルにあります。いくつかのケースでは、ベンチマーク固有のチューニングを行っていないエージェントが、そのタスクのために直接構築されたシステムと同等の性能を発揮しました。
ほとんどのベンチマークにおいて、汎用エージェントは最高の専門システムに匹敵し、場合によってはそれを上回ります。単一のエージェントが、準備された特定の環境だけでなく、多様な種類の作業を処理できるようになりつつあります。
結果からは、成功率だけでは見えない重要な事実も浮かび上がります：エージェントは失敗の仕方に劇的な違いがあります。あるものは素早く安価に失敗し、別のものは諦めるまでに長く高コストな実行を続けます。私たちの実験では、失敗した実行は成功した実行よりも 20--54% 多く費用がかかりました。生産環境でエージェントを実行するすべての人にとって、失敗時の振る舞いは成功時と同様に請求額に大きな影響を与えます。
おそらく最も重要な発見は、結果を駆動する要因についてのものである。モデルの選択はまだ支配的な要因である。しかし、エージェントアーキテクチャもすでに目に見える違いを生み出している。ツールの短縮リスト化により、エージェントが関連するツールに焦点を絞り、すべてを検索するのではなく済むようになり、テストしたすべてのモデルでパフォーマンスが向上し、それまで失敗していた構成が実行可能なものへと転換された。
今日では結果の大部分はモデルによって説明される。しかし、その周囲のエージェントもすでに結果を変え始めており、変化の兆候が見られる。
完全な手法と実証分析については、一般エージェント評価に関する論文で詳述されている。
今日公開されるもの
このリーダーボードの背後にあるすべてはオープンである。今日、私たちは以下のものをリリースする：
- オープンエージェントリーダーボード -- 結果を直接探索できる
- Exgentic -- 自分で評価を実行・再現できる
- 論文 -- 完全な手法と実証分析
これはコミュニティのために構築したものである。探索し、自分の結果を投稿し、エージェント評価をよりオープンで、すべての人にとってより有用なものにするために協力してほしい。
コミュニティに求めること
一般エージェントは、クローズドな環境で評価されるにはあまりにも重要である。
汎用エージェントは、計画、記憶、ツール使用、コンテキスト管理、エラー回復といったモジュール型システムです。上記の結果は、これらのコンポーネントがコスト、信頼性、パフォーマンスの間で現実的なトレードオフを生み出していることを示しています。ある一つのコンポーネントが主要な役割を担っている場合、コミュニティはその事実を確認できるべきです。
私たちは、この種のオープン評価を実践可能にするために Exgentic を構築しました。これは、クロス環境ベンチマークセッションをオーケストレーションし、標準化された結果、軌跡（trajectories）、およびコストレポートを生成するオープンプラットフォームです。しかし、これ単独で実現することはできません。
エージェント開発者は、変更のバージョン管理を行い、内部構造を文書化し、コンポーネントを構成可能にすることで、自らのシステムをオープンにできます。ベンチマーク作成者は、評価対象とする設定範囲の拡大に貢献できます。そして誰でも、私たちの結果を再現したり、それに対して異議を唱えたり、見落とした点を見つけ出すことができます。
これらすべてがすぐに容易になるわけではありません。多くのベンチマークは汎用エージェントを意識して設計されたものではなく、慎重な適応が必要です。これは進化し続けるプロジェクトであり、何をより簡単にすべきかというフィードバックは、完成した貢献と同様に歓迎されます。
次のステップ
ローンチ以来、2 つのオープンウェイトモデル（DeepSeek V3.2 および Kimi K2.5）を追加し、リーダーボードを 5 つのエージェントと 6 つのベンチマークにわたる 5 つのモデルへと拡大しました。オープンウェイトの結果は明確な物語を語っています：特定の組み合わせでは競合可能ですが、平均して最先端のクローズドソースモデルには 18〜29 ポイント遅れています。詳細は オープンウェイト深掘り をお読みください。
リーダーボードの有用性は、それを支えるコミュニティ次第です。私たちは3 つの軸にわたる貢献を求めています：新しいエージェント（Exgentic プロトコルでエージェントをラップして結果を送信）、新しいベンチマーク（プログラム評価子を備えた任意のタスクスイートは統合可能）、そして新しいモデル（特にまだカバーしていないオープンウェイトモデル）。結果データセット で PR を開くことで結果を送信してください。
結び
汎用エージェントには、実際に測定されているものを反映した評価が必要です：モデルそのものではなく、システム全体です。
The Open Agent Leaderboard は出発点に過ぎません。私たちはこれがより大きなものになる可能性を信じています：コミュニティがオープンエージェントシステムをどのように評価し、比較し、改善するかについての共有標準としてです。
リーダーボードを探索する。論文を読む。Exgentic を試す。そして、この方向性が共感を呼ぶなら、一緒に作り上げてください。
汎用エージェントは仕事のやり方を変えつつあります。これらをオープンに研究し、議論しましょう。
関連記事
- General Agent Evaluation -- ICLR 2026 Workshop Paper
- Ready For General Agents? Let's test it. -- ICLR 2026 Blog Post
- Position: Agentic Systems Should be General -- ICLR 2026 Workshop Paper
原文を表示
- Can we measure generality?
- What we built
- How to read the leaderboard
- What we're already learning
- What's public today
- What we want from the community
- What's next
- Closing
- Related reading
How good are general purpose AI agents? We built an open evaluation framework to find out.
Most evaluations in AI report a simple result: what score each model got on which benchmarking task. When you deploy an agent, you're not just choosing a model. You're choosing a full system: what tools the agent can use, how it plans its steps, what it remembers between actions, how it recovers when something goes wrong. Change any of those and the same model can produce very different results at very different costs.
How well an AI agent works depends on how it's built, not just the model inside it.
Today we're launching the Open Agent Leaderboard, an open benchmark for comparing full agent systems, not just the models inside them. It reports both quality and cost, so you can see not just what works, but what's worth deploying.
The leaderboard is paired with the Exgentic framework for running and reproducing evaluations, and a paper describing the full methodology and results. Everything is open from day one.
Can we measure generality?
AI agents are getting really useful when carefully tailored to a specific job, like coding in a familiar repository or handling customer service with a known set of tools. But the harder question is whether the same agent can handle many different jobs, each with its own tools, rules, and constraints, without being manually customized for each one.
A more general agent is one you can drop into a new setting and have it just work.
That's what we mean by generality, and it's best understood as a spectrum, not a binary label. Of course, generality that only works in theory isn't useful. What matters is whether an agent stays capable as the range of jobs and settings grows, and whether it does so at a reasonable cost. A system that handles everything but costs a fortune to run isn't general in any way that matters.
This leaderboard measures exactly that: how general your agent actually is.
It evaluates agents across diverse, unfamiliar settings, each with different tools, rules, and constraints, and reports both quality and cost. So you can see not just how well a system performs, but whether it's worth actually deploying. It doesn't cover every capability a general agent will eventually need. But it's a much stronger test of how well agents work across different situations than anything previously available. And by treating the full agent system, not just the model, as the thing being measured, it makes visible what's actually driving the results.
What we built
We assembled six benchmarks, each testing a different kind of realistic task. Together they aim to capture a broad range of working settings: coding, customer service, technical support, personal assistance, and research.
- SWE-Bench Verified -- fixing real bugs in real code repositories
- BrowseComp+ -- researching complex questions across the web
- AppWorld -- completing personal tasks across hundreds of apps and actions
- tau2-Bench Airline & Retail -- customer service following company policies
- tau2-Bench Telecom -- technical support following company policies
Each is an established benchmark, created and reviewed by the research community. They weren't chosen because any single one captures general agency. They were chosen because together they test very different things: real code changes, open-ended research, broad action spaces, rule-bound conversations. That mix is what makes the evaluation meaningful.
These benchmarks were each designed to test one kind of task in one kind of way. Making them work together meant giving them a shared structure. We introduced a unified protocol that gives every benchmark the same shape: a task (what to do), a context (what to know), and a set of actions (what's allowed).
Instead of each agent speaking each benchmark's language, they all speak one.
This standardization isn't trivial. Each benchmark comes with its own assumptions, instructions, and interaction patterns. Making sure these don't clash with how different agents work internally requires deep understanding of both sides. It's one of the reasons this work took time, and one of the reasons results may differ from what you see on individual benchmark leaderboards. But the payoff is real: the benchmarks keep their original design, the agents keep their native tools and interfaces, and the protocol gives them a common way to connect.
How to read the leaderboard
Each row is a full agent system: a specific agent paired with a specific model, evaluated across all six benchmarks. For every configuration, you see the average success rate, the average cost per task, and per-benchmark breakdowns.
Here's what the current top five looks like:
Look at the top three. All use the same model. Yet they differ in both score and cost because the agent systems wrapped around that model are different.
Same model, different agents, different results -- the agent matters.
The cost gap is just as striking. The most efficient configuration in the top five runs at a fraction of the price of the strongest one. The full picture becomes clear when you plot every configuration by quality and cost:
When the agent implementation is visible alongside the model, you can start to untangle what's driving the results: which gains came from the model, which from the agent design, and which components generalize across settings. That's what this leaderboard is built to show.
A note on results: agents here are tested as general-purpose systems without benchmark-specific tuning, and without the prompt and environment optimizations that model developers often apply to individual benchmarks. So scores may differ. See the paper for details.
What we're already learning
One finding surprised us: general-purpose agents are already competitive with specialized ones. In several cases, agents with no benchmark-specific tuning matched systems built directly for those tasks.
Across most benchmarks, general agents match or even outperform the best specialized systems. A single agent can increasingly handle many kinds of work, not just the one environment it was prepared for.
The results also reveal something you can't see from success rates alone: agents differ dramatically in how they fail. Some fail fast and cheap. Others burn through long, expensive runs before giving up. In our experiments, failed runs cost 20--54% more than successful ones. For anyone running agents in production, failure behavior shapes your bill just as much as success does.
Perhaps the most important finding is about what drives the results. Model choice is still the dominant factor. But agent architecture is already making a visible difference. Tool shortlisting, helping the agent focus on relevant tools instead of searching through everything, improved performance across every model we tested and turned otherwise failing configurations into viable ones.
Today the model explains most of the results. But the agent around it is already starting to change the outcome.
The full methodology and empirical analysis are described in our paper on general agent evaluation.
What's public today
Everything behind this leaderboard is open. Today we're releasing:
- The Open Agent Leaderboard -- explore the results directly
- Exgentic -- run and reproduce evaluations yourself
- The paper -- full methodology and empirical analysis
We built this for the community. Explore, submit your own results, and help us make agent evaluation more open and more useful for everyone.
What we want from the community
General agents are too important to be evaluated behind closed doors.
General agents are modular systems: planning, memory, tool use, context management, error recovery. The results above show that these components make real tradeoffs across cost, reliability, and performance. If one component is doing the heavy lifting, the community should be able to see that.
We built Exgentic to make this kind of open evaluation practical: an open platform that orchestrates cross-environment benchmark sessions and produces standardized results, trajectories, and cost reports. But we can't build this alone.
Agent developers can open up their systems by versioning changes, documenting what's inside, and making components configurable. Benchmark creators can help expand the range of settings we evaluate against. And anyone can reproduce our results, challenge them, and find what we missed.
Not all of this is easy yet. Most benchmarks weren't designed with general-purpose agents in mind and require careful adaptation. This is an evolving project, and feedback on what needs to be easier is just as welcome as a finished contribution.
What's next
Since launch we've added two open-weight models, DeepSeek V3.2 and Kimi K2.5, bringing the leaderboard to five models across five agents and six benchmarks. The open-weight results tell a clear story: competitive on specific combinations, but trailing frontier closed-source models by 18--29 percentage points on average. Read more in our open-weight deep-dive.
The leaderboard is only as useful as the community that feeds it. We're looking for contributions across three axes: new agents (wrap your agent in the Exgentic protocol and submit results), new benchmarks (any task suite with a programmatic evaluator can be integrated), and new models (especially open-weight models we haven't covered yet). Submit results by opening a PR on the results dataset.
Closing
General-purpose agents deserve evaluation that reflects what's actually being measured: the full system, not just the model.
The Open Agent Leaderboard is a starting point. We believe it can become something bigger: a shared standard for how the community evaluates, compares, and improves open agent systems.
Explore the leaderboard. Read the paper. Try Exgentic. And if this direction resonates, help us build it.
General agents are reshaping the way work is done. Let's research and discuss them openly.
Related reading
- General Agent Evaluation -- ICLR 2026 Workshop Paper
- Ready For General Agents? Let's test it. -- ICLR 2026 Blog Post
- Position: Agentic Systems Should be General -- ICLR 2026 Workshop Paper
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み