The Open Agent Leaderboard｜オープンエージェントリーダーボードの発表

[記事一覧に戻る](https://huggingface.co/blog) - 一般性（generality）を測定することは可能か？ - 私たちが構築したもの - リーダーボードの読み方 - すでに学んでいること - 今日公開される内容 - コミュニティに求めるもの - 次のステップ - クロージング - 関連する記事 汎用 AI エージェント（AI agents）はどれほど優秀なのか？その答えを見つけるために、私たちはオープンな評価フレームワークを構築しました。 AI におけるほとんどの評価では、単に「各モデルがどのベンチマークタスクで何点を得たか」という単純な結果が報告されます。しかし、エージェント（agent）を実際にデプロイする際、あなたは単にモデルを選ぶだけではありません。ツールをどのように利用可能にするか、ステップをどのように計画するか、アクションの間に何を記憶し続けるか、何が起きたときにどう回復するかといった、フルシステム全体を選択することになります。これらいずれかを変更すれば、同じモデルであっても非常に異なる結果を生み出し、コストも大きく変動します。 ** AI エージェントの性能は、その内部にあるモデルだけでなく、どのように構築されているかに依存します。 本日、私たちは「Open Agent Leaderboard（オープンエージェントリーダーボード）」をローンチしました。これは、単に内部のモデルを比較するのではなく、フルなエージェントシステム全体を比較するためのオープンなベンチマークです。品質とコストの両方を報告するため、何が機能するかだけでなく、実際にデプロイする価値があるかがわかります。 このリーダーボードは、評価を実行し再現するための「Exgentic フレームワーク」と、完全な手法と結果を記述した論文とセットになっています。すべてが初日からオープンです。 ## 一般性（generality）を測定することは可能か？ AI エージェントは、慣れ親しんだリポジトリでのコーディングや、既知のツールセットを用いたカスタマーサービス対応など、特定の業務に慎重に調整された場合に非常に有用になります。しかし、より難しい問いは、同じエージェントがそれぞれ独自のツール、ルール、制約を持つ多数の異なる業務を、それぞれに対して手動でカスタマイズすることなく処理できるかどうかです。 より汎用的なエージェントとは、新しい環境に投入するだけで、そのまま機能するものを指します。 これが私たちが意味する「汎用性」であり、これは二値的なラベルではなく、スペクトラムとして理解するのが最も適切です。もちろん、理論上のみで機能する汎用性は有用ではありません。重要なのは、業務や環境の範囲が広がるにつれてエージェントがその能力を維持できるかどうか、そしてそれを合理的なコストで実現できるかどうかです。あらゆるタスクを処理できても実行に莫大な費用がかかるシステムは、実質的な意味での汎用性を持ちません。 このリーダーボードはまさにそれを測定するものです：あなたのエージェントは実際にどれほど汎用的なのか。 これは、異なるツール、ルール、制約を持つ多様で未知の環境においてエージェントを評価し、品質とコストの両方を報告します。これにより、システムがどの程度よく機能するかだけでなく、実際に導入する価値があるかどうかを確認できます。このリーダーボードは、将来的に汎用的なエージェントが必要とするすべての機能を網羅しているわけではありません。しかし、これが以前から利用可能だったものよりも、異なる状況においてエージェントがどのように機能するかをより強力にテストするものです。また、測定対象をモデルのみならず、完全なエージェントシステムとして扱うことで、結果を駆動している実際の要因を可視化します。 ## 私たちが構築したもの 私たちは6つのベンチマークを構築しました。それぞれが異なる種類の現実的なタスクを検証するものです。これらを組み合わせることで、コーディング、カスタマーサービス、技術サポート、パーソナルアシスタント、研究といった幅広い作業環境を網羅することを目指しています。 - SWE-Bench Verified -- 実際のコードリポジトリにある本物のバグの修正 - BrowseComp+ -- ウェブ全体にわたる複雑な質問への調査 - AppWorld -- 数百ものアプリとアクションを跨ぐパーソナルタスクの完了 - tau2-Bench Airline & Retail -- 企業ポリシーに従ったカスタマーサービス - tau2-Bench Telecom -- 企業ポリシーに従った技術サポート それぞれは研究コミュニティによって作成・レビューされた確立されたベンチマークです。単一のベンチマークが一般的なエージェント能力を捉えているから選ばれたのではありません。選ばれた理由は、これらを組み合わせることで、実際のコード変更、オープンエンドな調査、広範なアクション空間、ルールに縛られた対話など、非常に異なる要素を検証できるからです。この組み合わせこそが、評価を有意義にするものです。 これらのベンチマークはそれぞれ、ある特定の種類のタスクを、ある特定の方法でテストするように設計されています。それらを連携させるためには、共通の構造を与える必要がありました。私たちはすべてのベンチマークに同じ形状を与える統一プロトコルを導入しました：タスク（何をすべきか）、コンテキスト（何を知る必要があるか）、そして一連のアクション（何が許可されているか）です。 各エージェントがそれぞれのベンチマークの言語を話すのではなく、すべてが一つの共通言語を話すようにしたのです。 この標準化は簡単ではありません。各ベンチマークには独自の前提、指示、相互作用パターンが付随しています。これらの要素が異なるエージェントの内部動作と衝突しないようにするには、両側に対する深い理解が必要です。これがこの作業に時間がかかった理由の一つであり、個々のベンチマークリーダーボードで見られる結果と異なる可能性がある理由の一つでもあります。しかし、その対価は確かにあります：ベンチマークは元の設計を維持し、エージェントはネイティブのツールとインターフェースを保持したまま、プロトコルがそれらを接続するための共通の方法を提供します。 ## リーダーボードの見方 各行は完全なエージェントシステムを表しています。これは特定のモデルに特定のエージェントを組み合わせたものであり、6 つのすべてのベンチマークで評価されています。各構成については、平均成功率、タスクあたりの平均コスト、およびベンチマークごとの内訳が表示されます。 現在の上位 5 位がどのようなものか見てみましょう： 上位 3 つに注目してください。すべて同じモデルを使用していますが、そのモデルを囲むエージェントシステムが異なるため、スコアとコストの両方で違いが生じています。 同じモデル、異なるエージェント、異なる結果——エージェント自体が重要なのです。 コストの差も非常に顕著です。上位 5 位の中で最も効率的な構成は、最も強力な構成の価格の数分の一で実行されています。品質とコストに基づいてすべての構成をプロットすると、全体像が明確になります： エージェントの実装がモデルとともに可視化されている場合、結果を駆動している要因を解きほぐし始めることができます。どの成果がモデル由来で、どの成果がエージェント設計によるものか、そしてどのコンポーネントが設定を超えて一般化できるのかです。このリーダーボードはまさにそのために構築されています。 結果に関する注記：ここに掲載のエージェントは、ベンチマーク固有のチューニングを施さず、またモデル開発者が個々のベンチマークに対してしばしば適用するプロンプトや環境最適化を行わないまま、汎用システムとしてテストされます。そのためスコアには差異が生じる可能性があります。詳細については論文をご覧ください。 ## すでに学んでいること ある発見は私たちを驚かせました：汎用エージェントはすでに専門的なエージェントと競合できるレベルにあります。いくつかのケースでは、ベンチマーク固有のチューニングを行っていないエージェントが、そのタスクのために直接構築されたシステムと同等の性能を発揮しました。 ほとんどのベンチマークにおいて、汎用エージェントは最高の専門システムに匹敵し、場合によってはそれを上回ります。単一のエージェントが、準備された特定の環境だけでなく、多様な種類の作業を処理できるようになりつつあります。 結果からは、成功率だけでは見えない重要な事実も浮かび上がります：エージェントは失敗の仕方に劇的な違いがあります。あるものは素早く安価に失敗し、別のものは諦めるまでに長く高コストな実行を続けます。私たちの実験では、失敗した実行は成功した実行よりも 20--54% 多く費用がかかりました。生産環境でエージェントを実行するすべての人にとって、失敗時の振る舞いは成功時と同様に請求額に大きな影響を与えます。 おそらく最も重要な発見は、結果を駆動する要因についてのものである。モデルの選択はまだ支配的な要因である。しかし、エージェントアーキテクチャもすでに目に見える違いを生み出している。ツールの短縮リスト化により、エージェントが関連するツールに焦点を絞り、すべてを検索するのではなく済むようになり、テストしたすべてのモデルでパフォーマンスが向上し、それまで失敗していた構成が実行可能なものへと転換された。 今日では結果の大部分はモデルによって説明される。しかし、その周囲のエージェントもすでに結果を変え始めており、変化の兆候が見られる。 完全な手法と実証分析については、[一般エージェント評価に関する論文](https://arxiv.org/abs/2602.22953)で詳述されている。 ## 今日公開されるもの このリーダーボードの背後にあるすべてはオープンである。今日、私たちは以下のものをリリースする： - オープンエージェントリーダーボード -- 結果を直接探索できる - Exgentic -- 自分で評価を実行・再現できる - 論文 -- 完全な手法と実証分析 これはコミュニティのために構築したものである。探索し、[自分の結果を投稿](https://huggingface.co/datasets/open-agent-leaderboard/results)し、エージェント評価をよりオープンで、すべての人にとってより有用なものにするために協力してほしい。 ## コミュニティに求めること 一般エージェントは、クローズドな環境で評価されるにはあまりにも重要である。 汎用エージェントは、計画、記憶、ツール使用、コンテキスト管理、エラー回復といったモジュール型システムです。上記の結果は、これらのコンポーネントがコスト、信頼性、パフォーマンスの間で現実的なトレードオフを生み出していることを示しています。ある一つのコンポーネントが主要な役割を担っている場合、コミュニティはその事実を確認できるべきです。 私たちは、この種のオープン評価を実践可能にするために Exgentic を構築しました。これは、クロス環境ベンチマークセッションをオーケストレーションし、標準化された結果、軌跡（trajectories）、およびコストレポートを生成するオープンプラットフォームです。しかし、これ単独で実現することはできません。 エージェント開発者は、変更のバージョン管理を行い、内部構造を文書化し、コンポーネントを構成可能にすることで、自らのシステムをオープンにできます。ベンチマーク作成者は、評価対象とする設定範囲の拡大に貢献できます。そして誰でも、私たちの結果を再現したり、それに対して異議を唱えたり、見落とした点を見つけ出すことができます。 これらすべてがすぐに容易になるわけではありません。多くのベンチマークは汎用エージェントを意識して設計されたものではなく、慎重な適応が必要です。これは進化し続けるプロジェクトであり、何をより簡単にすべきかというフィードバックは、完成した貢献と同様に歓迎されます。 ## 次のステップ ローンチ以来、2 つのオープンウェイトモデル（DeepSeek V3.2 および Kimi K2.5）を追加し、リーダーボードを 5 つのエージェントと 6 つのベンチマークにわたる 5 つのモデルへと拡大しました。オープンウェイトの結果は明確な物語を語っています：特定の組み合わせでは競合可能ですが、平均して最先端のクローズドソースモデルには 18〜29 ポイント遅れています。詳細は [オープンウェイト深掘り](https://huggingface.co/blog/open-weight-agents/) をお読みください。 リーダーボードの有用性は、それを支えるコミュニティ次第です。私たちは3 つの軸にわたる貢献を求めています：新しいエージェント（Exgentic プロトコルでエージェントをラップして結果を送信）、新しいベンチマーク（プログラム評価子を備えた任意のタスクスイートは統合可能）、そして新しいモデル（特にまだカバーしていないオープンウェイトモデル）。[結果データセット](https://huggingface.co/datasets/open-agent-leaderboard/results) で PR を開くことで結果を送信してください。 ## 結び 汎用エージェントには、実際に測定されているものを反映した評価が必要です：モデルそのものではなく、システム全体です。 The Open Agent Leaderboard は出発点に過ぎません。私たちはこれがより大きなものになる可能性を信じています：コミュニティがオープンエージェントシステムをどのように評価し、比較し、改善するかについての共有標準としてです。 [リーダーボードを探索する](https://huggingface.co/spaces/open-agent-leaderboard/leaderboard)。[論文を読む](https://arxiv.org/abs/2602.22953)。[Exgentic を試す](https://github.com/Exgentic/exgentic)。そして、この方向性が共感を呼ぶなら、一緒に作り上げてください。 汎用エージェントは仕事のやり方を変えつつあります。これらをオープンに研究し、議論しましょう。 ## 関連記事 - General Agent Evaluation -- ICLR 2026 Workshop Paper - Ready For General Agents? Let's test it. -- ICLR 2026 Blog Post - Position: Agentic Systems Should be General -- ICLR 2026 Workshop Paper

オープンエージェントリーダーボードの発表

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト