Arena Blog、エージェントタスクの分類とコスト分析機能を追加

Agent Arena の Agent モード で 170 万件以上のユーザーセッションを分析した結果、ユーザーがエージェントに任せるタスクの主要なカテゴリと、それらの完了にかかる実際のコストを特定できました。今日、私たちはモデル間の比較をより詳細に行えるよう、Agent Arena に 2 つの新機能を追加します。

• エージェントコスト: 各タスク完了にかかる費用を確認し、パフォーマンスレベルごとに最もコスト効率の高いモデルをパレートフロンティアとして表示できます。
• カテゴリ別分類: リーダーボードを「コード」「チャット」「ワーク」の 3 つのカテゴリに絞り込み、各分野でのモデルの順位を理解できます。

これら 2 つの機能により、Agent Arena は単なるランキングから、ユースケースに応じた適切な価格帯で最適なモデルを選定するためのパーソナライズされたガイドへと進化します。以下、それぞれの詳細を解説します。

エージェントコストの表現について

Agent Arena でコストを表すには、文脈に合わせた配慮が必要です。なぜなら、人々はエージェントを使って「タスク」を実行するからです。私たちは、エージェントの使用実態を正しく反映するため、主要な指標として「タスクあたりの価格」を採用しました。

この指標は、実際の Agent モードセッションでユーザーが完了させたタスクに基づいて測定されます。今回のアップデートでは、これに加えて「タスクあたりの出力トークン数」と「100 万トークンあたりのコスト」も Agent リーダーボードに追加されました。

タスクの境界線について

コストを公平に比較するためには、モデル間で共通して比較可能な作業の単位が必要です。そこで私たちは「1 つのタスク」をコスト計算の主要な単位として選びました。各タスクのコストを算出するために、エージェントモードのセッションを個別のタスク境界へと分割します。

例えば、バイオリン用の楽譜を再編成してほしいというユーザーの依頼が 1 つのタスクになります。このタスクは 4 ターンにわたって続き、ユーザーとエージェントが具体的な内容についてやり取りした後に、最終的な編曲が完成して初めて完了となります。その後、ユーザーは次のタスクへと進みます。

このようなタスクの分割により、各タスクに必要な出力トークンの数を測定することも可能になります。これによってモデルのトークン効率を評価できます。なぜなら、同じタスクを実行する際にも、モデルによって使用するトークン数が大きく異なるからです。

タスクコストの測定

「タスク」の境界が定義されたことで、実際のコスト計算に移ります。セッション内のすべてのタスクに対するコストの単純な平均値を算出すると、長時間実行されるセッションでサンプリングされたモデルが実際よりも高価に見えてしまいます。これは、長時間のセッションでは文脈情報が引き継がれることでコストが高めに歪んでしまうためです。

長いセッションほど、各ターンで処理される文脈情報が増え続けます。その結果、モデルのコスト効率に関係なく、セッションの後半にあるタスクほどコストが高くなる傾向があります。

特定のモデルはユーザーのエンゲージメントが高く、セッションが長くなり、文脈の引き継ぎも多くなる傾向があります。しかし、記憶保持能力の高い強力なモデルに対して測定コストを過大評価したくありませんし、逆に記憶保持能力の低い弱いモデルにコスト指標が報われることも避けたいと考えています。

コストを代表性のある形で測定するため、Agent Arena のセッション内では最大 3 つ目のタスクまでのコストを追跡することにしました。これにより、文脈引き継ぎに伴うコストの影響を減らし、公平な比較基準を確立しています。

パレートフロンティア

ネット改善スコアとコストの両方を考慮することで、モデルの価格対パフォーマンスのトレードオフを可視化するための要素が揃いました。新しい Agent Pareto 表示では、y 軸にネット改善スコア、x 軸にタスクあたりのコストをそれぞれ配置し、すべての Agent Arena モデルをプロットします。フロンティアは各価格帯で得られる最高レベルのネット改善を示す境界線であり、「これ以上パフォーマンスを上げたいなら追加費用が必要」というモデルを際立たせています。

コストとパフォーマンスのパレートフロンティアを確認できます。必要に応じて、タスクあたりの p25、p50、p95 のコスト別にフロンティアを表示することも可能です。

Agent Arena の実際の例で具体化すると、短いタスクとは、ユーザーが単一のイラスト作成を依頼し、1 ターンで数秒で完了するようなケースです。中程度のタスクは、ウェブサイトのフロントエンドを簡易的に構築するもので、数回のターンを経て数分程度で完了します。一方、長いタスクでは、Web ツールのモバイルアプリ版を作成し、ユーザーが数時間にわたって作業を進める中でバグ修正やビルド処理も行うようなケースが含まれます。

また、モデルの出力トークン効率をタスク単位で評価したパレートフロンティアも確認できます。これらの数値は、Agent Arena 内で実際に作業を行うモデルの実測値であり、制御された静的なベンチマークではありません。

##

カテゴリは、Agent Arena からのトレースを整理する主要な方法です。各トレースには 1 つ以上のカテゴリがタグ付けされます。実際のエージェントタスクでは、複数のドメインにまたがる応用ケースが多いためです。

カテゴリの定義においては、以下の点を重視しました：

理解しやすく、Agent Arena におけるユーザー行動の広範な部分を捉え、カテゴリ間で明確に異なるタスク意図を反映し、実用的な価値のあるエージェントタスクのセグメントを代表し、統計的に信頼できる十分なサンプル数を確保した評価指標が必要です。

カテゴリ別リーダーボードを表示すると、メインの Agent Arena と同じ評価手法が適用され、特定のトレースドメインに絞り込まれた結果が表示されます。これにより、異なる種類のエージェントタスクにおけるモデル性能を比較するための強力なツールとなっています。

私たちは分析したトレースに基づき、3 つのカテゴリを導入しました。これらは Agent Arena における 3 つの核心的なユーザー意図——「Code（コード）」「Chat（チャット）」「Work（業務）」——を網羅しています。

• Code: ユーザーがエージェントにコード作成、デバッグ、ワークフロー自動化、データ分析などを依頼したセッション
• Chat: クリエイティブライティング、学習、個人的な質問、日常の研究、メディア生成など、一般的なエージェントチャットユースケース
• Work: 文書作成、専門的な調査、計画策定、プロフェッショナルな文章作成など、オフィス業務で典型的に見られるタスクを含むセッション

170 万セッション以上を対象に分析した結果、「Work」が最も多いカテゴリで、全タスクの 69.1% を占めています。一方、「Chat」と「Code」はそれぞれ約 39.0% と 38.8% でほぼ同程度のボリュームです。なお、一つのタスクが複数のカテゴリに属する場合があるため、これらの割合を合計すると 100% を超えます。

総合ランキング 1 つだけでは、各モデルが最も得意とする分野の重要な違いが見えにくくなります。カテゴリ別のリーダーボードは、主要なエージェント型 AI モデルがそれぞれどのような特定の強みを持っているかを明確に示しています。

私たちは 7 社のプロバイダーから 13 の公開モデルを選定し、カテゴリ別にランキングを可視化しました。興味深いことに、Claude Opus 5 (High) は総合で 1 位を獲得し「Work」分野でも首位ですが、「Code」では GPT 5.6 Sol (xHigh) に、「Chat」では Claude Opus 5 (Max) に抜かれ、それぞれ 1 位の座を譲っています。最も顕著な結果が見られるのは Claude Opus 4.7 (High) です。総合では 8 位ですが、「Chat」分野では一気に 3 位に浮上し、Claude Opus 5 の 2 バリアントを除くすべての最新モデルを上回ります。この傾向はリーダーボードの下部でも逆転して現れます。「Code」で健闘する DeepSeek V4 Flash や GPT 5.6 Luna などのモデルは、「Chat」では 20 位以上も順位を落としています。

これらのモデルや他のモデルがカテゴリ間でどのように比較されるか、より包括的に知りたい方は、ぜひ完全なカテゴリ別リーダーボードをご覧ください。

プロンプムの例

各カテゴリにどのようなプロンプトが含まれるかをより明確にするため、以下の例プロンプムを確認してください。

Code:

Chat:

Work:

カテゴリ別リーダーボード、コスト列、パレートビューは本日より Agent Arena で閲覧可能です。また、ブログ記事 ではランキングの算出方法についても解説しています。

今後の評価改善に貢献するため、Agent Mode を活用して投票にご参加ください。