AI エージェント評価ベンチ「EdgeBench」分析

本チュートリアルでは、多様なタスクカテゴリ、ランタイム環境、およびインタラクション時間制約にわたって高度な AI エージェントを評価するための実践的なベンチマーク「EdgeBench」を取り上げます。

まずは Hugging Face からデータセットのスナップショットをダウンロードし、公開されたタ仕様の解析を行います。さらに、ベンチマークの分類体系、実行設定、インターネット接続の有無判定基準、採点ロジック、そしてスコアリングメタデータを詳しく確認していきます。

次に、リポジトリの README ファイルからリーダーボードデータを直接抽出し、モデル名を統一します。タスクレベルの結果を分析可能な形式に整形した上で、複数の時間制約におけるパフォーマンスを比較検討します。

最後に、対数シグモイド関数を用いたスケーリング曲線のフィッティングを行い、カテゴリ別のスコア改善度を測定します。また、最も大きな進歩が見られたタスクの具体例を検証し、SForge のリスケール関数がどのようにして生データの評価結果を正規化されたベンチマークスコアへと変換するかを解説します。

!pip -q install "huggingface_hub>=0.23" pandas numpy scipy matplotlib pyyaml

import os, glob, json, textwrap, warnings

import numpy as np, pandas as pd

import matplotlib.pyplot as plt

from scipy.optimize import curve_fit

from huggingface_hub import snapshot_download

warnings.filterwarnings("ignore")

pd.set_option("display.max_colwidth", 90)

pd.set_option("display.width", 160)

REPO_ID = "ByteDance-Seed/EdgeBench"

TIME_BUDGETS = [2, 4, 6, 8, 10, 12]

MODELS = ["Claude Opus 4.8", "GPT-5.5", "GPT-5.4", "GLM-5.1", "DS-V4-Pro"]

def banner(t):

print("\n" + "=" * 78 + f"\n {t}\n" + "=" * 78)

def canon_model(name):

n = name.lower()

if "opus" in n:

return "Claude Opus 4.8"

if "5.5" in n:

return "GPT-5.5"

if "5.4" in n:

return "GPT-5.4"

if "glm" in n:

return "GLM-5.1"

if "ds-v4" in n or "deepseek" in n:

return "DS-V4-Pro"

return name

banner("1. DOWNLOADING DATASET SNAPSHOT")

local_dir = snapshot_download(repo_id=REPO_ID, repo_type="dataset")

print("Snapshot cached at:", local_dir)

必要な Python ライブラリのインストールと解析ツールの読み込み、そしてノートブックの表示設定を完了しました。データセットのリポジトリ名や、タスクに割り当てる時間予算、評価対象となるモデルの一覧、さらに出力フォーマットを整えるためのヘルパー関数も定義しています。最後に、Hugging Face から EdgeBench データセットのスナップショット全体をダウンロードし、以降の処理で参照できるようローカルキャッシュへのパスを取得します。

Copy CodeCopiedUse a different Browser

1. タスク仕様の読み込み

タスクの定義を平坦化し、必要な情報を抽出する関数 flatten_task を定義します。この関数は、作業内容（work）と評価者（judge）の設定から、タスク ID、名前、カテゴリ、ベース画像、インターネット接続の有無、ゲームモード、作業ディレクトリ、提出回数、提出パスのリスト、パーサーの種類、スコア方向、選択基準、評価タイムアウト、再スケーリングの種類と詳細、そしてエージェントへのクエリなどを抽出して辞書形式で返します。

次に、指定されたディレクトリ内のすべての JSON ファイルを順に読み込みます。各ファイルを開いてタスク情報を取得し、リスト records に追加していきます。読み込みに失敗した場合は、エラーメッセージと共にスキップされます。最後に、取得したデータを DataFrame として整形し、タスク ID が欠落している行を削除して初期化します。

読み込まれたタ仕様の総数と、カテゴリ、ベース画像、インターネット接続の有無、再スケーリングの種類に関する主要な情報のサマリーが出力されます。

1. ベンチマークの分類体系

各カテゴリに属するタスクの数、使用されているランタイム環境（ベース画像）の分布、評価者の再スケーリング手法の種類、そしてインターネット接続やゲームモードを必要とするタスクの総数が表示されます。また、カテゴリ別のリリースされたタスク数と、ランタイム環境ごとのタスク数を示す棒グラフが描画され、視覚的にベンチマークの構成を確認できます。

3b. 1 つのタスクの詳細分析

リストの最初のタスクを例に挙げて、その ID、カテゴリ、ベース画像、評価者のパーサー設定、再スケーリングの種類と詳細情報を表示します。さらに、エージェントに対して送信されるクエリの先頭部分（800 文字まで）が整形されて出力されます。

各タスク仕様は、カテゴリ、ランタイムイメージ、インターネットアクセス権限、提出パス、ジャッジ設定、エージェントクエリを含む構造化テーブルに解析されます。ベンチマークの分類体系については、カテゴリ別、実行環境別、再スケーリング手法別、ゲームモード別のタスク数を集計して要約します。さらにこれらの分布を可視化し、代表的なタスクを 1 つ選定して、EdgeBench の評価がどのように定義されているかを検証します。

Copy CodeCopiedUse a different Browser

1. リーダーボードの分析

リーダーボードを解析するために、まずローカルディレクトリ内の README.md ファイルを読み込みます。このファイルには、各モデルのパフォーマンスデータがテーブル形式で格納されています。

読み込んだテキストからテーブルデータを抽出する関数を実装します。ここでは、アンダースコアやアスタリスクなどの特殊文字を適切に処理し、数値として解釈できるかを確認するロジックを含めています。特に、空欄やダッシュ（—, -）が含まれるセルは欠損値として扱います。

抽出されたテーブルデータから、タスク名、カテゴリ、モデル名、そして各時間予算（タイムバジェット）ごとのスコアを整理します。元の表形式のデータを、分析しやすい縦型（ロングフォーマット）に変換する処理を行います。これにより、各モデルが特定のタスクで、異なる制限時間下でどれだけのスコアを出したかが一目でわかるようになります。

変換されたデータから DataFrame を作成し、解析対象となったタスク数、モデル数、そして時間予算の組み合わせによる総セル数を出力します。これで、リーダーボードに収録されているデータの規模感を把握できます。

さらに、特定のサブセット（51 タスク）に絞った集計結果も抽出します。これは、モデル名の列と「@2h」などのラベルが含まれるテーブルを特定し、各モデルの平均スコアや主要な指標を集約するために使用されます。最終的に、この集計データが空でない場合、その内容を画面に表示して確認します。

リポジトリの README を読み込み、記載されている Markdown テーブルを構造化された Python のレコードに変換します。タスクレベルのリーダーボードからは、タスク名、カテゴリ、モデル名、インタラクション時間、スコア値を含む整理済みのデータセットを作成しました。また、51 タスクにわたる集計リーダーボードテーブルも解析し、README に記載された要約内容と、こちらで計算したタスクレベルの結果との比較を行います。

Copy CodeCopiedUse a different Browser

1. ロジスティックシグモイドの規模法則（タスク別平均に適合→堅牢性あり）

このコードは、インタラクション時間と評価スコアの関係をロジスティックシグモイド関数でモデル化し、そのフィット度を可視化する処理を行っています。まず、log_sigmoid 関数が定義され、パラメータ lo（下限）、hi（上限）、k（傾き）、t0（中心点）を用いて、対数スケールの時間 t に応じたスコアを計算します。また、r2 関数は決定係数を算出するもので、予測値と実測値の乖離度を評価するために使用されます。

次に、データ集計処理が行われます。各モデルと所要時間の組み合わせにおけるタスク別平均スコアを集約し、agg という DataFrame に格納します。この結果を出力することで、モデルごとの時間経過に伴う性能推移を確認できます。

可視化パートでは、Matplotlib を用いてグラフが描画されます。横軸に「インタラクション時間（時間）」、縦軸に「EdgeBench スコア（51 タスクの平均）」を設定し、各モデルのパフォーマンス曲線を描きます。curve_fit 関数を用いてロジスティックシグモイド曲線をデータにフィットさせ、決定係数 R² を算出して凡例に表示します。もしフィット処理が失敗した場合でも、エラーを出力して処理を継続するよう設計されています。

さらに、特定のモデル（ここではリストの先頭にあるモデル）における、2 時間から 12 時間への時間延長によるスコア向上率（uplift）をカテゴリ別に分析しています。これにより、どのタスクカテゴリで時間の投入が最も効果的かを特定できます。

最後に、最も大きな改善が見られた上位 5 つのタスクに焦点を当て、その学習曲線（時間経過に伴うスコアの変化）をプロットします。各タスクの名前を凡例に表示し、モデルごとの個別の学習挙動を詳細に比較・分析することが可能です。

これらの処理を通じて、AI エージェントが時間をかけることでどの程度性能が向上するか、またその傾向がタスクやカテゴリによってどう異なるかを定量的かつ視覚的に把握できます。

各モデルについて、インタラクション時間の予算ごとに平均スコアを算出し、得られた軌跡に対して対数シグモイドの拡張曲線を適合させます。各適合の良否は決定係数を用いて評価し、観測されたスコアと適合曲線の両方を可視化します。その後、カテゴリレベルでのスコア向上量を測定し、より長いインタラクション時間によって最も恩恵を受ける個々のタスクをプロットします。

1. SForge スコアリングの「リスケール」関数

まず、線形リスケールを行う関数 rescale_linear を定義します。この関数は、入力値を指定された下限と上限の間でクリップし、0 から 100 の範囲にスケーリングして返します。

次に、「linear（線形）」および「piecewise_max（区間最大）」の各リスケール種別について処理を行います。対象となるデータフレームから該当する行を抽出し、もし空の場合はスキップします。取得した最初の行からタスク ID とパラメータ情報を表示します。

リスケール種別が「linear」で、かつパラメータに下限（lower）と上限（upper）が含まれている場合、その範囲の端点と中央値に対して変換後のスコアを計算・出力します。一方、それ以外の場合は、ベースライン、上位 30% のランク、最上位ランク、スーパーアンカーという 4 つの基準点を定義し、それぞれが 0.0、70.0、99.0、100.0 にマッピングされるよう線形補間（np.interp）を用いて計算結果を表示します。

処理完了後、「DONE」と表示し、SForge の 2 コンテナ型ハーンネスを実行して本格的な評価を行うための URL を出力します。詳細は GitHub リポジトリおよび公式ドキュメントをご確認ください。

https://github.com/ByteDance-Seed/EdgeBench | https://bytedance-seed.github.io/EdgeBench/

SForge の採点システムで使用されているスコア再スケーリング設定を確認し、線形正規化の計算式を実装しました。これにより、線形設定と分割線形設定の両方において、生得られたスコアがどのようにベンチマーク用の正規化スコアに変換されるかを具体的に示しています。最後に、完全な評価を実行するために必要な公式の EdgeBench および SForge のリソースを出力してチュートリアルを終了します。

結論として、EdgeBench の構造と報告された結果を理解するための包括的な分析ワークフローを構築しました。単にリーダーボードを見るだけでなく、タスク仕様、ランタイム設定、採点ルール、モデルの性能、そしてインタラクション時間のスケーリングを一つの再現可能な Colab パイプラインで結びつけることで、より深い洞察を得られるようにしました。また、追加のインタラクション時間がどの程度で最大の性能向上をもたらすかを特定し、異なるモデルが公開されたベンチマークタスク上でどのようにスケールするかを可視化しました。これは、EdgeBench の結果を解釈し、エージェントの能力を比較し、完全な SForge 実行ハーネスを用いたより深い評価に備えるための、技術的に裏付けられた基盤を提供するものです。

「Research-Grade EdgeBench Analysis: AI Agent Benchmarking, Leaderboard Analytics, Scaling Laws, and Evaluation Metrics」は、MarkTechPost で最初に公開されました。

この分析では、AI エージェントのベンチマーク評価やリーダーボードの解析、スケーリング則、そして評価指標について詳しく解説します。EdgeBench は、最新の AI エージェント技術が実際にどの程度機能するかを測定するための重要な枠組みを提供しています。

研究者や開発者は、これらの指標を通じて自らのモデルのパフォーマンスを客観的に比較し、改善点を見出すことができます。特にスケーリング則の理解は、リソース配分や将来の技術ロードマップ策定において不可欠です。

評価基準の透明性と再現性を高めることで、AI エージェント分野全体の発展を加速させることが期待されています。今後のアップデートでも、新たなベンチマーク手法やデータセットの追加が予定されています。