EVA-Bench Data 2.0：3 つのドメイン、121 のツール、213 のシナリオ

記事一覧に戻る

イントロダクション

音声エージェントの失敗は、しばしば特定のドメインに限定されたものです。航空券再予約取引における英数字の確認コードを完璧に処理するシステムでも、人事システム内の複雑なポリシーを扱う際につまずくことがあります。異なるドメインは、エージェントが異なる語彙、ワークフローの複雑さ、そしてユーザーの期待に適応できる能力を試すものです。そこで今回のリリースでは、EVA-Bench は 1 つの企業ドメインから 3 つに拡大されました：航空会社カスタマーサービス管理（CSM）、エンタープライズ IT サービス管理（ITSM）、およびヘルスケア人事サービスデリバリー（HRSD）です。これら 3 つを合わせると、121 のツールにわたる 213 の評価シナリオが網羅され、これは元のリリースからのシナリオカバレッジで約 4 倍の増加となります。 すべてのシナリオは、3 つの最先端モデル（OpenAI GPT-5.4、Google Gemini 3.1 Pro、Anthropic Claude Opus 4.6）に対する解決可能性に対して検証されており、ベンチマークが挑戦的かつ公平であることを保証しています。これら 3 つのデータセットはいずれもオープンソースであり、ダウンロード可能です：

from datasets import load_dataset

エアラインカスタマーサービス管理 (CSM) — 50 シナリオ

airline = load_dataset("ServiceNow-AI/eva-bench", "airline", split="test")

エンタープライズ IT サービス管理 (ITSM) — 80 シナリオ

itsm = load_dataset("ServiceNow-AI/eva-bench", "itsm", split="test")

ヘルスケア HR サービスデリバリー (HRSD) — 83 シナリオ

hrsd = load_dataset("ServiceNow-AI/eva-bench", "medical", split="test")

EVA-Bench は複数の対象者を想定して構築されています。音声エージェントを評価する場合は、35 以上の異なるワークフローにまたがる多様な現実的なエンタープライズシナリオに対して実行できます。独自の評価データセットを構築する場合は、本記事でエンドツーエンドの生成および検証プロセスの詳細な手順を説明しており、実用的なリファレンスとして機能します。各ドメインがどのように設計・生成されたかを解説し、新たに追加された 2 つの領域について深く掘り下げていきます。また、英語圏のエンタープライズ展開に限定されないようベンチマークの範囲を広げる予定の多言語拡張版についてもプレビューします。

データ設計原則

EVA-Bench のデータセットは、3 つのドメイン全体を通じて 5 つの原則によって設計されました。

音声ファーストのスコープ。 すべてのエンタープライズワークフローが音声ベンチマークに含まれるわけではありません。まず各ドメイン内で実際に電話対応が行われているタスクを特定し、そのサブセットから最も一般的なフローを選択しました。これにより、シナリオは現実的な通話パターンに基づいたものとなりました。

リアリズム。 ツールスキーマは、本番環境のプラットフォームで使用される API の種類をモデル化して作成されました。シナリオポリシーは、実際の企業制約から抽出されています。ヘルスケア HRSD ドメインにおいては、これは NPI 番号、FMLA（家族・医療休暇法）、保険適用範囲などを含む、実際の米国ヘルスケア政策および管理システムに基づいてシナリオを構築することを意味し、ベンチマークが実務家が日常で遭遇するドメインの姿を反映するようにしています。

多様性。 単に同一タスクを繰り返すことでデータセットをスケールさせるだけでは、限定的な評価信号しか得られません。これを回避するため、各ドメインに対して特定のワークフローを定義し、3 つのシナリオタイプからサンプリングを行いました：単一の意図を持つ呼び出し、1 つの会話内で最大 4 つの意図を含むマルチ意図呼び出し、およびトラブルシューティング手順の回避、緊急性の誤分類、または権限のないレコードへのアクセスを試みる攻撃的な呼び出しです。シングル・マルチ意図シナリオ内では、ユーザーの目標が達成不可能なケースも含まれています。実際の通話ボリュームはすべて成功するパスだけではないためです。また、経験則として、モデルは成功した対話よりも達成不可能な目標に対してより困難を抱える傾向があることが分かっています。

認証。 先行研究（EVA-Bench および τ-Voice）では、認証が音声エージェントにおいて最も一貫して失敗するポイントの一つであると指摘されています。EVA-Bench のすべてのドメインには認証フローが含まれており、具体的なメカニズムはタスクに合わせて調整されています。例えば、OTP（ワンタイムパスワード）ベースの権限昇格は、実際の生産システムで必要となる場合にのみ出現し、すべてのシナリオに均一に適用されるわけではありません。

再現性。 再現可能なシナリオがなければ、スコアの差が真の能力の欠落を反映しているのか、それともシナリオの実行方法によるアーティファクトなのかを知ることは困難です。本データセットは、各シナリオに正確に一つの正しい解決パスが存在するように設計されています。ユーザー目標の構築により、シミュレーターが一貫して行動するために必要な情報と指示を常に保持することが保証され、シナリオ生成では、複数の有効なアクションシーケンスが同じ結果をもたらす可能性のあるケースを明示的にチェックし排除します。

シナリオ生成

共同生成。 シナリオは、バックボーンとして GPT-5.4 を用いたグラフベースの合成データ生成パイプラインである SyGra を使用して生成されます。各シナリオには、互いに矛盾が生じるのを防ぐために個別に生成するのではなく、一緒に生成される 3 つの相互整合性のあるコンポーネントが必要です：

ユーザー目標。 再現性のためには、ユーザーシミュレーターがシナリオを実行するたびに同じように振る舞う必要があります。意図のあいまいな記述ではこれを実現できません：シミュレーターは実行ごとに異なる判断を下し、一貫性のない評価信号を生成してしまいます。これを排除するために、ユーザー目標はシミュレーターが遭遇する可能性のあるあらゆる状況を網羅する意思決定木として構造化されます。ユーザー目標は、ユーザーが何を求めるべきかを具体的に指定するとともに、交渉シーケンスも定義します。これにより、いつ反論し、いつ代替案を求め、いつ受け入れるかが明確になります。スタンバイ便や代替空港の受諾など一般的なエッジケースについては、シミュレーターに解釈させるのではなく、明示的な指示で処理されます。解決条件には、口頭の約束ではなく、確認番号やケース ID などの完了したアクションのエビデンスが必要です。これにより、シミュレーターは実際にアクションが確認されるまで通話し続けます。その結果、即興で振る舞うのではなく、一貫性があり現実的な電話 caller のように行動するユーザーが実現されます。

初期シナリオデータベース。 シナリオ中にエージェントのツールが照会・変更するバックエンドの状態です。ユーザー目標と併せて生成され、予約 ID、アカウント詳細、認証資格情報など、ユーザー目標で言及されるすべてのエンティティがデータベースに存在し、一貫していることを保証します。

期待される最終データベース状態（正解データ）。 生成用大規模言語モデル（LLM）にエージェント指示、ユーザーの目標、および初期シナリオデータベースを入力して実行し、完全なアクショントレースを生成することで、期待される結果を導き出します。LLM が書き込みツール呼び出しを実行する際、データベースは逐次更新され、その結果として得られるターミナル状態が評価時に検証者が照合するための正解データとなります。

これら 3 つのコンポーネントは深く相互依存しているため、統合的な生成が不可欠です。個別に生成すると、ユーザー目標で参照されるケース ID がシナリオデータベースに存在しないといった目に見えない不整合が生じ、評価信号そのものを損なう恐れがあります。一貫性を確保するため、各生成試行の後に多段階検証ループを実行し、失敗した場合は生成ステップへフィードバックして、すべてのチェックが通過するまで再試行を行います。検証は以下の 3 つのステップで実施されます。

• 構造化チェックでは、Pydantic スキーマに対してシナリオデータベースを検証し、型エラーや欠落フィールドを捕捉します。

• LLM ベースのバリデータは、シナリオ全体をより包括的に一貫性を確認します：ユーザー向け目標の詳細がデータベース記録と一致しているか、相互参照が内部的に有効であるか、認証データが正しく設定されているかなどを検証します。

• LLM ベースのトレース検証では、ポリシー準拠、アクションシーケンスの正しさ、必要なターミナルアクションの完了、および非決定性をもたらす可能性のある代替書き込みパスの存在しないことを確認するために、会話トレース全体をチェックします。

さらなる検証

SyGra 生成の後、すべてのシナリオは複数回の手動レビューを経ました。レビュアーは以下の点を検証しました：(1) ポリシーがドメイン内のシナリオ間で一貫して適用されていること、(2) ユーザーの目標が正確に一つの正しい解決策を許容するほど具体的であること、(3) 期待される最終状態がユーザーの目標と初期データベースの両方と内部的に整合していること、そして (4) 敵対的シナリオが明確に識別可能なポリシー違反を含めて正しく指定されていること。曖昧または矛盾した記録は修正または破棄されました。

最終チェックとして、各シナリオのテキスト版に対して、OpenAI GPT-5.4、Google Gemini 3.1 Pro、Anthropic Claude Opus 4.6 の 3 つの最先端モデルを実行しました。これはオーディオパイプラインをバイパスし、会話トランスクリプトを直接提供する方法です。タスク完了でどのモデルもゼロ点を記録したシナリオについては、その失敗が実際のモデルのエラーなのかデータセットの問題（曖昧なポリシー、不十分なユーザー目標の指定、ツール実行器のバグ、または初期状態と期待されるデータベース状態間の不一致）によるものかを手動調査しました。データセットの問題が特定された記録は修正または削除されました。選択されたすべてのサンプルは、少なくとも一つの最先端モデルによって解決可能です。

データセットの詳細分析

私たちは、音声エージェントの異なる難易度軸をそれぞれターゲットとするよう選定された、3 つの異なるエンタープライズドメインにデータセットを作成しました。これら 3 つすべてが、音声による構造化された固有名（確認コードや従業員識別子など）の正確な転写を必要としますが、主な課題とツールの数においては異なります。

以下では、2 つの新規データセットである「エンタープライズ ITSM」と「ヘルスケア HRSD」について詳しく掘り下げていきます。

多言語サポート

英語のみでの評価は、音声エージェントが実際には他の言語でどのようにパフォーマンスを発揮するかについての洞察を限定的なものにします。音声認識の精度、転写の忠実度、会話の流暢さは、それぞれ言語固有の方法で低下する可能性があります。つまり、英語では高パフォーマンスを示す音声エージェントでも、他の言語環境で展開されると完全に失敗する恐れがあります。実践者に対して多言語展開に関する真の洞察を提供するため、私たちはより多くの言語へのサポートを追加し、会話言語だけでなく、評価パイプラインも各ターゲット言語と文化に合わせて適応させています：

• シナリオ内で言及される場所の名前

• ユーザーの名前とメールアドレス

• ローカライズされた電話番号

英語シナリオ

フランス語シナリオ

発話："Hi, I'm locked out and need help getting back into my account."

発話："Bonjour, mon compte est bloqué et j'ai besoin d'aide pour y accéder à nouveau."

場所：[ "downtown", "engineering center" ]

場所：[ "centre-ville", "centre d'ingénierie" ]

名前：{"first_name": "Marcus", "last_name": "Chen"}

名前：{"first_name": "Éric", "last_name": "Nicolas"}

メール："marcus.chen@example.com"

メール："eric.nicolas@example.com"

電話：+1-512-555-0148

電話：+33 6 19 41 27 70

これは、ユーザーシミュレーターが選択した言語で本格的な体験を提供することを可能にします。データセットを超えて、私たちは多言語にわたる信頼できる評価を構築するために、指標と審査員も更新しています。

データの入手

EVA-Bench は MIT ライセンスの下で完全にオープンソースです。データセット、評価フレームワーク、および リーダーボード はすべて一般公開されています。データセットをダウンロードし、HuggingFace データセットページ で個々のレコードを検索できます。Hugging Face datasets ライブラリを使用して、いずれも直接読み込むことができます：

from datasets import load_dataset

# 航空会社カスタマーサービス管理 (CSM) — 50 シナリオ
airline = load_dataset("ServiceNow-AI/eva-bench", "airline", split="test")
# エンタープライズ IT サービス管理 (ITSM) — 80 シナリオ
itsm = load_dataset("ServiceNow-AI/eva-bench", "itsm", split="test")
# ヘルスケア HR サービスデリバリー (HRSD) — 83 シナリオ
hrsd = load_dataset("ServiceNow-AI/eva-bench", "medical", split="test")

各レコードには、構造化されたユーザー目標、初期シナリオデータベース、および期待される最終データベース状態の正解データが含まれており、ボット間評価を完全に実行するために必要なすべての情報が揃っています。セットアップ手順、コード、貢献ガイドラインについては、GitHub リポジトリ を参照してください。

引用文献

@misc{bogavelli2026evabenchnewendtoendframework,

title={EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents},

author={Tara Bogavelli and Gabrielle Gauthier Melançon and Katrina Stankiewicz and Oluwanifemi Bamgbose and Fanny Riols and Hoang H. Nguyen and Raghav Mehndiratta and Lindsay Devon Brin and Joseph Marinier and Hari Subramani and Anil Madamala and Sridhar Krishna Nemala and Srinivas Sunkara},

year={2026},

eprint={2605.13841},

archivePrefix={arXiv},

primaryClass={cs.SD},

url={https://arxiv.org/abs/2605.13841},

}

@misc{ray2026tauvoicebenchmarkingfullduplexvoice,

title={$\tau$-Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains},

author={Soham Ray and Keshav Dhandhania and Victor Barres and Karthik Narasimhan},

year={2026},

eprint={2603.13686},

archivePrefix={arXiv},

primaryClass={cs.SD},

url={https://arxiv.org/abs/2603.13686},

}

@misc{pradhan2025sygraunifiedgraphbasedframework,

title={SyGra: A Unified Graph-Based Framework for Scalable Generation, Quality Tagging, and Management of Synthetic Data},

author={Bidyapati Pradhan and Surajit Dasgupta and Amit Kumar Saha and Omkar Anustoop and Sriram Puttagunta and Vipul Mittal and Gopal Sarda},

year={2025},

eprint={2508.15432},

archivePrefix={arXiv},

primaryClass={cs.AI},

url={https://arxiv.org/abs/2508.15432},

}