エージェントのベンチマーク：芸術と科学 — Snorkel AI のヴィンセント・チェン氏

AI エージェントの未来を形づくる「ベンチマーク」：評価ギャップを埋める芸術と科学

Snorkel AI の共同創設者であるヴィンセント・チェン氏は、現在の AI エージェント開発において最大の課題は、モデルの実力向上と実社会での信頼できる評価の間にある「評価ギャップ」だと指摘します。単なる進捗の記録に終始せず、分野を方向づけるための明確な仮説を持つ「芸術」としてのベンチマーク構築が、これからの AI 開発には不可欠です。

エージェント開発における「評価ギャップ」の現実

現在、AI エージェントはコーディング能力などにおいて劇的な進歩を遂げており、モデルカードでのスコアも上昇しています。しかし、個人や大規模企業がこれらのエージェントを実社会のハイリスク環境（医療、金融、保険など）で解放する準備が整っているかと言えば、答えは「いいえ」です。

「能力がないと言っているわけではなく、実際の実践においてこれらのエージェントを測定する私たちの能力が、実際の能力の進捗に追いついていないのです。」

この乖離こそが、業界全体が直面している最も重要な課題です。Snorkel AI では、オープンなベンチマークがこのギャップを埋めるための鍵であると確信しています。優れたベンチマークは、単に現状のスナップショット（切り取り）を取るだけでなく、「分野がどこへ向かうべきか」を定義し、ゴールポストを設定する役割を果たす必要があります。

科学的アプローチ：信頼できる評価の3 つの柱

効果的なベンチマークを構築するには、感情や直感ではなく、厳密な科学に基づいた設計が必要です。ヴィンセント氏は、以下の 3 つの要素が不可欠だと説きます。

1. タスクの質と厳格な検証

個々のタスクは、現実世界の複雑さを反映し、明確で構造化された指示を持つ必要があります。最も重要なのは、そのタスクが「専門家によって検証済み」であることです。

例えば、専門知識を問うベンチマーク「GPQA」では、単に問題が適切であるだけでなく、「他の専門家も解けるか」という観点から厳格な審査が行われました。元の著者、複数のレビューヤー、裁定者が関与する敵対的な品質管理メカニズムを導入し、修正の機会を設けることで、タスクの質を極限まで高めています。

2. 意図的な分布制御と多様性

優れたベンチマークは、ドメインや実世界のタスクに対して明確な分類体系（タクソノミー）を持ち、意図的にタスクを配分する必要があります。単にデータを集めるだけでなく、「なぜそのタスクが必要か」を設計する段階で考慮すべきです。

• 現実の反映: 実際のトラフィックフローやエージェントの動作分布を正確に再現すること。
• 稀だが重要な失敗モード: 自動運転における「歩行者」や「黄色信号」のように、頻度は低いが安全性において極めて重要かつ不均衡な影響を持つシナリオを意図的に含めること。

MMLU が 57 の学問分野にわたる野心的な分類体系を構築したように、結果として非常に考え抜かれた設計が、ベンチマークの永続性を支えます。

3. モデルの未飽和状態と余地

ベンチマークは、モデルがすでに到達している能力ではなく、「まだ解決できていない課題」や「人間にはあるがモデルにはない能力」を捉える必要があります。もしベンチマークが飽和してしまえば、そこには新しい知見も進歩も生まれません。

ARC AGI-2 や ARC AGI-3 は、その好例です。これらのベンチマークは長期間にわたり飽和することなく、モデルの能力における本当の弱点を浮き彫りにしてきました。特に ARC AGI-3 では、フロンティアモデルでも成功率が 1% に満たない状況で、人間には解ける課題が残されており、これが「大規模な推論」への研究開発を過去 18〜24 ヶ月間支配する原動力となりました。

また、評価手法自体も精度だけでなく、コスト、レイテンシ、推論トレースの品質、中間ステップ、ツール使用など、現実世界で重要な次元を網羅的に捉える必要があります。Towel Bench がユーザーシミュレータを通じて「ポリシー制約への準拠」まで評価するように、何を重視するかを明確に定義し、厳密に測定することが重要です。

芸術的側面：分野を先導する仮説とロードマップ

科学的な基盤に加え、ベンチマークには「芸術性」、つまり分野の未来を示す明確な仮説（テシス）が必要です。優れたベンチマークは、研究者や開発者を鼓舞し、新たな研究の方向性を提示します。

明確な仮説を持つこと

各ベンチマークには、「世界がどこに向かっているか」を問う明確な仮説を持つべきです。Terminal Bench は、CLI（コマンドラインインターフェース）がコーディングエージェントだけでなく、汎用コンピューティングにおけるエージェントの主要なインタフェースになるという大胆な賭けでした。この仮説は現在、Claude や Codex などの企業が CLI ベースの機能を構築していることから、正しかったことが証明されています。

ロードマップとしての機能

最も野心的なベンチマークは、新しいロードマップを作成し、研究課題に対する新たな攻撃を刺激します。SWE-Bench がその代表例です。「既存のコード能力をどのように活用するか」というシンプルなアイデアから始まり、PR（プルリクエスト）を通じた評価というアプローチで、コーディングエージェントの評価基準を根本から変えました。

これにより、「SWE-Bench Light」「Verified」「Pro」「多言語」「マルチモーダル」など、新たなベンチマークファミリーが生まれ、研究の方向性が加速されました。このように、ベンチマークは単なるテストではなく、分野全体を動かすエンジンとなるのです。

研究者 UX（ユーザー体験）への配慮

最後に見過ごされがちですが、最も重要な要素の一つに「研究者 UX」があります。優れたベンチマーク構築者は、モデルを実行する際の容易さや、新しいタスクの追加、RL（強化学習）やチューニングでのシグナル活用を考慮して設計しています。

Stanford CRFM の HELM や Terminal Bench 2.0 がそうであるように、コミュニティやコアユーザーが使いやすく、拡張しやすいインフラを提供することが、ベンチマークの普及と進化には不可欠です。これは古典的な製品原則ですが、研究者という「コアユーザー」にとっての使いやすさは、分野全体の発展を左右します。

まとめ：信頼性と実社会適合性への転換

AI エージェントの実用化において、単なる精度向上だけでなく、「信頼性」と「実社会適合性」を評価する新しいパラダイムが求められています。Snorkel AI のヴィンセント・チェン氏が提唱するように、これからのベンチマークは科学的な厳密さと芸術的なビジョンの両輪で構成されなければなりません。

開発者は、モデルのスコアを上げるだけでなく、環境の複雑さや自律性の地平、出力の多様性を捉える新しい基準を意識し、分野が向かうべき方向を示すようなベンチマーク設計へと思考を転換させる必要があります。それが、真に安全で信頼できる AI エージェントの実現への道です。