エージェント構築ベンチマークでClaudeが首位、合格率は25%未満

記事の3ポイント

1. 1

   新ベンチマークの目的と定義

   Sierra が公開した Hyper-τ-bench は、既存のエージェントがユーザーとどう相互作用するかを測るのではなく、AI エージェント自身が別のエージェントを構築する能力を評価するために設計された。

2. 2

   テスト環境と評価基準

   シミュレーションされたビジネス資料や API を与えられた開発用エージェントは、コスト制約下でカスタマーサービスエージェントを構築し、航空券のキャンセルや手数料異議申し立てなどのタスクで正しく動作するかが検証される。

3. 3

   主要モデルの評価結果

   Claude Opus 5 (Claude Code) が 23.9% の最高スコアを獲得し、GPT-5.6 Sol (Codex) が 22% で続いたが、テストされた 6 つの構成すべてで合格率は 25% を下回った。