エージェント構築エージェント評価ベンチ「Hyper-τ-bench」発表

記事の3ポイント

1. 1

   Hyper-τ-bench の評価枠組み

   このベンチマークは開発者エージェントをサンドボックス環境に配置し、模擬事業の記録とクライアントとの対話を通じて、仕様書の復元からアーキテクチャ設計、ツール化まで一連のプロセスを経験させる。

2. 2

   単独実行時の性能限界

   Claude Code で動作する Claude Opus 5（最大推論モード）が単独でタスクを遂行した場合、保持された評価タスクの 23.9% しか通過できないことが確認されている。

3. 3

   人間との連携による劇的改善

   深い文脈を持つエンジニアとペアになることで、同じクラスのモデルは同一タスクにおいて 82.2% の成功率を達成し、人間との協働が性能に決定的な影響を与えることが示された。