エージェント構築エージェント評価ベンチ「Hyper-τ-bench」発表

Hyper-τ-bench の評価枠組み

このベンチマークは開発者エージェントをサンドボックス環境に配置し、模擬事業の記録とクライアントとの対話を通じて、仕様書の復元からアーキテクチャ設計、ツール化まで一連のプロセスを経験させる。

単独実行時の性能限界

Claude Code で動作する Claude Opus 5（最大推論モード）が単独でタスクを遂行した場合、保持された評価タスクの 23.9% しか通過できないことが確認されている。

人間との連携による劇的改善

深い文脈を持つエンジニアとペアになることで、同じクラスのモデルは同一タスクにおいて 82.2% の成功率を達成し、人間との協働が性能に決定的な影響を与えることが示された。

コスト制約下での実用性

完成したエージェントは固定されたモデルメニューから選択し、会話ごとのコスト予算内で動作することが求められ、現実的な運用条件が評価基準に含まれている。