Scale Labs、エージェント評価ベンチマーク「TERMINAL-BENCH 3.0」を公開

記事の3ポイント

1. 1

   難易度の大幅な引き上げ

   既存のベンチマークがモデルによって半分程度クリアされる状態になったため、次世代 Frontier モデルでも 40% 未満しか解決できないレベルまでタスクを強化した。

2. 2

   Scale の大規模な貢献

   専門家のネットワークとデータ運用体制を活用し、単一組織として最も多くのタスクを提供し、各タスクの検証プロセスも厳格化された。

3. 3

   実環境に近い評価手法

   Docker サンドボックス内で実際のシェルを駆使させ、エージェントの自己申告ではなくコードのコンパイルやサーバー起動などの最終結果で採点する。