Amazon Science、AI エージェントの業務手順評価ベンチマーク「SOP-Bench」を公開

記事の3ポイント

1. 1

   SOP の複雑性とAIの課題

   標準手順書（SOP）は簡潔に書かれているが、実際には暗黙知や状況に応じた判断を必要としており、これがAIエージェントの実行失敗の原因となる。

2. 2

   SOP-Benchの独自性

   本ベンチマークは、ドメイン専門家による実在の企業手順と機能するツール、そして正解データを組み合わせた初の試みであり、単なるテキスト生成評価ではない。

3. 3

   既存ベンチの限界

   現在の多くのエージェント用ベンチはAPI選択や制約遵守など単一能力に焦点を当てており、複雑な文脈下での計画実行能力を十分に評価できていない。