Scale Labs、AI エージェントの導入準備を評価する「READY」フレームワークを発表

あらゆる企業が、業務に不可欠なワークフローで AI エージェントの活用を進めています。しかし、これらのエージェントが本当に優れているかを測るのは、見た目ほど簡単ではありません。

現在利用されているベンチマークは「能力テスト」です。これは、人間を介さずに単独で動作した際、モデルが正解を出す頻度をスコアリングするものです。これによって「何ができるか」はわかりますが、「導入の準備ができているか」という別の問いには答えられません。

大規模組織が今必要としているのは、エージェントがワークフローに必要な信頼性を発揮できるかどうか、コストを計画可能な範囲で抑えられるか、そしてそのレベルに達するためにどの程度の人的レビューが必要になるかという点です。

あるエージェントがある能力テストで 80% のスコアを獲得したとしましょう。この数字だけでは、実用化の準備ができているかどうかを知ることはほとんどできません。重要なのは残りの 20% です。エージェント自身が回答が弱いと判断できるか、見落としを人間が検出できるか、そしてその人的レビューにどれほどのコストがかかるかという点です。

READY のご紹介

本日、READY (Reliable Enterprise Agent Deployment) をご紹介します。これは、企業が実際にエージェントを利用する様式——人間と協働し、現実のワークフローの中で動作する様子——を反映した、業界特化型のベンチマークスイートです。

特定のワークフローにおいて、READY ベンチマークは以下の 3 つの要素を総合的に測定します：

• 信頼性 (Reliability): エージェントとその人間オペレーターが業務を正しく遂行する頻度。
• 人的監督 (Human Oversight): そのレベルの信頼性を達成するために必要な人間の関与の程度。
• コスト (Cost): エージェントと人的監督を併せて運用するために必要な費用。

このように測定した場合、結果は単なるスコアではありません。それは「デプロイメント・プロファイル」です。「このエージェントが、このワークフローで、この程度の人的監視のもとで、このコストでどのレベルの信頼性を達成するか」という具体的な姿を示すものです。

業界によってワークフローは大きく異なり、作業を検証する人間の役割も様々です。そのため、今後数か月の間に、READY ではより多くの業界特化型ベンチマークを公開していく予定です。

仕組み

*How READY Works: 3 stages to a deployment profile*

READY は、企業のワークフローから始まります。

企業が「何が正しい作業とみなされるか」および「システムに求められる信頼性のレベル」を定義し、READY がその目標を最もコスト効果高く達成する方法を見つけ出します。すべてのシステムは、以下の 3 つのフェーズを経由します。

ワークフロー評価：エージェントは実際の業務ケースを通じて動作します。READY は、呼び出したツールや参照した証拠を含め、調査の全過程を記録し、各ケースがそのワークフローに定められた基準を満たしているかをスコアリングします。また、各回答に対するエージェントの自信度（コンフィデンス）も併せて記録します。

ポリシー最適化：信頼性の目標値を設定すると、READY はエージェントと人間の間に仕事をどのように分担するのが最も効率的か（つまり、監督ポリシー）を特定します。エージェントは自身が最も自信を持っているケースを処理し、残りは人間によるレビューに回されます。READY は可能な監督ポリシーの組み合わせを検索し、コストが最小となる中で目標値を満たすものを選択します。

独立検証：选定された分担方針を固定した上で、未経験のケースに対して再テストを行います。提示された前提条件の下で統計的な信頼性を確保し、目標値をクリアした場合にのみ結果が認定されます。

研究結果

エージェントシステムを READY で評価したところ、能力スコードだけでは見逃す可能性があった3 つの重要な知見が浮かび上がりました：

ベンチマークのスコアが同じでも、実際の導入判断は正反対になることがあります。自律的な精度で 0.3 ポイントしか差がないシステム（72.8% vs. 72.5%）であっても、同じ 76% の信頼性目標を達成するために必要な人間のレビュー割合は、それぞれ 39.2% と 29.6% という大きな開きが生じます。

精度と、いつエスカレーション（上級者への引き継ぎ）すべきかの判断力は、別々のスキルです。16 のシステム全体でみても、精度とルーティングの質にはほとんど相関がありませんでした（ピアソンρ = −0.12）。Qwen-3.7-Plus はその典型例で、最も低い精度の一つを持ちながら、テストされたどのシステムよりも優れたルーティング信号を示しました。

信頼性の上限は、人間レビュー担当者の精度そのものによって決まります。人間のレビュー成功率を 90% と仮定した場合、どのポリシーも 90% を超える信頼性は達成できず、85% 程度の目標設定ではすべてのシステムが完全な人間レビューに依存せざるを得なくなります。

これがエンタープライズ AI に意味すること

READY の導入プロファイルはあえて具体的です。「このエージェントを、このワークフローで、この監視モデルのもと、これらの前提条件で使う」。これは別のワークフローには転用できず、また転用されるべきでもありません。導入の判断は常に状況に依存するものであり、単一の汎用的なスコアこそが、そのスコア一つで判断しようとしてきたチームを失敗させてきた要因なのです。

テスト環境はオープンであり、この手法はあらゆるワークフローで同じように機能します。まずは 2 つの医療分野向けベンチマーク CliniCARE-Bench と PSEBench から開始し、金融サービスなど他の業界向けの対応もまもなく追加予定です。

これらの基盤を整備するには、現場の知見を持つ人材が必要です。具体的には、実社会で通用するエンタープライズタスクを記述できるドメインエキスパートと、評価環境を構築できる研究者が求められます。該当する方は、こちらからご登録ください。

関連リソース:

• 論文 (arXiv): https://arxiv.org/pdf/2609.02095
• 関連研究: CliniCARE-Bench: labs.scale.com/blog/clinicare-bench
• PSEBench: https://labs.scale.com/papers/psebench

• Inspect AI をベースに構築されています