Perplexity AI が研究エージェント評価ベンチ「WANDR」公開

研究エージェントはすでに今日、実際の知識労働を担っています。チームは競合分析やデューデリジェンス、文献レビューといった業務をこれらに委ねています。しかし、既存のベンチマークの多くは単一の回答を検証するものであり、大規模な証拠に基づくコレクションの評価には対応していませんでした。

Perplexity はこのギャップを埋めるため、新しいオープンベンチ「WANDR（Wide ANd Deep Research）」を発表しました。これは知識労働における 500 の現実的で難易度の高いデータ収集タスクを中心に構築された、オープンなベンチマークおよび評価ハーンです。

WANDR は、Perplexity が以前に発表した深層研究向けベンチ「DRACO」の広域版にあたる存在です。DRACO がエージェントが正確で完全かつ客観的な長文レポートを生成できるかを問うものであれば、WANDR は大規模なコレクションを証拠とともに構築できるかを問います。

WANDR とは何か

WANDR の核心には、2 つの要件を同時にテストするという特徴があります。「Wide（広さ）」とは、大規模でしばしば開かれた範囲の合格対象エンティティを発見することを指し、「Deep（深さ）」とは、各主張を証拠で裏付けるためにそれぞれのエンティティを十分に調査することを意味します。この 2 つを組み合わせることで、エージェントが直面する課題の本質が変わります。

単に数個の魅力的な例を示すだけでは不十分です。また、不完全な研究に基づいて磨き上げられた物語も、要件を満たすには足らないのです。

これを捉えるため、WANDR は構成可能な資格キー階層を採用しています。あるタスクでは「company(n) -> employee(m) -> url(k)」といった形式で要求が出されます。これは「n 社の合格企業」「各社から m 人の従業員」「各従業員について k ページの支持ページ」という意味です。

ツリー内のすべての完全なパスは独立して検証されます。この構造は、フラットリスト、ネストされた検索、あるいはマトリックス形式など、多様な形態を表現できます。

具体的なタスク例

この階層構造を具体化するために、公開された「CEO・CFOの人事異動」タスクを検討してみましょう。このタスクでは、少なくとも 70 の米国企業を対象とし、各社で 2026 年 3 月 1 日から 4 月 30 日の間に初めて発表された CEO または CFO の人事異動情報を取得する必要があります。エージェントは、各事例について信頼性の高い公式ページを 1 つ提示します。さらにサブタスクとして、各企業ごとに「リスト掲載権限」を持つページも 1 つ用意することが求められます。これらを合わせると、合計 140 のソース裏付け済みレコードが生成されることになります。

具体的には、2 つの階層構造と提出された 1 つのレコードは以下のようになります。

現実的なタスクを大規模に生成する仕組み

単なるサンプル例にとどまらず、WANDR のタスクは実際の利用シーンに基づいて構築されています。合成されたプロンプトではなく、生産環境で観測された匿名化されたパターンから出発し、半自動パイプラインがこれらを具体的なタスクへと変換します。このパイプラインには「シード（種まき）」「作成」「審査」「キュレーション」の 4 つの工程が含まれます。また、機械的なリントチェックを挟みながら、作成者と批評家が交互に作業を行うループ構造を採用しています。

その結果、タスクの中央値はメンバー数 50 件、記録総数 245 件となりました。全体で 500 のタスクを処理する際、WANDR は 170,495 件の出典裏付け付き記録を要求します。難易度は「低」「中」「高」の 3 つに分類され、それぞれ 167、166、167 タスクずつ割り当てられています。重要なのは、難易度が単なる規模ではなく、個別の記録にかかる作業量によって決まる点です。

WANDR の評価方法

WANDR は固定された正解キーを用いるのではなく、各主張が引用された証拠に基づいて採点されます。各記録には、対象アイテム、URL、選択した抜粋、そして回答が含まれています。評価時にはグレーダー（採点者）が再度ページをフェッチし、そのページが利用可能で範囲内にあるかを確認します。その後、抜粋が実際に存在し、すべての要件を裏付けているかを検証します。

これらの二値判定（Yes/No）は階層構造を通じて集約されます。「精度」はシステムが提出した内容の質を測る指標であり、「再現率」は品質調整済みで完了した割合を示します。不足分はゼロとして扱われます。「ソフトスコア」では不完全なメンバーにも部分的に加点されますが、「ハードスコア」は、完全なサブツリーが正解である場合のみカウントされる厳格な評価です。

ベンチマークの結果

この手法に基づき、Perplexity は 500 の全タスクに対して 6 つの生産システムをテストしました。その結果、自社開発の「Search as Code (SaC)」が首位に立ちました。しかし、どのシステムもベンチマークを完全に解決するには至っていません。

さらに努力を積み重ねれば、Perplexity は xhigh の設定においてソフト F1 スコア 0.447 を達成します。一方、コストは設定によって桁違いにばらつき、最小でタスクあたり 0.03 ドルから最大で 324.83 ドルまで広がっています。

リーダーボードの結果以外にも、4 つの重要な発見があります。第一に、部分的な進捗は見られるものの、完全な網羅性は達成できていません。すべてのシステムにおいて、ソフトリコールはソフトプレシジョンを下回っています。第二に、規模が拡大するほど問題は深刻化します。特に階層構造が深くなるほど悪影響が大きく、各分岐が新たな失敗の要因となるためです。第三に、情報の発見プロセスが最初の構造的ボトルネックとなっています。システム間でトップレベルでの発見完了率は 0.611 から 0.951 の範囲で大きく開いています。不足しているボリュームの主な原因は重複マージではなく、検出漏れによる未達です。第四に、有用なページを見つけること自体は通常容易ですが、それを完全な証拠として確立するのが難しいのです。Perplexity の場合、ページの 41.4% が実質的な要件を満たしておらず、また抜粋の 57.5% が主張全体を裏付けるのに失敗しています。その結果、検索機能のみを検証した場合のソフト F1 は 0.531 ですが、完全な判定基準を適用すると 0.363 に低下します。

特筆すべきは、「Search as Code」がこのタスクの形状に非常に適している点です。エージェントは、検索、フィルタリング、分岐処理（fan-out）、結合、重複排除、停止ロジックなどをプログラムとして記述できます。これにより、モデルのコンテキスト外で反復的な計算を確定的なコンピューティングが処理できるようになります。

ユースケースと具体例

実務の観点から、WANDR はすでにチームが自動化している業務に直結しています。例えば市場アナリストは、対象となる競合他社をすべて特定し、それぞれの根拠となる証拠も揃える必要があります。デューデリジェンスチームは数十社の企業情報を収集した上で、所有権構造や経営陣、資金調達状況まで把握する必要があります。人材採用担当者は多数の候補者を洗い出し、それぞれに裏付けとなるプロフィールページを用意しなければなりません。WANDR はまさにこうした「広範かつ深掘り」なデータ収集パターンを、プロフェッショナルなスケールでテストするものです。

評価がレコード単位で行われるため、チームは失敗した箇所を正確に特定できます。スコアツリーによって、問題が「発見段階」「情報補完段階」、あるいは「証拠抽出段階」のいずれにあるのかを切り分けることができます。この診断結果はエンジニアにとって貴重で、弱点となる工程を一つずつ改善していく指針となります。

要点

• WANDR は、500 件の証拠重視の広範かつ深掘りタスクからなるオープンベンチマークです。
• タスクでは、パスごとに検証された資格キー階層が使用されます。
• 評価は参照データなしで行われ、評価者が引用された証拠を再取得して確認します。
• Perplexity Search as Code がソフト F1 で 0.363、ハード F1 で 0.133 を記録し首位に立ちました。
• 「発見」と「完全な証拠の収集」が最大の課題となっています。

本記事は MarkTechPost にて公開された「Perplexity AI Releases WANDR: An Open Benchmark Evaluating Research Agents That Must Search Wide And Deep」の翻訳です。