WANDR ベンチマーク：広域深層調査エージェントの評価

記事の3ポイント

1. 1

   WANDR ベンチマークの公開

   Perplexity AI は、知識労働における500 の現実的で挑戦的なデータ収集タスクに焦点を当てたオープンベンチマーク「WANDR」を発表した。

2. 2

   広さと深さの両立という課題

   本ベンチマークは、多数の競合や企業情報を網羅的に発見する「Wide」と、各事象について証拠を裏付けるための詳細な調査を行う「Deep」の両方を評価対象とする。

3. 3

   現状の性能限界

   Perplexity AI の評価によると、高負荷設定下でも最強のシステムはソフト F1 で 0.363、ハード F1 で 0.133 に留まり、広範かつ深掘りした調査はまだ解決されていない。