Keenable AI、検索評価用ベンチマーク「NEEDLE」をオープンソース化

ウェブ検索 API のベンチマークをどう行うか。テスト対象が「答えの鍵」を読めてしまう場合、どうすればよいのか？

検索エージェントには取得ツール（fetch tool）がある。もし正解ラベルが公開データセットに含まれていれば、評価中にエージェントはそれをダウンロードして検索をスキップできてしまう。同様に、答えがモデルのパラメトリックメモリにすでに埋め込まれている場合も問題だ。この状況では、正しい回答が出たとしても、それが実際にウェブ検索によって得られたものとは限らない。

Keenable の解決策は「NEEDLE」である。これは生データに基づくオープンソースのベンチマークで、一度きりの固定クエリセットではなく、常に新鮮な公開ソースからクエリセットを再構築する仕組みだ。

ニュース関連のクエリは RSS フィードと Google Trends から毎時間再生成される。金融、学術、法務、および希少エンティティに関するクエリは、SEC XBRL、arXiv、Europe PMC、CourtListener、そして公開エージェントログから毎日再生成される。

15 の検索 API が同じプロトコルのもとで同一のクエリテキストに対して実行され、すべてのスコアは「ultimate」と呼ばれるプールされたオラクルエンジンによって評価される。このエンジンが、業界全体が実際に何を見つけられたかを判定する。

再現性は保証されているか？

はい、製品ではなくオープンソースの評価ハッチとして提供されているためだ。needle は Python CLI として提供され、uv sync でインストールできる。各ベンチマークには generate と run の 2 つのサブコマンドが用意されており、評価結果の判定には OpenRouter のキーが必要となる。また、テスト対象とする各エンジンごとに API キーを一つずつ用意する必要がある。このツールはラップトップ上でも CI 環境でも動作可能だ。

これにより、現在使用されているすべてのクエリストリームを再現でき、ランキング品質の評価も行うことができる。

NEEDLE が測定するもの

NEEDLE は、News（ニュース）、Everyday（日常）、Expert（専門）、Deep-tail（深層細部）、Legal（法務）の各評価領域を表す略語です。それぞれの分野は異なるエージェントの意図をモデル化しています。

ニュース分野では、約 124 の厳選された RSS フィードと Google Trends から最新情報を抽出し、キーワードクエリとして生成します。ファイナンス分野では、Wikidata や GLEIF の登録情報に加え、SEC XBRL からの単一四半期 10-Q データから事実を照会します。学術（Scholar）分野では、1 つの論文に対して 4 つの異なるクエリスタイルを作成します。具体的には、劣化したタイトル、全文のみに基づく詳細、自然言語によるヒント、そして「言葉が喉元まで出かかったような」曖昧な記述です。Deep-tail 分野では、DeepResearchGym、OpenResearcher、LRAT といった公開されたエージェントの軌跡データから、稀な単語を含むクエリをサンプリングします。法務（Legal）分野では、14 の連邦裁判所の CourtListener における最近の判決意見と eCFR（連邦規則集電子版）の項目を引き出します。

評価基準も同様に分類されます。ニュースと Deep-tail は正解が一つに定まらないため、LLM による判定者が各結果を 0 から 4 のスコアで評価し、ハッチは重複 URL に対するペナルティを加えた nDCG@5 を報告します。ファイナンス分野では answer-recall@5（上位 5 件のスニペット内に事実が含まれているか）を指標とします。学術と法務は既知アイテム検索タスクであり、識別子の一致度でスコアリングされます。

上限こそが興味深いポイント

すべての検索エンジンに対して同一のクエリテキストが与えられます。ランナーは一度に 1 つずつ呼び出しを行うため、レイテンシのパーセンタイル値を比較可能にし、特定のエンジンに同時負荷がかからないようにしています。判定は各エンジンのランク付け結果に基づき、タイトルとスニペットのみを対象に行われます。ページの内容は取得されず、結果の再ランク付けも行われません。すべての対象で証拠テキストは 2,000 文字以内にクリップされ、判定者はどのエンジンを使用しているかを知りません。

より注目すべきは、最終的な性能の上限（シールディング）です。NEEDLE は各クエリに対して、すべての検索エンジンが返した結果を統合し、それらを関連性順に並べ替えた合成オラクルエンジンを構築します。これにより、業界全体が実際に取得できた情報に基づいた実証的な性能上限が算出されます。

したがって、この「最終上限」との差は、現在のエージェント検索の品質に対する上界を示す指標となります。この差が大きい場合、より優れた結果が存在したにもかかわらず、すべてのエンジンがそれを適切に提示またはランク付けできていなかったことを意味します。一方、最終スコアが低い場合は事情が異なります。あらゆるプロバイダの結果を統合しても、ベンチマークは強力な根拠となる情報をほとんど発見できなかったのです。つまり、NEEDLE は「ランキングの問題」と「市場全体で共通する検索（リトリーバル）の問題」を見分けることができます。

業界の現状

以下の数値は、2026 年 8 月 28 日終了の期間における過去 7 日間の平均値です。

金融分野ではほぼ解決済みと言えます。Exa が 0.910、Keenable が 0.872、Perplexity が 0.871、Google が 0.847 を記録し、最終上限は 0.965 です。学術分野では結果のばらつきが大きく、Keenable が 0.774 から Tavily が 0.310 まで広がります（最終上限は 0.869）。これは、タイトルからのクエリがメタデータから回答可能である一方、本文からのクエリは困難であることを反映しています。最も難易度が高く、実際のエージェント利用に近いのが「ディープ・テール」分野です。Exa が最終上限の 55.7%（0.557）を達成し、Keenable が 47.0%（0.470）、Bing は 19.9%（0.199）にとどまります。エージェントが実際に検索を行う様式に近づくほど、提供される品質と実現可能な品質の差は広がっていきます。

レイテンシも重要な指標です。エージェントはタスクごとに検索を数十回呼び出すためです。

同じ時間帯での比較では、Keenable-realtime が p50 193ms / p95 284ms を記録したのに対し、Exa は 1,876 / 2,955、Bing は 2,767 / 9,381 となりました。

主なポイント

• NEEDLE はニュース系でクエリを毎時、その他の 4 つの垂直分野では毎日再生成するため、過学習を防ぐための固定セットは存在しません。
• 5 つの垂直分野、15 の検索 API、そして統一されたプロトコル。同じクエリテキスト、2,000 文字以内のエビデンス制限、そして一度に一つの要求というルールで評価が行われます。
• すべてのリーダーボードは「Ultimate」と呼ばれるプール型オラクルエンジンに対して読み込まれます。これは業界全体が到達した上限値を示す基準です。
• 実際のエージェントログから抽出されたレアエンティティ（希少事象）に関するクエリでは、最上位のエンジンがその上限値の 0.557 を達成しました。一方、金融分野では多くのエンジンが 0.77 から 0.91 の範囲に集約されています。
• コードは MIT ライセンスで公開されており、実行結果は GitHub Actions で公開されます。また、各ランごとの成果物は Hugging Face データセットとして提供されます。

ライブダッシュボード、GitHub リポジトリ、技術的な解説記事、そしてアーカイブされた成果物を確認できます。本プロジェクトの研究者の皆様に心より感謝いたします。

Twitter や 15 万人以上の ML 関連ユーザーが集まる SubReddit、ニュースレターへの登録もぜひご検討ください。また、Telegram をご利用の方も、今なら Telegram チャンネルに参加できるようになりました。

本記事は MarkTechPost にて公開された「Keenable AI Open-Sources NEEDLE: A Live Search Benchmark That Rebuilds Its Query Set Every Hour」を基にしています。