MarkTechPostメディア報道·2026年9月1日 08:43·約8分
Keenable AI、検索評価用ベンチマーク「NEEDLE」をオープンソース化
本文の状態
日本語全文あり
詳細モードで約8分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
MarkTechPost
30秒でわかる
Keenable は検索エージェントの真の評価を可能にする「NEEDLE」をオープンソース化し、毎時・毎日更新される生データで検索 API の性能を比較する新しいベンチマーク基準を確立した。
記事の3ポイント
動的なクエリセットによる評価の革新
NEEDLE は固定されたデータセットではなく、ニュースは毎時、専門分野は毎日更新される生情報源からクエリを生成し、エージェントが答えを事前学習する問題を排除する。
多様な垂直領域の網羅的テスト
News, Everyday, Expert, Deep-tail, Legal の 5 つカテゴリを定義し、各分野特有の検索意図（例：金融の四半期報告書、法律の判例、稀な単語）に対応した評価を行う。
統一されたプロトコルとオラクル判定
15 の検索 API を同一のプロトコルで比較し、各エンジンが返す結果を統合して構築した合成オラクル（Ultimate）に対してスコアリングを行うことで公平な評価を実現する。
なぜ重要か・誰に関係するか
この発表が重要なのは、従来の静的データセットに基づく評価では検出できなかった「事前学習による答えの漏洩」や「検索機能の不在」の問題を、生情報源を用いた動的な手法で解決したからだ。開発者や企業の AI 導入担当者は、このツールを利用して自社の検索エージェントが真に外部情報を取得できているかを検証し、信頼性の高い API の選定基準として活用すべきである。
背景や根拠まで確認しますか？
元記事の内容を、読みやすい日本語で続けて確認できます。
この記事をシェア
関連記事
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み