Exa、検索クエリに最適化されたトークン選択技術「Dynamic Highlights」を公開

エージェントがサンフランシスコの現在の市長を知りたいと仮定しましょう。その答えは 8 月 26 日のウェブページにある 9 トークンに含まれていますが、多くのエージェント検索ツールでは 10,000 トークン以上を多数のページから取得してしまい、コンテキストウィンドウが肥大化し、LLM の利用コストが増大しています。

本日、私たちは「Dynamic Highlights」の研究プレビューを発表します。これは検索クエリと URL のセットを受け取り、カスタムモデルがコンテンツ全体から必要なトークンを動的に選択する仕組みです。これにより、トークン数は平均 95% 削減されます。

エージェント検索の時代到来

現在、ウェブの利用者数においてエージェントが主要なユーザーとなっています。

エージェントによるコンテキスト消費にはトレードオフが伴います。コンテキストの劣化（コンテキスト・ロト）やウィンドウの枯渇、そして不合理に高い LLM コストを引き起こすのです。まさにこの理由から、トークン効率性は検索および Exa のミッションにおいてこれまで以上に重要となっています。

この課題を緩和するため、Exa はドキュメント内でエージェントのクエリに関連するスパン（範囲）として返却されるハイライト付きのスニペットを提供しています。ハイライト機能により検索トークンは 5 分の 1 に削減されましたが、依然として重複情報が存在しました。すなわち、特定のクエリに答える関連トークンを複数の URL が取得している場合や、ドキュメントごとのトークン予算の制約により、非常に重要なドキュメントから十分な情報を取得できていないケースです。

Dynamic Highlights

これらの課題を解決するため、私たちはDynamic Highlights（ダイナミック・ハイライト）という新しい検索プリミティブを導入しました。これは、文書ではなくトークンを情報取得の最小単位と捉えるアプローチです。具体的には、各文書からクエリに関連するトークンを独立して抽出するのではなく、Dynamic Highlightsは他のすべての返却された文書を意識しながら、関連性の高いトークンを選択します。

Dynamic Highlightsは、多数の並列処理ではなく単一の順方向パス（フォワードパス）で動作し、取得した全文書を1 つの統合された文書として連結します。これにより、より優れたコンテンツには多くのトークンを割り当て、無関係な文書には少ないトークン（あるいはゼロ）を割り当てるという動的なリソース配分が可能になります。

Evals

Single Turn

検索が 1 回のみ許される単純な RAG シナリオでは、返却されるトークンの数を劇的に削減しながら、下流の評価性能を向上させることができます。

以下の結果は、コーディングから一般的な質問応答まで多岐にわたるタスクにおける評価値です。これは、Dynamic Highlightsの文字数制限を変えた exa auto の実行 4 回分の平均値です。

12k 文字の予算において、既存のハイライト手法と比較して、Dynamic Highlightsは平均で 40% のトークン効率向上を達成し、品質も 3.8% 向上しました。

Agentic

シングルターン検索とは異なり、エージェントは探している答えが見つからない場合、より長い時間実行を続けます。

この場合、検索結果はトークン予算の大きな要因となります。ただし、タスクの難易度にもよりますが、推論プロセスがエージェント型検索者のトークン使用量の半分超を占めています。

したがって、すべての検索トークン最適化は厳格な品質基準を満たす必要があります。そうでなければ、検索回数の増加が、トークン効率の向上分をすべて相殺してしまいます。

以下の結果では、browsecomp と widesearch には exa-agent auto を、社内データセットと人物データセットには exa-agent medium を使用しました。タスクによってトークン効率は大きく異なりますが、わずかな品質向上（平均で 2.1%）を実現しながら、エージェントのトークン使用量を 30% 削減できます。

この 30% の削減は、ユーザーおよび当社の API を基盤に構築された検索エージェント製品にとって、直接的なコスト削減につながります。

使い方

API で dynamic を true に設定するだけで、ダイナミックハイライトを利用できます。念のためお伝えしますが、これは現在も開発中の研究プレビュー版ですが、当社の最も高度なスニペットソリューションです。

`

{

"query": "Super Bowl TV ratings 2001 2025 Nielsen household rating viewers table 40.4 127.7 million",

"type": "auto",

"numResults": 10,

"contents": {

"highlights": {

"dynamic": true

}

}

}

`

「Super Bowl TV ratings 2001 2025 Nielsen household rating viewers table 40.4 127.7 million」というクエリに基づき、2001年から2025年までのスーパーボウルのテレビ視聴率（ニールセン世帯視聴率）と視聴者数に関するデータが検索されました。

詳細はこちらをご覧ください。