Exa、検索クエリに最適化されたトークン選択技術「Dynamic Highlights」を公開

記事の3ポイント

1. 1

   トークン単位での動的選別

   従来のドキュメント単位の抽出ではなく、全ドキュメントを統合して文脈を考慮し、最も関連性の高いトークンのみを動的に選択する仕組みを採用した。

2. 2

   95% のトークン削減効果

   1 回のフォワードパスで処理を行うことで、平均して 95% のトークン数を削減し、コンテキストウィンドウの逼迫や LLM コストの高騰を緩和する。

3. 3

   評価結果での品質向上

   12k 文字の予算制限下で既存のハイライト機能と比較した結果、トークン効率性が平均 40% 向上し、回答品質も 3.8% 改善された。