Introducing Contextual Retrieval｜文脈に応じた検索機能の導入

カスタムコンテキスト化プロンプト: 提供した汎用プロンプトは有効ですが、特定のドメインやユースケースに合わせてプロンプトをカスタマイズすることで、さらなる改善が可能です。例えば、ナレッジベース内の他の文書でのみ定義されている可能性のある主要な用語の用語集を追加するなどの方法があります。 チャンク数: コンテキストウィンドウに含めるチャンク数を増やすと、関連情報を含む可能性は高まります。しかし、情報が多すぎるとモデルの注意が散漫になるため、限界があります。我々は5、10、20チャンクで検証し、この選択肢の中では20チャンクを使用した場合が最も高いパフォーマンスを示しました（比較結果は付録を参照）。ただし、ご自身のユースケースで実験する価値はあります。 常に評価を実施する: 応答生成の品質は、コンテキスト化されたチャンクを渡し、何が追加コンテキストで何が元のチャンクなのかを区別することで改善できる可能性があります。 リランキングによるさらなる性能向上 最終ステップとして、コンテキスト検索に別の技術を組み合わせることで、さらなる性能向上を図ることができます。従来のRAG (Retrieval-Augmented Generation) では、AIシステムはナレッジベースを検索し、潜在的に関連する情報チャンクを見つけ出します。大規模なナレッジベースでは、この初期検索は多くの場合、関連性と重要性が様々な多数のチャンク（時には数百）を返します。 リランキングは、最も関連性の高いチャンクのみをモデルに渡すために一般的に用いられるフィルタリング技術です。モデルが処理する情報量が減るため、より優れた応答を提供し、コストとレイテンシを削減できます。主なステップは以下の通りです: 1. 初期検索を実行し、潜在的に最も関連性の高い上位チャンクを取得する（我々は上位150を使用）。 2. 上位Nチャンクとユーザークエリをリランキングモデルに入力する。 3. リランキングモデルを用いて、各チャンクにクエリに対する関連性と重要性に基づくスコアを付け、その後上位Kチャンクを選択する（我々は上位20を使用）。 4. 上位Kチャンクをコンテキストとしてモデルに渡し、最終的な応答を生成する。 性能向上 市場には複数のリランキングモデルが存在します。我々はCohereのリランカーを使用してテストを実施しました。Voyageもリランカーを提供していますが、検証する時間はありませんでした。我々の実験では、様々なドメインにおいて、リランキングステップを追加することで検索がさらに最適化されることが示されました。 具体的には、リランキングを施したコンテキスト埋め込みとコンテキストBM25により、上位20チャンク検索の失敗率が67％（5.7％→1.9％）減少しました。 コストとレイテンシの考慮点 リランキングにおける重要な考慮点の一つは、特に多数のチャンクをリランキングする場合の、レイテンシとコストへの影響です。リランキングはランタイムに追加のステップを加えるため、リランカーがすべてのチャンクを並列にスコア付けするにもかかわらず、必然的にわずかなレイテンシが追加されます。より多くのチャンクをリランキングして性能を向上させることと、より少ないチャンクでレイテンシとコストを低減することの間には、本質的なトレードオフがあります。特定のユースケースで異なる設定を試し、適切なバランスを見つけることをお勧めします。 我々は、上述したすべての技術（埋め込みモデル、BM25の使用、コンテキスト検索の使用、リランカーの使用、および取得する上位K結果の総数）の異なる組み合わせを比較する多数のテストを、様々なデータセットタイプで実施しました。以下は、その結果の要約です: * 埋め込み単体よりも、埋め込みとBM25の組み合わせの方が優れている。 * テストした中では、VoyageとGeminiの埋め込みが最も優れていた。 * 上位5または10チャンクだけをモデルに渡すよりも、上位20チャンクを渡す方が効果的である。 * チャンクにコンテキストを追加すると、検索精度が大幅に向上する。 * リランキングなしよりも、リランキングありの方が優れている。 * これらすべての利点は累積する: 性能向上を最大化するには、コンテキスト埋め込み（VoyageまたはGeminiから）とコンテキストBM25を組み合わせ、さらにリランキングステップを追加し、20チャンクをプロンプトに追加することが有効である。 ナレッジベースを扱うすべての開発者に、我々のクックブックを使用してこれらのアプローチを試し、新たなレベルのパフォーマンスを引き出すことをお勧めします。 以下は、データセット、埋め込みプロバイダー、埋め込みとBM25の併用、コンテキスト検索の使用、およびリランキングの使用にわたる結果の内訳です（上位20件検索時）。 上位10件および5件検索時の内訳と、各データセットの質問・回答例については、付録IIを参照してください。 謝辞 研究と執筆: Daniel Ford。貴重なフィードバックを提供してくれたOrowa Sikder、Gautam Mittal、Kenneth Lienに感謝します。クックブックを実装したSamuel Flamini、プロジェクト調整を担当したLauren Polansky、そしてこのブログ投稿の作成に貢献したAlex Albert、Susan Payne、Stuart Ritchie、Brad Abramsに感謝します。 ![埋め込みとBest Match 25 (BM25) の両方を使用して情報を検索する標準的なRetrieval-Augmented Generation (RAG) システム。TF-IDF (term frequency-inverse document frequency) は単語の重要性を測定し、BM25の基礎を形成します。](/_next/image?url=https%3A%2F%2Fwww-cdn.anthropic.com%2Fimages%2F4zrzovbb%2Fwebsite%2F45603646e979c62349ce27744a940abf30200d57-3840x2160.png&w=3840&q=75) ![コンテキスト検索は、検索精度を向上させる前処理技術です。](/_next/image?url=https%3A%2F%2Fwww-cdn.anthropic.com%2Fimages%2F4zrzovbb%2Fwebsite%2F2496e7c6fedd7ffaa043895c23a4089638b0c21b-3840x2160.png&w=3840&q=75) ![コンテキスト埋め込みとコンテキストBM25を組み合わせることで、上位20チャンク検索の失敗率が49％減少します。](/_next/image?url=https%3A%2F%2Fwww-cdn.anthropic.com%2Fimages%2F4zrzovbb%2Fwebsite%2F7f8d739e491fe6b3ba0e6a9c74e4083d760b88c9-3840x2160.png&w=3840&q=75) ![コンテキスト検索とリランキングを組み合わせて、検索精度を最大化します。](/_next/image?url=https%3A%2F%2Fwww-cdn.anthropic.com%2Fimages%2F4zrzovbb%2Fwebsite%2F8f82c6175a64442ceff4334b54fac2ab3436a1d1-3840x2160.png&w=3840&q=75) ![リランキングされたコンテキスト埋め込みとコンテキストBM25により、上位20チャンク検索の失敗率が67％減少します。](/_next/image?url=https%3A%2F%2Fwww-cdn.anthropic.com%2Fimages%2F4zrzovbb%2Fwebsite%2F93a70cfbb7cca35bb8d86ea0a23bdeeb699e8e58-3840x2160.png&w=3840&q=75) ![データセットと埋め込みプロバイダーにわたる、1マイナスリコール@20の結果。](/_next/image?url=https%3A%2F%2Fwww-cdn.anthropic.com%2Fimages%2F4zrzovbb%2Fwebsite%2F646a894ec4e6120cade9951a362f685cd2ec89b2-2458x2983.png&w=3840&q=75)

文脈に応じた検索機能の導入

背景や根拠まで確認しますか？

調べる

選ぶ

サイト