エージェントに適切な検索を教えた方法 - Mixedbread AI

エージェントに「検索」を教えた方法：LLM の推論能力と検索精度の格差を埋める新手法

大規模言語モデル（LLM）の推論能力が飛躍的に向上する一方で、それを支える検索ツールの進化は遅れをとっています。この「知識のギャップ」こそが、複雑なタスクにおける AI エージェントの実用化を阻む最大のボトルネックでした。

Mixedbread AI は、エージェントに単なるキーワード羅列ではなく、「自然な文で検索意図を記述する」方法を教え込むことで、この格差を劇的に解消しました。本記事では、その背景にある課題と、具体的な解決アプローチ、そして得られた成果について解説します。

LLM の推論力と検索ツールの「知識のギャップ」

過去数年で GPT-3.5 や GPT-4 などのモデルは指数関数的に性能を向上させました。しかし、検索技術の進化速度はこれに比べて極めて緩やかです。

Mixedbread AI はこの現象を「知識のギャップ（Knowledge Gap）」と呼びます。推論能力が高度化しているにもかかわらず、必要な情報へのアクセス方法が未熟なため、複雑なタスクではモデルの真価が発揮できない状態が続いています。

実際、BrowseComp Plus や Office QA Pro といったベンチマークでこの格差は明確に示されています。

• Oracle（理想値）: 適切な文書と質問を与えた場合の理論上の最大性能（BrowseComp: 93%、Office QA Pro: 64%）
• 現状のモデル: デフォルトのツールを使用した場合、この性能から大きく後退する（BrowseComp で 9 ポイント、Office QA Pro で 8 ポイント低下）

「ボトルネックは推論ではなく、質問に答えるために必要な『正しい知識へのアクセス』です」

モデル自体が優秀であればあるほど、ノイズの多いコーパスから適切な情報を引き出せない時の性能低下は顕著になります。単にモデルを大きくしても解決せず、検索ツールの質と使い方が鍵となるのです。

なぜエージェントは「不自然なクエリ」を発するのか？

では、なぜ現在の AI エージェントは効果的な検索ができないのでしょうか。Mixedbread の分析によると、その原因はモデルの学習バイアスにあります。

1. コーディングタスクへの過剰適応: コード探索用のエージェントは grep ツールのように、正規表現やキーワードを羅列して「見つかる可能性のある式」を書こうとします。この癖が自然言語検索にも持ち込まれています。
2. ウェブ検索の模倣: モデルは人間向けの検索ツール（Google など）に訓練されており、人間が使うような「キーワードの羅列」や「不自然な文脈」を真似してしまいます。
3. ベンチマークのバイアス: 既存のテストデータ（BM25 ベースなど）がエンティティベースのクエリを重視しているため、モデルも「検索結果との重複を増やすためのキーワード推測」に最適化されてしまっています。

その結果、エージェントは以下のような意味不明なクエリを発することがあります。

「senator woman questions billionaires not a company then okay thank you staff will check hearing」

このような不自然な入力では、検索システムが意図を汲み取れず、適切な情報を引き出すことが困難になります。

解決策：4 つの専用ツールと「自然言語」への転換

Mixedbread AI は、この課題に対し「エージェントに適切な検索を教える」というアプローチで解決しました。具体的には、以下の 3 つの要素を組み合わせた新しいアーキテクチャを採用しています。

1. 多機能なツールハネス（Harness）の設計

単一の検索エンジンではなく、タスクに応じて使い分ける 4 つの専用ツールを組み合わせる柔軟なループ構造を導入しました。

• 概要検索: コーパス全体を概観するために、最大 50 のチャンクの「要約」のみを取得。コンテキストの埋め込みを防ぎます。
• 詳細セマンティック検索: 上位 10 のチャンクを完全なペイロードとして取得し、深い文脈理解を行います。
• メタデータフィルタリング: ファセット（属性）に基づいてソートや絞り込みを行い、効率的にデータを特定します。
• キーワードマッチング（grep）: 特定の用語の正確な一致が必要な場合にのみ使用します。

2. 「検索意図」の自然言語化トレーニング

最も重要なのは、エージェントが「キーワードを羅列する」のではなく、「見つかりたいものを記述する」ように訓練された点です。

プロンプトエンジニアリングと強化学習により、以下のような指導を行いました。

• ゴールの枠組み: クエリを書く前に「必要な証拠は何か」を明確にするよう指示します。
• クエリの書き方: 「検索クエリを書け」と命令するのではなく、「見つかりたいものを簡潔な一文で記述せよ」と指導し、古いパターンへの陥入を防ぎます。
• 例の提示: 良いクエリの例や、入力を探索するための異なる側面を示すことで、モデルに学習させます。

その結果、エージェントは「奇妙なキーワードを並べた」代わりに、「実際に何を発見したいかを説明する自然な文」を発行できるようになりました。また、grep ツールが必要な場合のみ、意図的にキーワードパターンを使用します。

3. 軽量なトレーニングと報酬設計

モデルの高速化のため、小さな LLM を採用して検索戦略そのものを最適化するトレーニングを行いました。

• 教師ありファインチューニング: 大きな教師モデルを用いて初期学習を行います。
• オンポリシー強化学習: 独自の「検索報酬」と「経路報酬」を組み合わせて訓練します。
• 検索報酬: NDCG（検索結果のランキング精度）や LLM による評価ルブリックに基づき、関連するチャンクが正しくランク付けされているかを評価します。
• 経路報酬: クエリが自然な文か、探索量が適切か、ツール選択が効率的かなどを LLM 判事が評価し、プロセス全体の質を向上させます。

実証された成果：ベンチマークで圧倒的な性能向上

この手法により、複雑な検索タスクにおける精度は劇的に向上しました。まだ正式リリース前の中間結果ですが、その効果は明白です。

• Oblique Congress ベンチマーク: NDCG@10 が 0.4 に達し、既存の最良モデル（GPT Multi-hop Agent の 0.18）を大幅に上回りました。
• Snowflake Match QA ベンチマーク: Mixedbread の検索エージェントは Gemini 3.5 Flash モデルと組み合わせることで93.4% の精度を達成し、トップとなりました。これは同等の LLM を持つ他社エージェントよりも遥かに少ない労力で達成した結果です。

「モデルに優れた検索ツールを与え、かつ『自然な文で意図を伝える』方法を教えるだけで、知識のギャップの大部分を回復できます」

まとめ

LLM エージェントの実用化において、推論能力の向上だけでなく「いかに適切な情報にアクセスするか」という検索精度のボトルネックが重要課題でした。Mixedbread AI のアプローチは、エージェントにキーワード羅列ではなく自然言語での検索意図記述を教え込むことで、この格差を埋めることに成功しました。

これは単なるツールの改良ではなく、RAG システムや AI エージェント開発のパラダイムシフトを示すものであり、企業におけるナレッジワークの自動化や複雑なデータ分析の信頼性向上に大きく寄与する技術的アプローチです。