QCon London 2026：本番AIシステムのための信頼性のある検索

QCon London 2026において、ラババンクのAI技術責任者であるラン・チュ氏は、10,000文書にわたる300名以上の内部ユーザーが使用する生産環境向けAI検索システムの導入から得た教訓を共有しました。彼女の経験によると、RAG（Retrieval-Augmented Generation）システムにおける失敗の多くは、言語モデルそのものではなく、インデックス作成と検索プロセスに起因します。 このシステムにより、ユーザーは数千件の内部文書（PDFやPowerPointファイルを含む）を検索し、顧客会議への準備などのタスクに対して迅速に洞察を抽出することができます。 そのアーキテクチャは、典型的なRAGパイプラインに従っています： 1- ドキュメント取り込み：ベクトルデータベースへのインデックス作成前に、文書の解析、チャンク化、埋め込みを行う 2- 検索と生成：関連するチャンクを検索し、LLM（大規模言語モデル）に送信して回答を生成する 3- 観測可能性：トレース、検索パフォーマンス、評価指標のモニタリングを行う アーキテクチャはシンプルに見えますが、チュ氏は生産環境システムでは文書の品質、検索の関連性、および評価に関する課題がすぐに顕在化すると説明しました。 発表者は、AI検索システムにおいて文書を正確に解析することが極めて重要であると強調しました。企業文書には表やインフォグラフィックスなど複雑なレイアウトが含まれることが多く、単にプレーンテキストに変換すると重要な構造が失われ、数値の誤読や表の誤解釈を招く恐れがあります。これを解決するため、彼女は従来のテキスト抽出手法と、レイアウトを理解するビジュアルランゲージモデルを組み合わせたパイプラインを構築しました。 現代の言語モデルを用いても、モデルを圧倒させコストを増大させるのを避けるためにコンテンツをチャンク化する必要があります。Chu は異なる方法をテストし、ドキュメントをセクションごとに分割する方法が自身のデータセットにおいて最も効果的であり高い精度を達成できることを発見しましたが、適切な戦略は特定のデータに依存すると強調しました。 標準的な検索システムはベクトル類似性（vector similarity）に依存していますが、これではドキュメントのタイミングなどの重要な文脈を見逃す可能性があります。彼女のシステムでは、新しいドキュメントを優先するために時間的スコアリング（temporal scoring）を追加し、ドキュメントを検索するか外部 API を呼び出すかを決定するルーティング層（routing layer）を実装しました。モデルはツールパラメータの処理に苦戦することがあるため、時にはユーザーに入力の確認を求めることもあります。 評価はしばしば軽視されますが、Chu は実際のユーザークエリからデータセットを構築し、ルーティングや時間的エラーなどの失敗モードを追跡し、統計的手法を用いて改善を検証することを推奨しています。実際のリクエストは合成データセットよりも多くの価値をもたらすことがよくあります。 重要な教訓は、効果的な AI 検索システムを構築するにはいくつかの領域に細心の注意を払う必要があること、検索品質は正確なドキュメント解析とインデックス付けに依存すること、チャンキング戦略は実データセット上でテストおよび検証する必要があること、そして検索には単純なテキスト類似性だけでなく時間的関連性などのシグナルも考慮すべきであることです。発表者は、エージェント型アーキテクチャが機能を強化できる一方で追加の複雑さを導入し、本番環境の AI システムで信頼性の高いパフォーマンスを確保するには堅牢で構造化された評価フレームワークが不可欠であると指摘しました。 著者について Daniel Dominguez Daniel は SamXLabs のマネージングパートナーです。SamXLabs は AWS パートナーネットワークに所属する企業です。彼はスタートアップおよび Fortune 500 企業のソフトウェア製品開発において 13 年以上の経験を持っています。Daniel はワシントン大学で工学の学位を取得し、機械学習の専門分野を修了しています。AI とクラウドコンピューティングを活用して革新的なソリューションを生み出すことに情熱を注いでいます。機械学習ティアの AWS コミュニティビルダーとして、知識の共有とソフトウェア製品のイノベーション推進に尽力しています。 もっと見る 閉じる

QCon London 2026：本番AIシステムのための信頼性のある検索

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト