検索拡張生成と多目的アライメントによるクエリ自動補完におけるランキングと生成の統合
クエリ自動補完の課題を解決するため、検索拡張生成と多目的アライメントを用いてランキングと生成を統合する新手法を提案。
キーポイント
クエリ自動補完（QAC）の従来手法（ランキング）と生成手法を統合する新フレームワークを提案
Retrieval-Augmented Generation（RAG）と多目的Direct Preference Optimization（DPO）を組み合わせたアプローチ
大規模商用検索プラットフォームでの評価で、キーストローク5.44%削減、提案採用率3.46%向上などの実証結果
遅延制約下での効率的な本番導入を可能にするハイブリッド提供アーキテクチャ
検索・推薦業界全体に応用可能な本番検証済みフレームワークとしての意義
影響分析・編集コメントを表示
影響分析
この研究は、検索システムの基盤機能であるクエリ自動補完を、大規模言語モデルとRAGを活用したエンドツーエンド生成へとパラダイムシフトさせるもので、実環境での有効性が実証されている。従来の課題であった長尾カバレッジや安全性の問題を解決し、検索効率の向上に直接寄与するため、検索・推薦技術全体に影響を与える重要な進展と言える。
編集コメント
Appleの研究チームが、実用的な検索機能改善にLLMとRAGを効果的に統合した点が注目される。学術的新規性だけでなく、本番環境での実証結果を伴っているため、業界実装への影響が大きい。
ランキングと生成を統合するクエリ自動補完：検索拡張生成と多目的アラインメントによるアプローチ
ランキングと生成を統合するクエリ自動補完：検索拡張生成と多目的アラインメントによるアプローチ
著者Kai Yuan, Anthony Zheng, Jia Hu, Divyanshu Sheth, Hemanth Velaga, Kylee Kim, Matteo Guarrera†, Besim Avci, Xuetao Yin, Jianhua Li, Rajyashree Mukherjee, Sean Suchter
出版物を表示
クエリ自動補完（QAC）は、ユーザーが入力中に補完候補を提案することで検索効率を向上させる、現代の検索システムにおける重要な機能です。しかし、既存のアプローチは根本的な課題に直面しています：従来の検索・ランキングパイプラインはロングテールのカバレッジが低く、大規模な特徴量エンジニアリングを必要とする一方、最近の生成的アプローチは虚構生成（ハルシネーション）や安全性リスクに悩まされています。本論文では、検索拡張生成（RAG）と多目的直接選好最適化（DPO）を通じて、QACをエンドツーエンドのリスト生成として再定義する統一フレームワークを提案します。
我々のアプローチは、以下の3つの主要な革新を組み合わせたものです：
多目的最適化によるエンドツーエンドのリスト生成としてQACを再定義すること；
RAG、学習済みおよびルールベースの検証器を用いた多目的DPO、高品質な合成データのための反復的批評・修正を組み合わせた包括的方法論；
厳しいレイテンシ制約下での効率的な本番環境導入を可能にするハイブリッドサービスアーキテクチャ。
大規模商用検索プラットフォームでの評価は、大幅な改善を示しています：オフライン指標では全次元で向上が見られ、人間による評価では+0.40から+0.69の選好スコアが得られ、制御されたオンライン実験ではキーストローク数が5.44%削減され、提案採用率が3.46%増加しました。これは、RAGと多目的アラインメントによる統合的生成が、本番環境QACの効果的な解決策を提供することを実証しています。
この研究は、大規模言語モデル、RAG、および多目的アラインメントによって駆動されるエンドツーエンド生成へのパラダイムシフトを表しており、より広範な検索および推薦業界に利益をもたらすことができる、本番環境で検証されたフレームワークを確立するものです。
† カリフォルニア大学バークレー校
関連する文献と最新情報。
メール検索のためのオンデバイスクエリ自動補完
2024年6月14日研究分野 知識ベースと検索, 研究分野 音声および自然言語処理学会 ECIR
従来のクエリ自動補完（QAC）は、多数のユーザーから収集された検索ログに大きく依存しています。しかし、オンデバイスのメール検索では、ログの不足と適用されるプライバシー制約により、QACは困難な課題となります。本研究では、ユーザーの機密データやインタラクションログがウェブサービスを通じて収集、共有、集約されることなく、ユーザーのデバイス上で直接実行されるオンデバイスQAC手法を提案します。この手法は…
検索拡張生成のためのコンテキストチューニング
2023年12月18日研究分野 知識ベースと検索, 研究分野 音声および自然言語処理ワークショップ EACL
本論文はEACL 2024のUncertaiNLPワークショップに採択されました。
大規模言語モデル（LLM）は、わずかな例だけで新しいタスクを解決する顕著な能力を持っていますが、適切なツールへのアクセスが必要です。検索拡張生成（RAG）は、与えられたタスクに関連するツールのリストを検索することでこの問題に対処します。しかし、RAGのツール検索ステップでは、必要な情報がすべてクエリに明示的に含まれている必要があります。これは…
機械学習における機会を発見する。
私たちの機械学習研究は、日々新たな領域を切り開いています。
原文を表示
Unifying Ranking and Generation in Query Auto-Completion via Retrieval-Augmented Generation and Multi-Objective Alignment
AuthorsKai Yuan, Anthony Zheng, Jia Hu, Divyanshu Sheth, Hemanth Velaga, Kylee Kim, Matteo Guarrera†, Besim Avci, Xuetao Yin, Jianhua Li, Rajyashree Mukherjee, Sean Suchter
View publication
Query Auto-Completion (QAC) is a critical feature of modern search systems that improves search efficiency by suggesting completions as users type. However, existing approaches face fundamental challenges: traditional retrieve-and-rank pipelines have poor long-tail coverage and require extensive feature engineering, while recent generative methods suffer from hallucination and safety risks. We present a unified framework that reformulates QAC as end-to-end list generation through Retrieval-Augmented Generation (RAG) and multi-objective Direct Preference Optimization (DPO).
Our approach combines three key innovations:
Reformulating QAC as end-to-end list generation with multi-objective optimization;
A comprehensive methodology combining RAG, multi-objective DPO with learned and rule-based verifiers, and iterative critique-revision for high-quality synthetic data;
A hybrid serving architecture enabling efficient production deployment under strict latency constraints.
Evaluation on a large-scale commercial search platform demonstrates substantial improvements: offline metrics show gains across all dimensions, human evaluation yields +0.40 to +0.69 preference scores, and a controlled online experiment achieves 5.44% reduction in keystrokes and 3.46% increase in suggestion adoption, validating that unified generation with RAG and multi-objective alignment provides an effective solution for production QAC.
This work represents a paradigm shift to end-to-end generation powered by large language models, RAG, and multi-objective alignment, establishing a production-validated framework that can benefit the broader search and recommendation industry.
† University of California, Berkeley
Related readings and updates.
On-Device Query Auto-Completion for Email Search
June 14, 2024research area Knowledge Bases and Search, research area Speech and Natural Language Processingconference ECIR
Traditional query auto-completion (QAC) relies heavily on search logs collected over many users. However, in on-device email search, the scarcity of logs and the governing privacy constraints make QAC a challenging task. In this work, we propose an on-device QAC method that runs directly on users’ devices, where users’ sensitive data and interaction logs are not collected, shared, or aggregated through web services. This method retrieves…
Context Tuning for Retrieval Augmented Generation
December 18, 2023research area Knowledge Bases and Search, research area Speech and Natural Language ProcessingWorkshop at EACL
This paper was accepted at the UncertaiNLP workshop at EACL 2024.
Large language models (LLMs) have the remarkable ability to solve new tasks with just a few examples, but they need access to the right tools. Retrieval Augmented Generation (RAG) addresses this problem by retrieving a list of relevant tools for a given task. However, RAG’s tool retrieval step requires all the required information to be explicitly present in the query. This is a…
Discover opportunities in Machine Learning.
Our research in machine learning breaks new ground every day.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み