RAG はあなたが思うより単純である
RAG Is Simpler Than You Think
コメントの核心
フルテキスト検索 vs 埋め込み
実体験・見立て大規模 RAG システムの実務経験を持つコメントでは、ベクトル検索が魔法のように思われる一方で実際には限界があり、フルテキスト検索の方がスケーラビリティと運用の容易さで優れていると指摘された。複雑な再埋め込みやランク付けよりも、500 語以上のクエリを扱う従来の検索手法の方が実用的であるという経験則が示されている。
代表コメント（原文）
“I worked on large scale RAG systems before and can say people vastly underestimate full text search and vastly overestimate embeddings. FTS is really…”
記事の信頼性と生成 AI の影響
疑問記事が生成 AI によって書かれた可能性を疑うコメントがあり、AI が執筆した文章は読みづらく、著者の実務能力を疑わせるという意見が出た。また、RAG という用語の意味すら確認が必要だったとする指摘や、初出で略語の定義を省略する記事への不満も含まれている。
代表コメント（原文）
“More LLM-generated text about LLMs. Is anyone else actually finding it harder and harder to read LLM generated text? I find it quite tiring, my brain…”
全論点と英語の原コメントを見る
議論の全体像
RAG の実装において、ベクトル検索や埋め込みを過大評価し、フルテキスト検索の価値を見誤る傾向への批判が多数見られる。実際の実務経験者からは、複雑なインフラよりも既存の検索技術で十分であり、コストと運用負荷を考慮すべきという意見が支持された。また、記事自体が生成 AI によって書かれた可能性や、用語の定義不足に対する指摘も寄せられた。
フルテキスト検索 vs 埋め込み
大規模 RAG システムの実務経験を持つコメントでは、ベクトル検索が魔法のように思われる一方で実際には限界があり、フルテキスト検索の方がスケーラビリティと運用の容易さで優れていると指摘された。複雑な再埋め込みやランク付けよりも、500 語以上のクエリを扱う従来の検索手法の方が実用的であるという経験則が示されている。
“I worked on large scale RAG systems before and can say people vastly underestimate full text search and vastly overestimate embeddings. FTS is really easy, portable and scalable and gets you very far, the 80/20 rule applies. Embeddings appear to be nice and…”
“RAG is basically good old information retrieval with LLMs doing the querying. This can include vector search but it works without that as well. Treating vector search as magic pixie dust that makes search great without effort is not necessarily going to work…”