RAG の推論コストを6分の1に抑えるにはLLMに入力しない判断が重要

記事の3ポイント

1. 1

   全 LLM パイプラインの隠れたコスト

   すべてのケースを言語モデルにルーティングするアプローチは、監査可能性の欠如、スケーラブルな推論コストの高騰、および容易なケースにおけるモデルドリフトという3つの重大な問題を引き起こす。

2. 2

   決定論的処理による第一関門

   第一段階では厳密な一致や構造化フィールドの比較などルールで明確に解決できるケースを排除し、モデル呼び出しなしで処理することで、全ボリュームの過半数をカバーして完全な説明可能性を確保する。

3. 3

   文脈取得による第二関門

   第一段階で解決できない曖昧なケースに対して、過去の決定や関連文書など具体的な証拠を取得する層を設け、モデルへの入力される情報の質を高めることが生成の精度よりも重要である。