文脈すべてを重視：拡張キャッシュ増強生成 - Orbis のルイス・ロメロ＝セビージャ

文脈すべてが重要になる時：GraphRAG の限界を超えた新手法「拡張キャッシュ増強生成」

金融取引記録やニュースフィードなど、データが絶えず更新されながら過去の文脈との深い関係性が重要なビジネス現場では、従来の RAG や GraphRAG には明確な限界がありました。そこで提案されたのが、大規模モデルの KV キャッシュを活用し、複数のコンテキストバケットを並列処理して統合する新手法「拡張キャッシュ増強生成（Extended Cache Augmented Generation）」です。

このアプローチは、計算コストのかかる GraphRAG の再構築を避けつつ、単純なベクトル検索よりも高精度な回答を実現します。ドメイン分類に依存せず、関連性が低いと見えた文脈も無視しないことで、変化の激しい環境でも「すべての文脈」を重視した AI 応答が可能になります。

既存手法が直面する二重の壁：更新速度と全文脈の矛盾

まず、なぜこの新技術が必要なのかを理解するために、現在の主要なアプローチが抱える課題を見てみましょう。多くのエンタープライズユースケースでは、ドキュメントコレクションが非常に速く陳腐化し、新しい情報に置き換わります。同時に、ユーザーの質問に対して「コレクション内のすべての文書」が重要であるという前提があります。

単純な RAG（Retrieval-Augmented Generation）から始めると、ベクトルデータベースと埋め込みモデルを用いて類似したベクトルを検索し、LLM に回答させます。この手法はドキュメントの更新が速くても対応可能ですが、検索結果に漏れが生じやすく、「特定のシナリオではコレクション内のすべての文書が質問に答えるために重要である」という要件を満たせません。

一方、文書間の詳細な関係性をマッピングする GraphRAG は強力です。LLM を使ってエンティティと関係を抽出し、知識グラフを構築することで、ネットワーク全体を探索して完全な回答を生成します。しかし、この手法には致命的な弱点があります。

データが頻繁に置き換わるたびに知識グラフを再計算するのは、計算コストが非常に高く、相対的に長い時間を要します。

データが深く相互接続されているだけでなく、絶えず入れ替わる環境では、GraphRAG の計算リソースと時間のオーバーヘッドは実用性を損ないます。ここで登場するのが、大規模モデルの特性を逆手に取った新しいアプローチです。

文脈すべてをキャッシュする：KV キャッシュを活用した並列処理

新手法「拡張キャッシュ増強生成（CAG）」は、大規模コンテキストウィンドウを持つモデルの KV キャッシュ（Key-Value Cache） を活用します。KV キャッシュとは、LLM がトークンを生成する際に計算結果を保存しておくメモリ領域のことです。

この技術では、すべてのドキュメントを一度にコンテキストウィンドウに放り込むのではなく、複数の「バケット」に分散して並列処理を行います。

1. 分散: ドキュメントを複数のバケットに分け、それぞれを異なる KV キャッシュとしてロードします。
2. 並列回答: 各キャッシュは独立して、その内容に関する質問に対して回答を試みます。
3. 最適化: コンテキストウィンドウの制限を避けるため、ドキュメント数を最小限に保ちつつバランスよく配置します。

これにより、GraphRAG のような複雑なグラフ再構築を行わずに済むため、知識構築プロセスは大幅に高速化されます。また、単純な RAG よりも広範な文脈を保持できるため、回答の精度が向上します。

スーパーバイザーモデルによる統合：無関係と見えた文脈を見逃さない

では、分散された各バケットの結果はどうやって統合するのでしょうか？ここには「スーパーバイザー（監督者）モデル」という別のスマートな AI が登場します。

従来の手法では、ドキュメントをドメインごとに整理し、関連性が高そうなカテゴリのみを検索しがちです。しかし、この新アプローチでは文書を特定の順序で並べるのではなく、ランダムに近い形で分散させます。その上で、スーパーバイザーモデルが各バケットを探索します。

実際には、非常に文書間の密接な関係が存在し、スーパーバイザーは最初に見た目に関係ないと見えたドメインも無視しません。

スーパーバイザーモデルは、各キャッシュから情報を取得しながら内部的に理解を深めていきます。もし興味深い情報を見つけた場合、特定のバケットに対してフォローアップ質問を行うことで、より詳細な情報を引き出します。この「探索と質問」のプロセスが並列で進むため、最終的に統合された回答は、文脈の断片化を防ぎつつ、関連性の低い文脈も拾い上げる高精度なものになります。

コストと速度のトレードオフ：万能解はない

もちろん、この手法にも課題があります。最大の懸念点は KV キャッシュのコストです。大規模モデルのキャッシュを維持するには、計算リソースとメモリコストがかかります。

各キャッシュの寿命を最適化することでコストを削減する方法がありますが、計算量、コスト、速度の間には依然としてトレードオフが存在します。

現状では万能な解決策は存在せず、それぞれの手法が特定の課題に対して最適なソリューションとなります。単純な RAG は高速で安価ですが精度に限界があり、GraphRAG は高精度だが更新コストが高いです。そして今回提案された CAG は、「頻繁に更新されるデータ」かつ「全文脈の重要性」を両立させるための最適解の一つとして位置づけられます。

まとめ：変化の激しい世界で「文脈」をどう守るか

拡張キャッシュ増強生成は、GraphRAG の計算コストの高さを避けつつ、単純なベクトル検索の限界を超えた新しいパラダイムです。データが絶えず更新され、かつ過去の文脈との関係性が決定的に重要な金融やニュース領域において、リアルタイム性の高い AI エージェントの実装を現実的なコストで可能にする技術として注目されます。

計算リソースと速度のバランスを取りながら、いかにして「すべての文脈」を有効活用するか。これが次世代の RAG 技術を語る上で最も重要な問いとなっています。