5つの重要なマルチモーダルRAG機能でAI対応知識システムを構築

企業データは本質的に複雑です：実世界の文書はマルチモーダルであり、テキスト、表、チャートやグラフ、画像、図表、スキャンされたページ、フォーム、埋め込みメタデータに及びます。財務報告書は表に重要な洞察を載せ、エンジニアリングマニュアルは図表に依存し、法律文書には注釈付きやスキャンされたコンテンツが含まれることがよくあります。 検索拡張生成（RAG）は、LLMを信頼できる企業ナレッジに基づかせるために作られました—クエリ時に関連するソースデータを検索することで、虚構を減らし精度を向上させます。しかし、RAGシステムが周囲のテキストのみを処理する場合、表、チャート、図表に埋め込まれた重要なシグナルを見逃し、不完全または誤った答えにつながります。 インテリジェントエージェントは、それが構築されるデータ基盤と同じ程度にしか優れていません。したがって、現代のRAGは本質的にマルチモーダルでなければなりません—企業レベルの精度を達成するために、視覚的およびテキスト的な文脈の両方を理解できる必要があります。NVIDIA Enterprise RAG Blueprintはこのために構築されており、非構造化企業データを、その上に構築されるインテリジェントシステムに接続するモジュラー参照アーキテクチャを提供します。 このブループリントはまた、NVIDIA AI Data Platformの基盤層として機能し、コンピュートとデータの間の伝統的なギャップを埋めるのに役立ちます。データ層に近い場所で検索と推論を可能にすることで、ガバナンスを維持し、運用上の摩擦を減らし、企業ナレッジをインテリジェントシステムがすぐに使用できるようにします。結果は、モデルと共に検索、エンリッチメント、推論が可能なストレージという、現代的なAIデータスタックです。 Enterprise RAG Blueprintは多くの設定可能なオプションを提供しますが、この記事では、企業ユースケース全体で精度と文脈的関連性を最も直接的に改善する以下の5つの主要な構成に焦点を当てます： ベースラインマルチモーダルRAGパイプライン クエリ分解 高速かつ正確な検索のためのメタデータフィルタリング マルチモーダルデータのための視覚的推論 この記事ではまた、ブループリントをAIデータプラットフォームに組み込むことで、従来のリポジトリをAI対応ナレッジシステムに変革する方法について説明します。 このブログの精度指標は、RAGASフレームワークを使用し、よく知られた公開データセットを用いて測定されています。NVIDIA RAG Blueprintシステムの評価について詳しくはこちらをご覧ください。 1. ドキュメントの取り込みと理解 エージェントが洞察を提供する前に、それはあなたのデータに完全に基づいていなければなりません。この基盤となる構成は、インテリジェントなドキュメント取り込みとコアRAG機能に焦点を当てています。 Enterprise RAG Blueprintは、NVIDIA NeMo Retrieverを使用して、テキスト、表、チャートやグラフ、インフォグラフィックなどのマルチモーダル企業コンテンツを抽出し、そのコンテンツをテキストに埋め込んでベクトルデータベースにインデックス化します。クエリ時には、ブループリントは意味的検索、再ランキング、およびNemotron LLMを実行して、根拠に基づいた回答を生成します。 パフォーマンスを最大化するため、このベースラインは意図的に画像キャプション生成と重い推論を避けており、本番環境への導入に理想的な出発点となっています。このベースラインをDockerでデプロイしてください。 ドキュメント取り込みと理解の利点 この基盤となる構成は、ブループリントの最高効率パイプラインであり、精度とスループットを最適化しつつ、GPUコストと最初のトークンまでの時間（TTFT）を低く抑えます。この構成は、検索品質とLLMの根拠付けに関するベースラインパフォーマンスを確立します。 表1は、いくつかのデータセットにわたる全体的な影響をまとめています。 精度（v2.3 デフォルト） MM = マルチモーダル, TO = テキストのみ 表1. ベースライン構成の精度への影響（高いほど良い） RAGブループリントで推論を有効にすると、LLMが検索された証拠を解釈し、論理的に根拠に基づいた回答を合成できるようになります。これは多くのアプリケーションで精度を向上させる最も簡単な変更です。NVIDIA Enterprise RAG Blueprintの推論を有効にしてください。 表2は、いくつかのサンプルデータセットにわたる全体的な影響をまとめています。 精度（v2.3 デフォルト）＋推論 MM = マルチモーダル, TO = テキストのみ 表2. 推論を有効にした場合の精度への影響 vs ベースライン構成（高いほど良い） 推論の利点 数学的操作や複雑なデータ比較を含むあらゆるユースケースでは、典型的な単純な類似性検索やハイブリッド検索では不十分です。エラーを修正し、正確な文脈理解を確保するには推論が必要です。データセット全体での精度向上は平均約5％であり、いくつかのケースでは推論による劇的な修正が示されています。 FinanceBenchデータセットでは、ベースライン構成はAdobeの2017年度営業キャッシュフロー比率を誤って2.91と計算しました。推論を有効にした後、モデルは正しい答えである0.83を生成しました。さらに、Ragbattleデータセットは、VLMを有効にすることによる精度向上を示しています。 3. クエリ分解 複雑なユーザーの質問に答えるには、多くの場合、データ基盤の複数の場所から事実を引き出す必要があります。クエリ分解は、単一の質問を小さなサブクエリに分割し、それぞれの証拠を検索し、結果を完全で根拠に基づいた応答に再結合します。NVIDIA Enterprise RAG Blueprintのクエリ分解を有効にしてください。 ![図1. RAGパイプライン](https://developer-blogs.nvidia.com/wp-content/uploads/2026/02/rag-pipeline-1-png.webp) ![図2. クエリ分解前後の応答精度](https://developer-blogs.nvidia.com/wp-content/uploads/2026/02/query-decomp-gif.gif)

5つの重要なマルチモーダルRAG機能でAI対応知識システムを構築

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト