LangChain、スライド資料向けマルチモーダル RAG テンプレート公開

関連リンク

• LangChainの公開ベンチマーク評価notebooks
• プレゼンテーション資料におけるマルチモーダルRAG用のLangChain テンプレート

Motivation

LLM アプリ開発において、検索拡張生成（RAG）は最も重要な概念の一つです。LLM のコンテキストウィンドウには 多様な形式のドキュメント を 読み込ませる ことが可能で、対話型チャットや Q&A アシスタントの構築を容易にします。これまでの RAG アプリは主にテキスト中心でしたが、実際には多くの情報が視覚コンテンツとして伝えられています。例えば、スライド資料は投資家向けプレゼンテーションから社内コミュニケーションまで、幅広いユースケースで頻繁に利用されています。

GPT-4V などのマルチモーダル LLM が登場したことで、スライド資料に含まれる視覚情報を活用した RAG の実現も可能になりつつあります。ここでは、この課題に取り組む2つの異なるアプローチを紹介し、スライド資料を対象とした RAG を評価するための公開ベンチマークを用いて、それぞれの手法のトレードオフを明確にします。さらに、スライド資料向けのマルチモーダル RAG アプリを迅速に構築するためのテンプレートも提供します。

Design

このタスクは、テキストドキュメントに対する RAG アプリと同様の仕組みです。ユーザーの質問に基づいて関連するスライドを検索し、その結果をマルチモーダル LLM（GPT-4V）に渡して回答を合成します。この課題に取り組むには、少なくとも2つの一般的な方法があります。

マルチモーダル埋め込み: スライドを画像として抽出し、マルチモーダル埋め込みモデルを用いて各画像を埋め込みます。その後、ユーザーの入力に基づいて関連するスライド画像を検索し、GPT-4V に渡して回答を合成します。この手法については、Chroma と OpenCLIP 埋め込みを利用した cookbook を以前公開しています。

マルチベクトル検索: スライドを画像として抽出し、GPT-4V で各画像の要約を作成します。その要約に元の画像へのリンクを含めて埋め込み、ユーザーの入力との類似度に基づいて関連する画像を検索します。最後に、これらの画像を GPT-4V に渡して回答を合成します。この手法については、マルチベクトル検索 を利用した cookbook を以前公開しています。

各アプローチのトレードオフは明白です。マルチモーダル埋め込みは設計がシンプルで、テキストベースの RAG アプリケーションと同様のアプローチですが、視覚的に類似したグラフや表の検索能力については選択肢が限られており、疑問点も残っています。

一方、画像要約方式は成熟したテキスト埋め込みモデルを活用できるため、グラフや図を詳細に記述することが可能です。ただし、この設計には画像要約に伴う複雑さとコストの高さという課題があります。

評価

これらの手法を検証するため、視覚的要素と定性的な要素が混在する現実的なスライド資料として、Datadog の最新の 決算発表資料 を採用しました。このスライドデッキを対象に、10 問の質問を含む小規模な公開 LangChain ベンチマーク を作成しています。

ベンチマークでの評価に関するドキュメントは、こちら と こちら で確認できます。

念のため、スライドの内容を自然言語で記述した質問から該当するスライドを検索できるか確認しました（コードはこちらをご覧ください）。

ベンチマークで用いた質問と回答のペアは、スライドの視覚的なコンテンツに基づいています。上記の 2 つの RAG（Retrieval-Augmented Generation）手法を LangSmith で評価し、テキスト抽出のみを用いた RAG（Top K RAG (text only)）と比較しました。

アプローチ

スコア（CoT 精度）

• 手法：スコア
• Top k RAG (text only)：20%
• Multi-modal embeddings：60%
• Multi-vector retriever w/ image summary：90%

LangSmith では、各実験の結果を並べて確認できる比較ビューを提供しています。詳細な評価結果の比較は、こちら の公開ページで確認できます。以下の画像がその実行結果の比較ビューです。

上記の比較分析に基づき、各質問に対する検索結果を比較することができます。以下のスライドでは、評価セット内のすべての質問と回答のペア、および関連する LangSmith のトレースについて詳しく解説しています。

洞察

• マルチモーダル手法はテキストのみ RAG を大きく上回る。テキストのみを読み込む RAG が 20% の性能だったのに対し、マルチモーダルアプローチでは 60% と 90% という顕著な向上が見られました。スライドの内容を推論する上で視覚的文脈の保持が重要であるため、この結果は予想通りです。
• GPT-4V は画像からの構造化データ抽出に強力です。例えば、こちらの トレース をご覧ください。顧客数のカウントを問う質問に対し、広範な視覚要素が混在するスライドから情報を取得する必要がありますが、GPT-4V はこれを正しく抽出できます。

スライドデッキにおけるマルチモーダル RAG の中核的な課題は、適切な画像の検索です。前述のスライドや本文でも触れられている通り、正しい画像が取得できれば GPT-4V は通常、質問に正しく回答できます。しかし、画像の検索こそが最大の難関でした。

画像要約を行うことで、マルチモーダル埋め込みと比較して検索精度が大幅に向上することが判明しました。ただし、その代償として、要約を事前計算する際の複雑さとコストが増大するという課題もあります。本質的に必要とされるのは、視覚的に類似したスライド同士を見分けることのできるマルチモーダル埋め込みです。

OpenCLIP には 多様なモデル が用意されており、これらを実験してみる価値があります。

デプロイ

本ユースケースにおけるマルチモーダル RAG アプリケーションのテストを容易にするため、Chroma と OpenCLIP のマルチモーダル埋め込みを両方活用した テンプレート を公開します。これにより、すぐにでも利用を開始することが可能になります。プレゼンテーション資料をアップロードし、README に従うだけで完了です（ベクトルストアの構築とプレイグラウンドの実行には、たった 2 つのコマンドを実行するだけ）。下図は、Datadog の決算発表資料 を対象とした対話型チャットプレイグラウンド（左側）と、適切なスライドの検索結果を示す LangSmith のトレース（右側）です。

結論

マルチモーダル LLM は、スライド資料の視覚コンテンツを RAG アプリケーションで活用する可能性を秘めています。私たちは Datadog の投資家向けプレゼンテーション資料を用いて、質問と回答のペアからなる公開ベンチマーク評価セットを構築しました（こちら）。このベンチマークで、2 つのアプローチによるマルチモーダル RAG の性能をテストした結果、どちらもテキストのみでの RAG よりも優れたパフォーマンスを示すことがわかりました。

しかし、マルチモーダル RAG を実現する各アプローチにはトレードオフが存在します。スライドごとの要約を作成すれば検索精度は向上しますが、その分、事前にすべてのスライドの要約を生成する必要が生じます。一方、マルチモデルの方が性能上限は高いと考えられますが、現状の選択肢はいまだ限られており、私たちのテストではテキスト要約よりも劣る結果となりました。

マルチモーダル RAG アプリケーションのテストと展開を支援するため、私たちは テンプレート も公開しています。

関連コンテンツ

ケーススタディ

LangGraph

LangSmith

チュートリアルとハウツーガイド

LangGraph と LangSmith を活用した Lyft のカスタマーサポート向けセルフサービス AI エージェントプラットフォーム構築事例

Akshay Sharma

2026 年 5 月 27 日

10 分

LangSmith

エージェントアーキテクチャ

ディープエージェント

チュートリアルとハウツーガイド

エージェント改善のためのエージェント、LangSmith Engine の構築方法

パラス・シャー

2026年5月19日

17 分

チュートリアルとハウツー

LangChain の GTM エージェントをどのように構築したか

LangChain チーム

2026 年 3 月 9 日

11 分

エージェントが実際に何をしているかを確認する

エージェントエンジニアリングプラットフォーム「LangSmith」は、開発者がすべてのエージェントの決定をデバッグし、変更の評価を行い、ワンクリックでデプロイできるように支援します。