画像・テキスト・動画を統合！オープンソースフレームワークで全モダリティ知識ベースを実現

VimRAGの統一されたマルチモーダル記憶。モード別処理からの卒業。

大規模言語モデルに企業向けナレッジベース（RAG）を接続することは、もはや業界の標準となっています。これによりAIは「架空の回答」を行わず、根拠のある回答を提供できるようになります。しかし、ナレッジベースが純粋なドキュメントから、画像と動画が交錯する立体的な資産へと進化すると、従来の手法では対応しきれなくなってきました。

ある製造企業の実際のナレッジベースを想像してみてください：

10万本のPDF技術文書（テキスト＋図表）

5万枚のCAD設計図および生産ラインの写真

数百本に及ぶ操作トレーニング動画、各30〜60分

ここで顧客が「去年の第3四半期、製品の設計はどの部分で変更されたのか？会議の録画ではその設計についてどのように議論されていたか？」と質問した場合、これが真の地獄レベルの難問となります。あなたは単に3つのモードを横断するだけでなく、AIがそれらの暗黙的な関連性を理解させる必要があります。議事録はPDF内のテキストにあり、設計変更はCAD図面の注釈レイヤーに含まれ、力学テストの解釈は47分目の動画内の会話の中に隠されています。

これこそが、全モーダル長文脈RAGの実装における典型的なジレンマです。この課題を解決するため、通義ラボはVimRAGを正式にオープンソース化しました。これは「テキスト＋画像＋動画」の混合ナレッジベースを対象とした統一されたRAGフレームワークです。線形な連結の代わりに動的メモリグラフを用い、AIが人間のように「要点を捉え、筋道を整理し、モードを超えて相互検証する」ことを可能にし、検索の混乱を完全に排除し、複雑な質問に余裕を持って対応します。

Arxiv：https://arxiv.org/abs/2602.12735v1

Github：https://github.com/Alibaba-NLP/VRAG

HuggingFace：https://huggingface.co/collections/Alibaba-NLP/vrag

なぜマルチモーダル長文脈タスクの実装が難しいのか？

このような混合モードの検索強化生成タスクに対処する際、現在の実装ソリューションは往々にして2つの極端な状態を示します：

テキスト中心派：図面をOCRで文字化し、動画に字幕を付与する手法です。その結果、レイアウト、色、空間関係が失われます（純粋なテキストで「赤い非常用ボタンが左下にあり、3mmの面取りシャドウ付きである」という記述がいかに冗長かを想像してみてください。ましてや「動画内のエンジニアがその言葉を発した際の手振り」を問うことなど論外です）。

暴力派：テキスト、画像、動画の各ライブラリを個別に構築し、検索時にはそれぞれが独自に動作した上で、最後に強引に連結する手法です。その結果、テキストで「図を参照せよ」と言われてもAIは対応する画像を見つけられず、動画で「第3.2節の規範に従って操作せよ」と示されても、AIは第3.2節の内容を忘れてしまいます。

より深い課題は、マルチモーダル推論パスの混乱にあります。既存のエージェントは日記のように文脈を線形に積み重ねていますが、混合モーダルなシナリオでは、1回の検索で「テキスト1つ＋画像3枚＋動画2クリップ」が返される可能性があります。ステップが増えるにつれ、単純な文脈管理手法はモデルを「状態の盲視（state blindness）」に陥れ、どのモーダルを検索したか、各モーダル間がどのように相互検証されるか、次のステップで動画を深く掘り下げるべきかテキストに戻って調べるべきかを忘れた状態になり、最終的に類似検索の無限ループに陥ります。

VimRAGの中核メカニズム：人間のような「構造化記憶」

人間が映画を回想するとき、全フレームを再生するのではなく、「重要なプロットの節目」と「視覚的なハイライト」を記憶します。VimRAGはこの認知メカニズムを借鉴し、エージェントの文脈を線形な履歴記録から動的な有向非循環グラフ（DAG: Directed Acyclic Graph）へと進化させ、各ラウンドの動作前にマルチモーダルな記憶を再構築します。これにより、重要な情報を保持しつつ、無効な検索を完全に断ち切ります。

動的記憶グラフ：検索の遡及と試行錯誤を可能にする

VimRAGは「思考－行動－検索」という流水帳的な連結を放棄し、ユーザーの質問（ルートノード）から動的に成長する有向非循環グラフ（DAG）を構築します。各検索は新しいノードを生成し、「テキスト要約＋視覚的証拠＋トポロジカル位置」を厳密にカプセル化します。

その中核は分岐試行錯誤メカニズムにあります。冗長なパスは自動的に「行き止まり」としてマークされ、有効なパスは重要なリンクとして強調表示されて保持されます。この木構造トポロジにより、AIは「探索的検索」と「結論的な検証」を明確に区別でき、類似クエリの無効な生成ループから完全に解放されます。

視覚的エネルギー配分：節約すべきところは省き、使うべきところに投資する

記憶グラフのトポロジ構造に基づき、フレームワークは各ノードの視覚的記憶に対してインテリジェントなクォータ配分を行います。コアノードや新鮮な証拠は高解像度のビジュアルトークンを保持し、重要な詳細が損なわれることなく提示されることを保証します。一方、エッジノードは自動的にテキスト記述へ降格するか、直接剪枝されます。

これは、人間が資料を処理する際に、重要ファイルは原稿を保持し、次要な材料は要約のみを確認することに似ています。この動的戦略は、極めて少ないトークン消費で完全な理解プロセスを担い、真に有効な情報をモデルへ正確に届けます。

グラフ誘導最適化：モデルに「重点を覚える」ことを学ばせる

記憶パラダイムが訓練可能で収束しやすいものとするため、私たちはグラフ誘導戦略最適化（GGPO: Graph-Guided Policy Optimization）を提案し、細粒度の貢献度評価（Credit Assignment）を実現します。訓練は最終的な答えの「正誤」で軌道全体を一括して賞罰するのではなく、グラフトポロジに基づき精密に遡及します。正例では「貢献のない行き止まり」を剪枝し、負例では「検索行動は有効だったが正解に至らなかったノード」を保護します。このメカニズムは勾配分散を大幅に低減し、モデルが構造化記憶ロジックを迅速に内面化することを可能にし、訓練の安定性と効率性の両方を向上させます。

実験検証：大規模なマルチモーダルコーパスを対象とした評価

テストを現実世界の混沌とした状況により近づけるため、私たちは極めて厳格な設定を行いました。各ベンチマーク（Benchmark）ごとに個別のデータベースを構築するのではなく、テキスト、マルチモーダル文書、複数要素を含む画像、長短動画などをすべて1つの統一されたマルチモーダルコーパスに混合しました。これは、モデルがテキスト、画像、動画において正確な検索、記憶、そして理解と生成を実現する必要があることを意味します。

エンドツーエンドの評価において、Qwen3-VL-8Bモデル上でのVimRAGは平均精度50.1%を達成し、複数のベースライン（Baseline）を大幅に上回り、マルチモーダルな長文脈コンテキストにおける情報の希薄化問題を実効的に解決しました。

図aは検索性能の差異を示しています。General Text（一般テキスト）、Image & VisDoc（画像および視覚文書）、Videos（動画）の3つのカテゴリにおいて、VimRAGはMem1やReActというベースラインを大きく上回っています。VimRAGは推論状態の有向非循環グラフ（DAG）を明示的にモデル化することで、コンテキストが拡張されるにつれて生じる重複クエリや無効なインタラクションといった、従来の方法における状態消失の問題を回避しています。

図bのエントロピー（Entropy）曲線は、トレーニングプロセスの安定性の差異を明らかにしています。GGPO（Graph-Guided Policy Optimization：グラフ誘導型ポリシー最適化）を採用したVimRAGは、解ける分布への探索が完了した後、値が低下して安定化します。これは、Graph-Guided Policy Optimizationが微細なクレジットアサインメント（credit assignment）を通じてトレーニング過程の勾配分散を効果的に低減し、より安定したポリシー収束を実現していることを示しています。

図cは各手法のレイテンシ（遅延時間）を比較しています。VimRAGは知覚に基づく記憶アクションを導入していますが、構造化された推論トポロジーを維持することで無効な検索を削減し、結果として全体の推論効率を向上させています。

ケース提示

シナリオ：ユーザーが「Dr. Smithの微積分第4章における、ラグランジュ乗数法の完全な解題過程と数学的証明は何ですか？」と質問した場合。

従来のRAG（Retrieval-Augmented Generation）のアプローチでは、動画コンテンツ全体をOCRで文字起こしすると数式や黒板の書き込みが失われるか、テキスト、画像、動画の各データベースを個別に検索して無理やり組み合わせるため（顧此失彼：片方に注力するともう一方がおろそかになる）、いずれも限界がありました。

VimRAGの思考プロセスは以下の通りです：

第一段階：エージェントが「第3章」を試しに検索し、「単変数極値」についての内容であることを確認します。これは基礎的な内容でラグランジュとは無関係だと判断し、果断に枝刈り処理を行い「行き止まり」としてマークします。

第二段階：トポロジカル・ローカライゼーション（位相的局所特定）を活用し、「第4章 4.3節」を直接特定します。これが「制約最適化」の中核的な章であることを確認します。

第三段階：4.3節内において、まずラグランジュの公式の数学的定義（テキスト）を抽出し、次に黒板の書き込みのスクリーンショット（画像）と関連付け、最後に「例題4.3.2：箱の体積最大化」の完全な導出プロセスを含む動画へ位置特定を行います。

最終結果：主要なパス v_root → v₂ → (v₃, v₄) → v₅ に沿って、数式、定理、例題という三つの証拠を統合し、完全な回答を生成します。

画像、テキスト、動画が交錯する現実的なナレッジベースに対して、従来のRAGにおける「次元削減変換」や「線形積み上げ」はすでにボトルネックに達しています。VimRAGの探求が証明するように、検索支援生成（Retrieval-Augmented Generation: RAG）が多モーダル処理やコンテキストの盲点を離れ、動的なメモリグラフと構造化推論へ転換したとき、大規模言語モデル（Large Language Model: LLM）は初めてモーダルの溝を越えることができます。

私たちはこのフレームワークを通じて、複雑なビジネスシーンにおける全モーダル検索のための、訓練可能で実装可能、かつ反復可能な新たな道筋を提供したいと考えています。マルチモーダルな知識はもはやAIの盲点ではなく、正確な検索、深い理解、信頼性の高い生成が可能となるビジネス資産となります。

大規模言語モデルが現実世界の知識の海において「脈絡を理解し、重点を記憶し、从容に回答する」こと。これこそがVimRAGが一歩踏み出した最初のステップです。

VimRAGの能力をすぐに体験してみたい方は、アリババクラウド百煉（Bailian）ナレッジベースがすでにテキスト、表、画像、音声動画などのマルチモーダル検索生成機能に対応しており、VimRAGの中核メカニズムが順次統合されています。内蔵アルゴリズムのプラクティスがあり、箱を開けてすぐに使用可能——企業ドキュメントの質問応答から商品画像検索、さらには音声動画コンテンツの検索に至るまで、数ステップの設定だけで専用RAGサービス構築が可能です。

👉クイック体験：https://bailian.console.aliyun.com/cn-beijing/?tab=app#/knowledge-base

VimRAGオープンソースプロジェクトは継続的に構築中です。ぜひご体験ください：

https://modelscope.cn/collections/iic/VRAG

💬 あなたのナレッジベースには、どのような課題や難題が潜んでいますか？

コメント欄でのご投稿をお待ちしています：あなたが直面した最も頭痛の絶えないマルチモーダル検索シナリオは何ですか？もしVimRAGが一つの課題を解決できるとしたら、それを何にしたいですか？高評価数上位3名の方には、通義（Tongyi）の公式グッズをプレゼントいたします（イベント締切：4月11日 11:00）

おすすめ記事

FIPO：2%のトークンを正確に追跡し、大規模言語モデル（LLM）の推論ボトルネックを突破！

Wan2.7-Videoは、創作の自由のために存在する

WeChatで開いてジャンプ