A100 80GBでOSS VLMのマルチモーダルRAGを比較：A4000 16GBでは起動できなかった理由

記事の3ポイント

1. 1

   低スペックGPUでの動作限界

   テキストRAGではA4000 16GBでも実用的なOSS LLMが存在したが、マルチモーダルRAG用VLMは同環境でどのモデルも起動しなかった。

2. 2

   高スペックGPUでの検証実施

   低スペック環境での動作確認が不可能だったため、検証は社内のA100 80GB環境およびvLLMを用いて行われた。

3. 3

   既存構成との比較評価

   前回のPDF図表RAG評価と同じデータセット（A〜C）とmode4g構成を使用し、回答生成側をOSS VLMに差し替えた場合の成立性を分析した。