LLM-jp、視覚言語モデル「LLM-jp-4-VL 9B」を公開しデータセット再構築

著者: 杉浦一瑳とLLM-jpマルチモーダルWGチーム

概要

このたびLLM-jpは視覚言語モデル LLM-jp-4-VL 9B を公開しました。

LLM-jp-4-VL 9Bは、国産大規模言語モデル llm-jp-4-8b-thinking をマルチモーダル化した約9Bパラメータの視覚言語モデルです。

2026年4月に公開した LLM-jp-4-VL 9B beta は、英語マルチモーダルデータセットFineVisionと、日本語マルチモーダルデータセットJagleを用いて学習しました。

しかし、FineVisionには、利用規約などの観点からオープンソースAIの定義を満たす基盤モデルの開発に懸念のあるデータが一部含まれていました。

この問題に対処するために、我々はFineVisionの各サブセットについてライセンス・利用規約およびデータ品質を精査し、問題のあるデータを削除・修正した RefinedVision を新たに構築しました。

さらに、LLM-jp-4-VL 9Bではbeta版から以下のような変更を行いました。

ベースLLMを llm-jp-4-8b-instruct から llm-jp-4-8b-thinking に変更

FineVisionをRefinedVisionに置き換え、Nemotron-Image-Training-v3、llm-jp-4-thinking-sft-dataを追加

学習ステップ数を約1.33倍に増加

評価の結果、beta版と比較して、テキストのみのタスクの性能が大きく向上し、高難度図表理解タスクでも性能が向上しました。

一方で、Qwen3.5-9Bと比較すると多くのタスクで依然として大きな性能差が確認されました。

今回、以下のリソースを公開しています。

LLM-jp-4-VL 9B: Hugging Face

RefinedVision: Hugging Face Dataset

simple-evals-mm (v0.3.0): GitHub

RefinedVisionの構築

FineVisionは英語の大規模マルチモーダルデータセットです。185個のサブセットで構成され、合計約2,420万事例のVQAを含みます。

FineVisionは視覚言語モデルの学習に非常に有用なリソースですが、以下のような問題があります。

ライセンス・利用規約上問題があるデータを含む（例：GPT-4oの出力データのような、利用規約の制約のためにオープンソースAIの定義を満たす基盤モデル開発の利用に懸念があるデータ）

画像の品質に問題があるデータを含む（例：合成された図表画像において、ラベルが重なっていて判読できない事例）

QAの品質に問題がある事例（例：正解が存在しない問題）

我々は、これらの問題に対処するために、以下の図に示す構築方法で、FineVisionの修正版データセットRefinedVisionを構築しました。

image図: RefinedVision構築パイプライン

FineVisionに含まれる各サブセットについて、ライセンス・利用規約を確認するとともに、サンプルしたVQA事例を目視で確認し、185 サブセットを以下の3つに分類しました。

Removed : ライセンス・利用規約または画像品質などの観点から除外したサブセット

Regenerated: 元のQAにライセンスまたは品質上の問題があり、QAを再生成したサブセット

As-is: ライセンス・利用規約およびVQA品質に問題がなく、そのまま利用したサブセット

分類サブセット数

Removed61

Regenerated58

As-is66

Regeneratedのサブセットについて、QAの再生成には Qwen3.5-397B-A17B を利用しました。QA再生成用のプロンプトはカテゴリごとに統一して設計しました。

元のFineVisionは推論過程を含まないデータで構成されていましたが、再生成を行うサブセットのうち、Math、Science、Chart & Table カテゴリについては、回答に至る推論過程を要約した思考パートを追加しました。

このようにして、ライセンス・利用規約とデータ品質の両方を考慮した約1,200万事例からなるRefinedVisionを構築しました。

RefinedVisionの構築による性能への影響を確認するため、Jagle + FineVisionとJagle + RefinedVisionの比較実験を行いました。

実験のために、LLM-jp-4-VL 9Bと同様のモデルアーキテクチャを用いて、小規模な30,000ステップの学習を行いました。

10個の英語タスクにおける平均性能は以下の通りです。

DataEN Avg

Jagle + FineVision0.708

Jagle + RefinedVision0.715

RefinedVisionを用いた場合でも、FineVisionを用いた場合と同程度の性能が得られました。

モデルアーキテクチャ

LLM-jp-4-VL 9Bは、beta版と同様にInternVL3.0の構成を参考にした視覚言語モデルです。

以下の3つのコンポーネントから構成されています。

ベースLLM: llm-jp-4-8b-thinking (8.6B)

視覚エンコーダ: google/siglip2-so400m-patch16-512 (0.4B)

マルチモーダルプロジェクタ: 2層MLP

また、高解像度画像に対応するため、画像のアスペクト比に応じて画像を複数のタイルに分割する動的タイリングを採用しています。

学習データ

LLM-jp-4-VL 9Bでは、以下の4つのデータセットを利用しました。合計で約2,930万事例です。

データセット事例数

Jagle9,154,524

RefinedVision11,965,359

Nemotron-Image-Training-v3 subset4,967,370

llm-jp-4-thinking-sft-data3,199,986

Total29,287,239

Jagleは、約920万事例からなる日本語マルチモーダル学習データセットです。WAONやWiki-JA-Pair、llm-jp-pdf-collection-v1など様々な日本語マルチモーダルデータをもとに構築されており、beta版の学習にも利用しています。

RefinedVisionは、FineVisionを修正して構築した約1,200万事例の英語マルチモーダルデータセットです。

Nemotron-Image-Training-v3は、NVIDIAによって開発されたマルチモーダルデータセットです。このデータには推論過程を含む事例が多く含まれており、推論能力の向上を目的として利用しています。全体のうち、オープンソースAIを満たす上で問題のないサブセットのみを利用しました。

llm-jp-4-thinking-sft-dataは、llm-jp-4-8b-thinkingの学習に用いられたテキストのみの推論過程付きSFTデータです。beta版ではテキストのみのデータ量が少なく、マルチモーダル化によって言語能力が低下する問題がありました。今回はllm-jp-4-thinking-sft-dataを用いることで言語能力を維持することを目指しました。

学習設定

LLM-jp-4-VL 9Bは以下の設定で学習しました。

学習ステップ: 120,000ステップ

グローバルバッチサイズ: 1,024事例

最大トークン長: 4,096トークン

学習率: ピーク学習率としてLLMおよびVision encoderは2e-5、プロジェクタは1e-4に設定しました。 学習率スケジュールはWarmup–Stable–Decayを採用しました。最初の2,000ステップでウォームアップを行った後、学習全体の80%までは一定の学習率を維持し、その後は最終ステップにおいてピーク学習率の1/10となるよう線形に減衰させます。

学習対象のパラメータ: 全パラメータ

学習時間: 230時間 (128 × NVIDIA H200 GPU使用時)

評価

評価にはLLM-jpが開発するVLM評価フレームワーク simple-evals-mm を使用しました。beta版リリース時の評価タスクに加えて、テキストのみのタスクや高難度図表理解タスク、数学タスクを追加しました。

評価モデルは以下の通りです。Qwen3.5-9B、Gemma 4 12Bは長考することがあるためmax new tokensを増やしています。

LLM-jp-4-VL 9B (9.05B)

temperature = 0

max_new_tokens = 32k

reasoning effort = medium

LLM-jp-4-VL 9B beta (9.05B)

temperature = 0

max_new_tokens = 32k

InternVL3.5-8B (8.53B)

temperature = 0

max_new_tokens = 32k

Qwen3.5-9B (9.65B)

recommended configuration (temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0)

max token length = 64k

Gemma 4 12B (11.95B)

recommended configuration (temperature=1.0, top_p=0.95, top_k=64)

max_new_tokens = 64k

以下にタスクごとの評価結果を示します。スコアは3回の平均です。

image図：タスク別評価結果

以下にカテゴリ別の平均スコアを示します。（100事例未満のタスクは平均の計算から除外。）

image図：カテゴリ別評価結果

LLM-jp-4-VL 9Bは、beta版と比べて、テキストのみのタスクの性能が大きく改善しました。この理由として、ベースLLMをllm-jp-4-8b-thinkingに変更したことやllm-jp-4-thinking-sft-dataを用いたことが考えられます。

また、HakushoBenchなどの高難度図表理解タスクでもbeta版より性能が向上しています。

一方で、最高性能のQwen3.5-9Bと比べるとかなりの性能差があります。特に推論が重要なSTEMタスクで大きな差があります。

LLM-jp-4-VL 9Bにはまだ多くの改善余地があることが明らかになりました。

以下は、LLM-jp-4-VL 9Bの学習中の各タスクの性能推移を示した図です。

image図: LLM-jp-4-VL 9Bの学習中の各タスクの性能推移

多くのタスクで、学習が進むにつれて性能が向上していますが、STEMなどのタスクでは途中から性能が伸びていないことがわかります。

モデルの出力例

LLM-jpのSlackのplaygroundチャンネルで収集されたモデルの出力事例を紹介します。

以下はモデルが正しく答えられた例です。

image図：算数の問題に対する回答結果（画像の出典：介護レク広場）

足し算や引き算の穴埋め問題を正しく答えられています。

image図：LLM-jp-4-VL 9Bの評価結果テーブルを抽出する問題に対する回答結果（画像は筆者により作成）

評価結果の表を、マークダウンとして正確に抽出できています。

image図：三角形の面積を求める問題に対する回答結果（画像の出典：小学校算数のわかりやすい教え方）

三角形の面積を公式を用いて正しく計算できています。

以下はモデルの誤り事例です。

image図：漫画「ちいかわ」（原作：ナガノ）の一場面を要約させる問題に対する回答結果（画像の出典：ちいかわ公式Xアカウント）

ちいかわの漫画の一場面を要約させてみると、受験番号の「93」という数字と動物の数を混同したり、「合格者はこちらに集まるように」という吹き出しの発言者を誤って特定したりするなど、画像内の複数の要素を適切に関連付けて理解することに課題があることがわかります。

課題

LLM-jp-4-VL 9Bは現時点で以下のような課題があります。

推論過程における繰り返し: LLM-jp-4-VL 9Bでは、推論中に同じ内容を繰り返し、最終回答を生成できない場合があります。今後は、より高品質な推論データの構築を通じて改善を目指します。

Reasoning effortの制御: LLM-jp-4-VL 9Bでは、reasoning effortパラメータに応じた推論過程の長さの制御が十分にできていません。今後は、reasoning effortを制御可能なVLMを用いて、さまざまなreasoning effortに対応した推論データの構築を検討しています。

ロングコンテキスト: 現在のマルチモーダル学習では最大コンテキスト長が4,096トークンと短く、マルチターンや長い入力、長い推論を要するタスクで課題があります。今後は、より長いコンテキストに対応した学習を行います。

マルチターン: LLM-jp-4-VL 9Bは、複数ターンの対話で過去の会話内容を十分に踏まえられない場合があります。マルチターンの学習データ不足が一因と考えられるため、今後は対話データの拡充を検討しています。

まとめ

本稿では、新たに公開した視覚言語モデル LLM-jp-4-VL 9B を紹介しました。LLM-jp-4-VL 9Bは公開済み学習データセットのみで学習されており、再現性や透明性に優れています。

今後はさらに高性能で使いやすいモデルの開発を目指します。

引用

“bibtex

@inproceedings{ sugiura2026jagle,

title={Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision{\textendash}Language Models},

author={Issa Sugiura and Keito Sasagawa and Keisuke Nakao and Koki Maeda and Ziqi Yin and Zhishen Yang and Shuhei Kurita and Yusuke Oda and Ryoko Tokuhisa and Daisuke Kawahara and Naoaki Okazaki},

booktitle={Third Conference on Language Modeling},

year={2026},

url={https://openreview.net/forum?id=NeDAVROjqy}

}

@misc{sugiura2026jammevalrefinedcollectionjapanese,

title={JAMMEval: A Refined Collection of Japanese Benchmarks for Reliable VLM Evaluation},

author={Issa Sugiura and Koki Maeda and Shuhei Kurita and Yusuke Oda and Daisuke Kawahara and Naoaki Okazaki},

year={2026},

eprint={2604.00909},

archivePrefix={arXiv},

primaryClass={cs.CV},

url={https://arxiv.org/abs/2604.00909},

}

“`

付録

タスクごとの評価結果の比較表

BenchmarkLLM-jp-4-VL 9BbetaInternVL3.5-8BQwen3.5-9BGemma-4-12B

Document Understanding

AI2D80.176.283.490.879.9

ChartQA64.970.575.086.472.6

JGraphQA86.787.885.998.889.5

CharXiv-Reasoning40.733.239.969.155.8

ChartQAPro30.827.833.558.953.9

HakushoBench46.341.339.474.371.5

DocVQA89.590.189.494.288.5

InfoVQA67.469.668.988.281.5

TextVQA88.487.783.987.773.8

JDocQA74.073.759.593.369.4

CC-OCR-JA70.367.651.579.847.8

BusinessSlideVQA60.662.257.484.169.3

STEM

MMMU50.452.365.379.172.7

JMMMU47.546.850.969.663.8

MathVision13.217.430.671.451.4

Multi-Image

BLINK47.346.254.771.358.4

JA-Multi-Image-VQA75.588.762.392.584.9

2D/3D Grounding

CountBenchQA79.282.978.493.572.0

General VQA

OK-VQA67.565.870.566.158.7

RealWorldQA70.571.264.479.064.3

CVQA-JA69.570.250.572.868.5

MECHA-ja69.763.656.668.471.5

Heron-Bench63.663.650.461.740.5

JA-VLM-Bench65.370.146.972.151.7

Text-only

GPQA40.929.348.082.873.4

MMLU-Redux84.273.580.192.191.2

SimpleQA6.15.83.38.74.3

MATH79.746.162.796.595.7

カテゴリごとの評価結果比較表

CategoryLLM-jp-4-VL 9BbetaInternVL3.5-8BQwen3.5-9BGemma-4-12B

Document Understanding66.765.664.083.871.1

STEM37.038.948.973.462.7

Multi-Image47.346.254.771.358.4

2D/3D Grounding79.282.978.493.572.0

General VQA69.367.760.571.665.7

Text-only52.738.648.570.066.1

All61.058.359.378.368.0

Ja-Avg65.664.156.580.168.9

En-Avg58.955.660.777.467.5

投稿 LLM-jp-4-VL 9Bリリース は LLM-jp に最初に表示されました。