Hugging Face、多模態大モデルの画像差分識別能力を評価するベンチマーク「VDiff-Bench」を発表

マルチモーダル大規模言語モデル（MLLM）は、ビジュアルクエスチョンアニングなどの一般的な視覚理解タスクにおいて高い性能を発揮しますが、2 つの類似画像間で何が変わったかを特定するという基本的な比較スキルには苦戦することが多いです。そこで私たちは、微細な画像差分識別のための難易度の高い多肢選択式ベンチマーク「VDiff-Bench」を発表しました。

VDiff-Bench は、1,756 問の 4 択問題から構成され、位置、モーション、領域の色、全体の画像色、出現・消滅、ノイズ/解像度、テクスチャ、置換/サイズ、OCR/テキスト、照明という 10 の変化カテゴリを網羅しています。各問題は 2 つの画像入力に対応し、4 つの選択肢が用意されています。正解となる差分に加え、2 つの難易度の高いネガティブ記述と、「差分なし」を示すダミー選択肢が含まれます。

このタスクをより困難なものにするため、モデルが実際の差分と近接する意味的な代替案を見分ける必要があるよう、正解条件に依存したネガティブ例を特別に選定しました。11 の最先端なオープンソースおよびクローズドソースの MLLM による実験結果から、微細な視覚比較は依然として脆いことが示されました。モデルの性能はソースや変化カテゴリによってばらつきがあり、ノイズやテクスチャといった微妙な低レベルの変化に対しては継続的な失敗が見られます。例えば、7〜8B パラメータ規模のオープンソース MLLM 3 つは、意味的な変化では 52.5%〜70.6% のスコアを記録しましたが、ノイズやテクスチャといった低レベルの変化では 8.7%〜33.3% と大幅に低下し、2 つの画像入力間に差分がないと誤って判断するケースが多発しました。

驚くべきことに、他のクローズドソースの商用モデルが優れた性能を示す一方で、Grok 4.3 は画像間のノイズやテクスチャの違いを識別する能力で著しく低下し、Kimi K2.5 や K3 といった大規模なオープンソースモデルに大きく後れをとっています。全体として、VDiff-Bench は MLLM（マルチモーダル言語モデル）における比較視覚理解の評価に向けたターゲット型の診断ツールであり、従来の単一画像向けビジョン・ランゲージタスクでは捉えきれない失敗事例を浮き彫りにします。