Hugging Face、多模態大モデルの画像差分識別能力を評価するベンチマーク「VDiff-Bench」を発表

記事の3ポイント

1. 1

   新ベンチマークの導入

   1,756 の多肢選択問題からなる「VDiff-Bench」が公開され、位置や色、テクスチャなど 10 のカテゴリにおける画像差分識別能力を評価する。

2. 2

   モデル性能の限界

   11 の最先端オープンおよびクローズドソース MLLM を実験した結果、微細な低レベル変化に対する検出が依然として不安定であることが示された。

3. 3

   特定カテゴリでの失敗

   7-8B 規模のオープンソースモデルは意味的な変化では一定のスコアを得る一方、ノイズやテクスチャの変化では 30% を下回る低い性能を示した。