Apple、画像セットから視覚概念を推論する新タスク「VICIS」を発表
Apple Machine Learning は、画像セットから視覚的概念を推論し新しい入力に適用する能力を評価する新タスク「VICIS」を発表し、現在の最先端ビジョン言語モデルがこの課題で苦戦していることを示した。
キーポイント
Vision-Language Models の限界の特定
複雑なテキスト指示には従えるが、純粋な視覚的文脈からの推論や、例画像セットから共有概念を抽出して適用する能力において、現在の最先端モデルは著しく不足している。
新タスク VICIS の定義
「Visual Concept Inference from Sets (VICIS)」と名付けられた新タスクを導入し、共有概念を持つ少量の画像セット（コンテキスト）とクエリ画像を与え、モデルが概念を維持しつつ新しい画像を生成する能力を評価する。
現状モデルのパフォーマンス
実験結果により、現在の最先端ビジョン言語モデルは VICIS タスクにおいて低いパフォーマンスを示し、視覚的推論における重要なギャップが浮き彫りになった。
重要な引用
current models fail to infer shared concepts from sets of example images and apply them to new inputs
We introduce Visual Concept Inference from Sets (VICIS), a task that evaluates this capability.
state-of-the-art VLMs perform poorly on this task
影響分析・編集コメントを表示
影響分析
この発表は、ビジョン言語モデルが単なるパターンマッチングやテキスト依存の推論を超え、真の意味での視覚的抽象化能力を獲得するための課題を明確に定義した点で重要です。業界全体にとって、現在の SOTA モデルの限界を客観的に示すベンチマークとして機能し、今後の研究開発の方向性を視覚的推論の強化へと導く契機となるでしょう。
編集コメント
現在の生成 AI はテキストと画像の結合処理に注目が集まりがちですが、この論文は「視覚的な文脈から概念を抽出する」というより根源的で困難な課題に焦点を当てており、技術的な成熟度を測る新たな指標として注目すべき内容です。
ビジョン・ランゲージモデル（VLM）は複雑なテキスト指示に従うことは得意ですが、純粋な視覚的文脈から推論を行うことには苦戦します。特に、現在のモデルは例画像のセットから共通概念を推測し、それを新しい入力に適用するというタスクにおいて失敗しています。
私たちはこの能力を評価するための「VICIS（Visual Concept Inference from Sets）」という課題を導入しました。これは、ある概念を共有する少量の画像からなるコンテキストセットと、クエリ画像が与えられた際、モデルがその概念を維持しつつクエリ画像との整合性を保った新しい画像を生成できるかを問うものです。
我々の調査では、最先端の VLM でもこのタスクにおいて性能が低いことが示されました。
原文を表示
Vision-language models (VLMs) can follow complex textual instructions, yet they struggle to reason from purely visual context. In particular, current models fail to infer shared concepts from sets of example images and apply them to new inputs. We introduce Visual Concept Inference from Sets (VICIS), a task that evaluates this capability. Given a small context set of images sharing a concept and a query image, the model must generate new images that preserve the context-defined concept while remaining consistent with the query. We show that state-of-the-art VLMs perform poorly on this task…
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み