Apple、画像セットから視覚概念を推論する新タスク「VICIS」を発表

ビジョン・ランゲージモデル（VLM）は複雑なテキスト指示に従うことは得意ですが、純粋な視覚的文脈から推論を行うことには苦戦します。特に、現在のモデルは例画像のセットから共通概念を推測し、それを新しい入力に適用するというタスクにおいて失敗しています。

私たちはこの能力を評価するための「VICIS（Visual Concept Inference from Sets）」という課題を導入しました。これは、ある概念を共有する少量の画像からなるコンテキストセットと、クエリ画像が与えられた際、モデルがその概念を維持しつつクエリ画像との整合性を保った新しい画像を生成できるかを問うものです。

我々の調査では、最先端の VLM でもこのタスクにおいて性能が低いことが示されました。