多モーダルモデルの中間視覚状態利用を検証する評価フレームワーク「See2Think」を公開

記事の3ポイント

1. 1

   See2ThinkBench の導入

   12 のタスクカテゴリにわたる 1,200 のオープンエンドな視覚依存問題を収録した新しいベンチマークセットを公開する。

2. 2

   VAoT によるプロセス分析

   テキスト思考、視覚行動、レンダリング状態、推論の連鎖を記録する Visual Action-of-Thought (VAoT) を導入し、中間状態の生成と利用を詳細に診断する。

3. 3

   視覚推論の依存性とボトルネック

   モデルや環境によって視覚推論の結果が強く依存しており、忠実なレンダリングが最大のボトルネックであることが示された。