動画解析に特化した次世代マルチモーダルエージェント「Video-DeepResearch」

記事の3ポイント

1. 1

   既存モデルのボトルネック解消

   現在のマルチモーダルエージェントが視覚ツールを無視するバイアスや、内部記憶に依存する知識漏洩という2つの重大な欠陥を特定し、これを解決するアプローチを示した。

2. 2

   新アーキテクチャと学習手法

   知覚と探索を分離したパイプラインを採用し、ウェブ検索前に全フレームにわたる視覚的推論を強制する段階的なツール解放と、GRPOを活用した自律的探索を実現した。

3. 3

   新ベンチマークの構築

   人間とAIが協力して作成した200件の複雑な多段VQAインスタンスからなる「Video-DR-Bench」を策定し、モデル評価のための新たな基準を提供した。