動画解析に特化した次世代マルチモーダルエージェント「Video-DeepResearch」
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
研究チームはVideo-DeepResearchを発表し、動画ストリームに対する厳密な時空間推論とウェブ探索を可能にする新アーキテクチャと評価ベンチマークを提示した。
AI深層分析を開く2026年8月5日 18:26
AI深層分析
キーポイント
既存モデルのボトルネック解消
現在のマルチモーダルエージェントが視覚ツールを無視するバイアスや、内部記憶に依存する知識漏洩という2つの重大な欠陥を特定し、これを解決するアプローチを示した。
新アーキテクチャと学習手法
知覚と探索を分離したパイプラインを採用し、ウェブ検索前に全フレームにわたる視覚的推論を強制する段階的なツール解放と、GRPOを活用した自律的探索を実現した。
新ベンチマークの構築
人間とAIが協力して作成した200件の複雑な多段VQAインスタンスからなる「Video-DR-Bench」を策定し、モデル評価のための新たな基準を提供した。
競合他社を上回る性能
35BパラメータのモデルがClaude 4.5-SonnetやGPT-5などのプロプライエタリモデルを凌駕する64.0%の平均精度を達成し、小規模版でも同等以上の競争力を示した。
重要な引用
Preliminary evaluations reveal two critical bottlenecks in current models: (1) modality bias, where agents bypass visual tools in favor of textual search, and (2) parametric knowledge leakage
Our framework adopts a two-stage training recipe: supervised fine-tuning followed by Group Relative Policy Optimization (GRPO)
Empirical results demonstrate that our Video-DeepResearch-35B-A3B establishes a new state-of-the-art of 64.0% average accuracy
編集コメントを表示
編集コメント
この研究は、動画理解における「見る」ことの本質的な難しさを解決しようとする意欲的な試みであり、既存のモデルがテキスト検索に依存する傾向を打破する可能性を示している。特に公開されたベンチマークとトレーニング手法は、今後のマルチモーダルエージェント開発における重要な指針となるだろう。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
私たちは、静止画像から連続する動画ストリームへとマルチモーダルエージェントを拡張した「Video-DeepResearch (Video-DR)」を発表します。この環境では、密な時空間的な推論とオープンウェブの探索が同時に求められます。
先行評価により、現在のモデルには2つの決定的なボトルネックがあることが明らかになりました。(1) モダリティバイアス：エージェントが視覚ツールを迂回し、テキスト検索に頼ってしまう現象。(2) パラメトリック知識の漏洩：モデルが実際のツール実行ではなく、内部記憶に依存してしまう問題です。
これらの課題に対処するため、Video-DR を提案します。これは知覚と探索を分離したパイプラインを採用し、段階的にツールの使用権限を開くことで、ウェブ検索を実行する前に全フレームにわたる徹底的な視覚的推論を強制します。私たちのフレームワークは、教師あり微調整に続く「グループ相対的政策最適化 (GRPO)」という2段階のトレーニングレシピを採用しています。これにより、模倣学習の限界を超える自律的な探索が可能になります。
さらに、人間とAIが協力して作成したベンチマーク「Video-DR-Bench」も整備しました。これは200件の複雑な多段推論型 VQA (Visual Question Answering) インスタンスで構成されています。
実験結果は、私たちの「Video-DeepResearch-35B-A3B」が平均精度 64.0% という新たな最高記録を樹立したことを示しています。これは独自モデルの Claude-4.5-Sonnet (59.0%) を 5.0 ポイント上回り、GPT-5 (52.5%) や Gemini 2.5 Pro (57.5%) を大きく凌駕するものです。また、30B-A3B バリアントも 59.3% の精度を達成し、Claude-4.5-Sonnet と互角の性能を示しました。これは、コンパクトなスケールであっても私たちのトレーニング手法の有効性を証明しています。
コード：https://github.com/Osilly/Vision-DeepResearch
原文を表示
We introduce Video-DeepResearch (Video-DR), extending multimodal agents from static images to continuous video streams, a setting that demands dense spatiotemporal grounding coupled with open-web exploration. Preliminary evaluations reveal two critical bottlenecks in current models: (1) modality bias, where agents bypass visual tools in favor of textual search, and (2) parametric knowledge leakage, where models rely on internal memory rather than genuine tool-augmented execution. To address these challenges, we propose Video-DR, featuring a decoupled perception-exploration pipeline with stage-wise tool unlocking that compels exhaustive cross-frame visual grounding prior to web retrieval. Our framework adopts a two-stage training recipe: supervised fine-tuning followed by Group Relative Policy Optimization (GRPO), enabling autonomous exploration that breaks the imitation-learning ceiling. Furthermore, we curate Video-DR-Bench, a human-AI collaborative benchmark comprising 200 complex, multi-hop VQA instances. Empirical results demonstrate that our Video-DeepResearch-35B-A3B establishes a new state-of-the-art of 64.0% average accuracy, surpassing proprietary Claude-4.5-Sonnet (59.0%) by 5.0 points and significantly outperforming GPT-5 (52.5%) and Gemini 2.5 Pro (57.5%). The 30B-A3B variant achieves 59.3%, competitive with Claude-4.5-Sonnet and demonstrating the effectiveness of our training paradigm even at compact scale. Code: https://github.com/Osilly/Vision-DeepResearch.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み