NVIDIA の「LocateAnything」が迅速なグラウンディングを実現（8 分読了）

Abstract ## VLM グラウンディングにおける自己回帰的ボトルネックの克服 ビジョン・ランゲージモデル（VLM）は、視覚的グラウンディングと検出を座標トークンの生成問題として定式化することが一般的です。これは、各 2D ボックスを複数の 1D トークンにシリアライズし、これらを主に独立して学習・復号化するアプローチです。このトークンごとの復号化は、ボックス幾何構造が持つ結合された構造と整合せず、厳密な逐次生成のために実用的な推論のボトルネックを生み出します。 私たちは、**並列ボックス復号（Parallel Box Decoding: PBD）**に基づく統合的な生成グラウンディングおよび検出フレームワークである**LocateAnything**を発表します。LocateAnything は、バウンディングボックスやポイントなどの幾何要素を原子単位として単一のステップで復号化することで、ボックス内の幾何的整合性を維持し、大幅な並列処理の可能性を開きます。私たちは、PBD が復号スループットと位置特定精度の両方を向上させることを示します。 さらに、スケーラブルなデータエンジンを発展させ、1 億 3800 万件以上のトレーニングサンプルを有する大規模データセット「LocateAnything-Data」を整備し、高精度な位置特定のためのデータの多様性を大幅に向上させました。広範な評価により、LocateAnything が速度と精度のフロンティアを前進させることが示され、デコードスループットが著しく向上するとともに、多様なベンチマークにおいて高い IoU（Intersection over Union）の位置特定品質も改善されました。これらの結果は、並列ボックスデコーディングと大規模トレーニングデータの相補的な利点が、効率的かつ精密な統合ビジュアルグラウンディングおよび検出を可能にすることを浮き彫りにしています。 Method ## LocateAnything: 並列ボックスデコーディング 高いスループットでのデコーディングと信頼性の高い位置特定を両立させるため、私たちは**Parallel Box Decoding (PBD)**（並列ボックスデコーディング）を基盤とした、VLM（Vision-Language Model：視覚言語モデル）に基づくビジュアル検出およびグラウンディングのための統合フレームワークである「LocateAnything」を提案します。 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/images/related-refine.png) 標準的なトークンデコーディング手法と並列ボックスデコーディング（PBD）の比較。 ## ボックス整合型原子単位 - 入力：画像と自然言語によるクエリ。ビジョンエンコーダーはネイティブ解像度で視覚トークンを抽出し、高精度な位置特定のために微細な空間詳細を保持します。 - パラレルデコーディング：LocateAnything は各バウンディングボックス（またはポイント）を定長の原子単位として扱い、座標トークンの任意のチャンク分割を回避しつつ、一連の平行ステップで完全な座標セット (x1, y1, x2, y2) を予測します。 - アーキテクチャ：Moon-ViT ビジョンエンコーダーと Qwen2.5 言語デコーダーを基盤とし、MLP プロジェクターによって橋渡しされ、視覚トークンをボックス整合型のブロックレベル予測シーケンスへ直接変換します。 ## 柔軟な推論モード - Fast Mode (MTP): 最大スループットを実現するために、複数のボックスを並列に予測します。これは、オンデバイス・ロボティクスや具現化エージェントなど、レイテンシと計算リソースが制約される環境に適しています。 - Slow Mode (NTP): 座標トークンを自己回帰的にデコードして最大限の安定性を確保します。高精度なラベリング、データセットのキュレーション、精度重視のオフライン評価に適切です。 - Hybrid Mode: デフォルトでは Fast Mode を使用しますが、フォーマットの不規則性や空間的な曖昧性が検出された場合は Slow Mode に切り替えます。これにより、速度向上の大部分を維持しつつ、堅牢な出力を保証します。 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/images/method1-refine.png) Parallel Box Decoding を用いた LocateAnything のアーキテクチャ概要。 ## On-Demand Inference: Corrected NTP Re-decoding 並列デコードにおいて*フォーマット不整合*（カテゴリ境界における構文の破損）または*空間的曖昧さ*（密に配置されたオブジェクト間の中間座標）が発生した場合、影響を受けたブロックは破棄され、生成は最後に検証されたプレフィックスに戻ります。その後、NTP は問題のあるブロックに対して自己回帰的にトークンを生成し、MTP に切り替える前に処理を完了します。 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/images/method2-refine.png) 修正された NTP の再デコード：並列デコードでフォーマット不整合や空間的曖昧さに遭遇した場合、モデルは誤ったブロックを破棄し、標準的な NTP に戻って堅牢な予測を確保します。 LocateAnything-Data ## 138M の多様な言語クエリと 785M のボックス ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/images/data.png) **LocateAnything-Data** に含まれる多様なクエリタイプの概要。 汎用的な視覚検出およびグラウンディングのために高度に能力の高いモデルを訓練するために、1200 万枚の一意な画像と膨大で密な監督空間信号を含むマルチドメインデータセットである**LocateAnything-Data**をキュレートしました。 ## 一般物体検出 クエリの 66.9% およびボックスの 83.1% を占めます。精密かつ密な座標アライメントのための必須のバウンディングボックス（境界箱）監督を提供します。 ## GUI エレメントグラウンディング クエリの 16.5% を占めます。モデルがエンボディドエージェントおよびグラフィカルユーザーインターフェース（GUI）ナビゲーションタスクをサポート可能にします。 ## 参照理解 クエリの 7.3% を占めます。複雑な自然言語の意図を画像内の特定の空間領域にリンクさせます。 ## テキストローカライゼーション (OCR) クエリの 3.6% を占めます。画像内のテキスト情報を知覚し、密にグラウンディングします。 ## レイアウトグラウンディング クエリの 3.5% を占め、ドキュメントおよびシーンレイアウトの理解における構造的推論能力を強化します。 ## ポイントベースの位置特定 クエリの 2.2% を占め、微細な座標予測のための空間精度を向上させます。 主要結果 ## 最先端のビジュアルグラウンディングと検出 デフォルトのハイブリッドモードにおける LocateAnything の精度指標およびスループット（NVIDIA H100 GPU 単体で測定した BPS）を報告します。LocateAnything は 12.7 BPS を達成し、テキストベースの Qwen3-VL (1.1 BPS) よりも 10 倍以上、量子化ベースの Rex-Omni (5.0 BPS) よりも 2.5 倍高速です。 ## 高品質なマルチオブジェクト検出 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/results/coco_lvis.png) **LVIS および COCO における結果。** LocateAnything は、同等のモデルサイズにおいて Rex-Omni と比較して LVIS で平均 F1 スコアを +3.8%、COCO で +1.8% 向上させました。特に高い IoU（Intersection over Union）閾値での改善が顕著です（LVIS における IoU=0.95 で 31.1 vs. 20.7）。 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/results/dense_object_detection.png) **Dense Object Detection.** Dense200 および VisDrone の密集検出ベンチマークにおいて、LocateAnything はそれぞれ平均 F1 スコア 58.7 と 39.9 を達成し、Rex-Omni（58.3 / 35.8）を大幅に上回りました。これは、物体が重なり合う環境における境界の明確な描画能力に優れていることを示しています。 ## Precise Open-World Localization ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/results/sspro.png) **GUI Grounding (ScreenSpot-Pro).** LocateAnything は、SOTA（State-of-the-Art）の平均 F1 スコア 60.3 を達成し、Qwen3-VL-30B-A3B や GUI-Owl-32B のような汎用型 VLM（Vision-Language Model: ビジョン・ランゲージモデル）や専門モデルを上回りました。特にアイコンベースのクエリに対する性能が顕著に優れています。 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/results/layout_ocr.png) **レイアウトグラウンディングと OCR。** LocateAnything は文書理解において新たな基準を確立しました：DocLayNet と M6Doc における平均 F1 スコアはそれぞれ 76.8 と 70.1 で、Rex-Omni を大幅に上回る（+6.1 / +14.5）結果となりました。TotalText OCR では平均 F1 スコア 43.3 を達成し、比較されたすべての手法を上回っています。 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/results/refering.png) **参照表現理解。** LocateAnything は、微妙な人間の意図と視覚領域をシームレスに整合させ、HumanRef において平均 F1 スコア 78.7 を達成し、RefCOCOg においてもトップティアモデルに対して非常に競争力のある結果を示しています。 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/results/pointing.png) **ポイントベースの位置特定。** COCO、LVIS、Dense200、VisDrone、HumanRef、および RefCOCOg ベンチマークにおけるポイントベースグラウンディングの評価。 Ablation Study ## デザイン選択の分析とデコーディング効率の解明 COCO データセット上で、座標表現、MTP（Multi-Task Prediction）の定式化、デコーディングモード、ボックス出力順序、スループット拡張にわたるコア設計を検証するためにアブレーション研究を実施しました。 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/results/ablation.png) **座標表現、MTP 定式化 & デコーディングモード。** (a) PBD（Slow Mode）は F1 スコア 52.1 を達成し、ボックス整合型定式化が 1D シリアライゼーションよりも強力な教師信号を提供することを証明しています。(b) PBD は構造非依存の MTP メソッドを劇的に上回ります（SDLM-B6 の場合、16.9 BPS vs 5.5 BPS）一方で F1 スコアも向上します。(c) 統合トレーニングにより Slow Mode は F1 52.1 に引き上げられ、Hybrid Mode は F1 51.6 を維持しつつ速度の利点（13.2 BPS）のほとんどを保持しています。 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/results/decoding_mode.png) **デコーディングモード比較。** 統合二重定式化トレーニングにより、Slow Mode の上限は F1 50.1 から 52.1 に引き上げられました。Hybrid Mode は速度と精度のトレードオフをシームレスに解決し、堅牢な高精度ローカライゼーションを実現しながら、速度の利点のほとんどを保持しています。 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/images/chart.png) **ボックス順序付けとデコードスループット。** *左:* X-Y コーナー順序ソートは、4 つの空間順序付け戦略の中で最も高い F1 スコアを達成します。*右:* 対象となるボックスが 20 から 300 に増加するにつれ、NTP (Non-Parallel Token) メソッドは深刻なレイテンシボトルネックに陥る一方、並列ボックスデコード (Parallel Box Decoding) は 2 倍から 6 倍の高速化を実現し、密集したシーンでのスループットを 12 BPS から約 25 BPS に拡張します。 Qualitative Results ## ワイルドにおける高品質なグラウンディング LocateAnything は、文書理解、GUI インタラクション、オブジェクト検出の各タスクにおいて、精密なビジュアルグラウンディングを実現します。 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/images/vis_cases_3rows.png) 多様な解像度とカテゴリにわたる、密集かつ高精度なボックス予測の定性的可視化。 ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/images/vis_dod.png) Dense Object Detection (高密度オブジェクト検出) ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/images/vis_ocr.png) 高精度 OCR ![image](https://research.nvidia.com/labs/lpr/locate-anything/static/images/vis_rec.png) 参照表現理解 Citation LocateAnything の並列ボックスデコーディング（parallel box decoding）があなたの研究に有用であると感じた場合は、ぜひ以下の論文を引用してください。 @article{wang2025locateanything, title = {LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding}, author = {Shihao Wang and Shilong Liu and Yuanguo Kuang and Xinyu Wei and Yangzhou Liu and Zhiqi Li and Yunze Man and Guo Chen and Andrew Tao and Guilin Liu and Jan Kautz and Lei Zhang and Zhiding Yu}, journal = {arXiv preprint arXiv:2605.27365}, year = {2026}, }

NVIDIA の「LocateAnything」が迅速なグラウンディングを実現（8 分読了）

背景や根拠まで確認しますか？

調べる

選ぶ

サイト