NVIDIA AI、空間推論のためのトレーニング不要エージェント「SpatialClaw」を発表：コードを行動インターフェースとして活用

NVIDIA Research は、空間推論のためのトレーニング不要フレームワークである SpatialClaw をリリースしました。これは、ビジョン・ランゲージモデル（VLM）における永続的な弱点をターゲットにしています。これらのモデルは依然として、物体の位置や相互関係、3 次元空間内での動きを判断することに苦慮しています。 SpatialClaw はモデルを再トレーニングするのではなく、エージェントが知覚ツールを呼び出す際に使用するアクションインターフェースを変更します。研究チームは、このインターフェースがボトルネックであると主張しています。その解決策として、コードをアクションインターフェースとして扱うというアプローチを採用しました。20 のベンチマーク全体で、SpatialClaw は平均 59.9% の精度を達成し、直近の空間エージェントである SpaceTools を 11.2 ポイント上回りました。 SpatialClaw とは何か SpatialClaw は、ステートフルな Python カーネル（注：状態を保持する実行環境）に囲まれたエージェントループです。このカーネルには、入力フレームとプリミティブのセットが事前にロードされています。知覚ツールは単なる Python の呼び出し可能な関数であり、その出力であるマスク、深度マップ、カメラ幾何学情報、軌道などは、通常の Python 変数として扱われます。 このカーネルは 6 つのパブリックエントリーポイントを公開しています。InputImages はサンプリングされたフレームを保持します。Metadata にはフレームレート、持続時間、フレームインデックスが含まれます。tools は知覚および幾何学プリミティブを公開します。show() は画像をエージェントの次のコンテキストに埋め込みます。vlm はクエリを別の VLM セッションにディスパッチします。ReturnAnswer() は最終回答を提出します。 2 つの知覚ツールが中核を担っています。tools.Reconstruct は Depth Anything 3 をラップし、フレームごとの深度、カメラ内部パラメータ（イントリックス）、外部パラメータ（エクストリンスクス）、および密な点マップを返します。tools.SAM3 は SAM 3 をラップし、テキスト、ポイント、またはボックスのプロンプトから画像または動画のマスクを生成します。このフレームワークには、軽量ユーティリティとして tools.Geometry、tools.Mask、tools.Time、tools.Graph、tools.Draw が追加されています。 これはトレーニングフリーです。同じシステムプロンプト、ツールセット、ハイパーパラメータがすべてのベンチマークとバックボーンで共通して使用されます。 ![image](https://www.marktechpost.com/wp-content/uploads/2026/06/Screenshot-2026-06-19-at-3.49.19-PM-1.png)https://spatialclaw.github.io/static/pdfs/spatialclaw.pdf なぜアクションインターフェースが重要なのか 研究チームは、同じ質問に対して 3 つの異なるアクションインターフェースを検討しました。ヒーターとドアの間の最短距離を測定する場合を考えてみましょう。 シングルパスコードでは、一度に完全なプログラムを記述して実行します。これは、中間マスクや深度マップを確認する前に戦略全体を確定してしまうため、誤った仮定がそのまま回答に伝播してしまいます。 構造化されたツール呼び出しは、固定された JSON スキーマを通じて名前付きツールを呼び出します。これでは、NumPy や SciPy と出力を自由に組み合わせてテスト時の計算式を表現することができません。最短点演算に対応する事前登録済みのツールがないため、結果が誤ってしまいます。 SpatialClaw はコードでツールを構成し、結果を検証した上で修正を行います。まず重心距離を計算しますが、その際重心が中央値を使用していることに気づきます。そこでエージェントは scipy.spatial.KDTree に切り替え、真に最も近い点を見つけます。その結果、0.9 m の正解値に対して 0.9439 m を提出しました。 ベンチマーク SpatialClaw は 5 つのカテゴリーにわたる 20 のベンチマークでテストされました。これらは単一画像、多視点、一般、動画、および 4D および一般動画理解の領域をカバーしています。Qwen3.5/3.6 および Gemma4 ファミリーにまたがる 26B から 397B パラメータまでのバックボーンにおいて、ツールなしベースラインに対してすべての 6 つのバックボーンで改善が見られました。 制御された比較によりインターフェースが単独で評価されました。3 つの変種はいずれも同じツールセットとプロンプトを共有しており、異なるのはアクションインターフェースのみです。 アクションインターフェース：平均（20 ベンチ）、ツールなしとの差分 ツールなしベースライン：53.4、— シングルパスコード：55.2、+1.8 構造化ツール呼び出し：56.7、+3.3 SpatialClaw（コードをアクションとして）：59.9、+6.5 Gemma4-31B バックボーン、20 ベンチの平均値。 同じ Gemma4-31B バックボーン上の既存の空間エージェントと比較すると、その差はさらに広がります。 手法：インターフェース、平均、SpatialClaw との差分 VADAR：シングルパス、40.5*、−19.4 pySpatial：シングルパス、47.8、−12.1 SpaceTools-Toolshed：構造化ツール呼び出し、48.7、−11.2 SpatialClaw：コードをアクションとして、59.9、best VADAR は動画や多画像入力をサポートしておらず、単一画像ベンチのみが平均化されています。 最大の改善は動的タスクにおいて見られました。Gemma4-31B 上では DSI-Bench が +17.6 ポイント、MindCube が +15.3 ポイント上昇しました。これらのカテゴリでは、フレーム間および視点にわたる連鎖的な幾何計算が必要です。 LLM-as-judge の評価による勝因の分析では、構造化されたツール呼び出しに対する優位性が説明されています。コード構成がその 52.2% を占め、制御フローが 19.5%、残りの 28.3% はインターフェースに依存しない要因です。 五段階ループの内部 各サンプルは、計画（planning）、コード生成（code generation）、コード実行（code execution）、フィードバック集約（feedback assembly）、回答提出（answer submission）という五段階のループを実行します。プランナーは画像を見ずに戦略を策定し、メインエージェントがステップごとに 1 つずつ Python コードセルを作成します。実行前に静的な AST チェッカー（Abstract Syntax Tree Checker：抽象構文木チェッカー）が不安全なコードを拒否します。このループは ReturnAnswer() が呼び出されるか、30 ステップ経過するまで繰り返されます。 公式リポジトリは LangGraph ワークフローと永続的な Jupyter カーネル上で動作し、バックボーン（基盤モデル）は vLLM を介して提供されます。知覚機能は FastAPI GPU サービスの背後で稼働します。単一のクイックスタートでは 1 つのマシンで 1 つのベンチマークを実行できます： Copy CodeCopiedUse a different Browser git clone --recursive https://github.com/NVlabs/SpatialClaw.git cd SpatialClaw bash spatial_agent/scripts/setup.sh cp .env.example .env # API keys を追加するか、vLLM をセルフホストする python -m spatial_agent.entrypoints.run \ --dataset spatial_agent/config/dataset/erqa.json \ --model spatial_agent/config/model/gemini-3-pro.json \ --concurrency 4 代表的なエージェントセルは、知覚機能と幾何学（geometry）を組み合わせ、その後修正を行います： Copy CodeCopiedUse a different Browser # シーンを再構築し、1 つのビデオパスで両方のオブジェクトをセグメント化する recon = tools.Reconstruct.Reconstruct(InputImages) seg = tools.SAM3.segment_video_by_text(["radiator heater", "door"]) show(seg.visualize(1)) # まずマスクを検証する # 重心ではなく KD ツリー（k-d tree）を用いた最接近点距離 pts_h = seg.get_masked_points(recon, frame=1, object=0) # オブジェクト 0 = ヒーター pts_d = seg.get_masked_points(recon, frame=2, object=1) # オブジェクト 1 = ドア dists, _ = scipy.spatial.KDTree(pts_d).query(pts_h, k=1) ReturnAnswer(float(dists.min())) エージェントは質問自体からプリミティブ（基本要素）を選択します。距離に関する問いには KD ツリー検索とベクトルノームが、方向に関する問いにはドット積が用いられます。カテゴリ固有のルーティングは一切適用されていません。 ユースケース この設計は、段階的な幾何学的推論を必要とする問題に適しています。具体的な例としては以下があります: 動作前にオブジェクト間の計測距離を測定するロボットや具現化エージェント。 複数のカメラアングルからオブジェクトの向きを復元するマルチビュー検査。 フレームにわたるオブジェクトまたはカメラの動きを追跡するビデオおよび 4D 解析。 「ドアはシンクに対してどこにあるか？」といった屋内シーン質問応答。 トレーニングフリーであるため、チームは新しいデータやファインチューニングなしで展開済みの VLM（Vision-Language Model）を拡張できます。 インタラクティブ・エクスプレイナー キーポイント コードをアクションインターフェースとして: SpatialClaw は、VLM（視覚言語モデル）が各ステップで永続的なカーネルに 1 つの Python セルを書き込み、固定された計画にコミットするのではなく、知覚出力を組み合わせて修正することを可能にします。 最先端かつトレーニング不要: 20 の空間ベンチマーク全体で平均 59.9% を達成し、先行するエージェント SpaceTools よりも +11.2 ポイント向上しました。これは、ベンチマークやモデル固有の調整を行わずに達成された結果です。 インターフェースがレバーとなる: Gemma4-31B のアクションインターフェースのみを切り替えることで、精度は構造化ツール呼び出し時の 56.7 から 59.9 に向上し、勝利の 52.2% がコードの組み合わせによるものです。 幾何学的連鎖において最大の改善: ダイナミックな 4D およびマルチビュータスクで上昇幅が最も大きく（DSI-Bench で +17.6、MindCube で +15.3）、これらはフレームや視点にわたってステップを組み立てる必要がある領域です。 知覚が上限となる: 改善効果は 6 つのバックボーン（26B〜397B）全体で転移しますが、残されたボトルネックは知覚品質であり、ライセンスは非商用に限られています。 本記事は、MarkTechPost にて最初に公開された「NVIDIA AI Introduce SpatialClaw: A Training-Free Agent That Treats Code as the Action Interface for Spatial Reasoning」の続編です。

NVIDIA AI、空間推論のためのトレーニング不要エージェント「SpatialClaw」を発表：コードを行動インターフェースとして活用

背景や根拠まで確認しますか？

調べる

選ぶ

サイト