Hugging Face Daily Papers公式発表·2026年9月9日 09:00·約2分

Show-Harness：VLM エージェントがロボットを操作する仕組み

#Vision-Language Models #Robotics #Embodied AI #Zero-shot Learning #Hugging Face

整理・翻訳:ainew.jp 編集システムAIによる自動処理作り方と限界

本文の状態

日本語全文あり

詳細モードで約2分の本文を読めます。

同じ出来事の情報源

この情報源を基点に整理

Hugging Face Daily Papers

30秒でわかる

Show-Harness は、意図と動作を結ぶコンパクトなセマンティックインターフェースを通じて基盤視覚言語モデルがロボット制御を実行可能にする新手法であり、クローズドソースの最先端モデルや小規模オープンソースモデルの両方に対応する。

記事の3ポイント

セマンティックインターフェースによる制御
Show-Harness は離散的なセマンティック動作単位を公開し、VLM が自然に推論できるようにしつつ、エンボディメント固有のインタプリタがこれらをローカルロボット動作へ決定論的に grounded する。
クローズドソースとオープンソースの両立
同手法はクローズドソースの最先端 VLM をゼロショットで解放する可能性を示すと同時に、少数の GPU 時間によるファインチューニングで小規模なオープンソース VLM を低コスト展開に適応させる。
GUI 操作インターフェース GUMI の開発
GUMI (GUI Manipulation Interface) は同じセマンティック動作空間を GUI ベースのデモンストレーション収集に拡張し、特別なテレオペレーション機器なしで人間とエージェントが異なるエンボディメント間でロボットを操れるようにする。

なぜ重要か・誰に関係するか

この発表の重要性は、基盤視覚言語モデルの広範な知能をロボット制御へ転換する際に、高額なエンボディメント固有事前学習や追加モデル容量を必要としない新たなアプローチを示した点にある。開発者および企業の AI 導入担当者は、異なるエンボディメント間での汎用性を確保しつつ低コストでロボット制御システムを構築するための具体的な設計指針を確認すべきである。