Show-Harness：VLM エージェントがロボットを操作する仕組み

基礎的なビジョン・ランゲージモデル（VLM）は世界に関する広範な知能を示しますが、この知能をロボット制御に転換することは依然として課題です。私たちは「Show-Harness」というエンボディメント・ハネスを発表しました。これは意図と行動を結びつけるコンパクトなセマンティック・インターフェースを通じて、VLM がロボットを「操作」できるようにするものです。

Show-Harness は、VLM が自然に推論できる離散的なセマンティック・アクション単位を公開します。一方、エンボディメント固有のインタプリタがこれらを決定論的にローカルなロボット行動へと grounding（具体化）し、微細な物理的判断については VLM 自身が責任を負うように保ちます。

同じインターフェースを通じて、Show-Harness は以下の 2 つの可能性を実証します。1 つ目は、クローズドソースの最先端 VLM をゼロショットでロボット制御に直接活用できること。2 つ目は、わずか数時間の GPU 計算時間によるファインチューニングで、小規模なオープンソース VLM を低コスト展開に適応させることです。

さらに、私たちは GUMI（GUI Manipulation Interface）を開発しました。これは同じセマンティック・アクション空間を GUI ベースのデモ収集に拡張するもので、人間やエージェントが特別なテレオペレーション機器なしで、異なるエンボディメント間でもロボットを「操作」できるようにします。

広範な実験により、Show-Harness を搭載した VLM エージェントは、タスク、エンボディメント、環境を超えて堅牢に一般化することが示されました。これは代表的なアジェンティック・パラダイムや VLA（Vision-Language-Action）パラダイムを上回る性能です。

これらの結果は、適切なインターフェースを用意することで、モデル容量の追加や高コストなエンボディメント固有の事前学習を必要とせずとも、基礎的な VLM から実用的なエンボディメント能力を引き出せることを示唆しています。