Hugging Face、ロボット操作データ記録システム「Grabette」公開

記事一覧に戻る

Grabette：ロボット操作データの記録と、共有データセットの構築を可能にするオープンシステム

• ボトルネックはモデルではない。データだ。
• UMI の成果の上に立つ
• Grabette とは何か
• みんなのために作られた
• あなたの手の動きからデータセットへ、たった 2 ステップ

1. 記録する
2. ブラウザ上で直接処理する

• このデータで何ができるか？一例をご紹介します
• いよいよあなたの番です。次は何をしますか？

*手持ち型のグリッパーを使って数分で独自の操作タスクを記録し、自動的にロボット学習用のデータセットに変換。ロボット学習のためのオープンで協力的なデータセットの成長に貢献しましょう。*

ボトルネックはモデルではない。データだ。

ロボット学習には「供給不足」という課題があります。トランスフォーマーベースの VLAs（Vision-Language-Action モデル）、拡散モデルやフローマッチングに基づくポリシー、さらには世界モデルなど、能力の高い政策アーキテクチャと、それらを訓練するための GPU は既に用意されています。しかし、私たちが欠いているのは、大規模で多様な実世界の操作データです。

ロボットを遠隔操作してデータを収集する方法は、コストが高く負担も大きいです。まず第一に、*ロボットそのものが必要* です。さらに、遠隔操作の方法によっては、数時間かかる作業や、大きなハードウェア・物流上の課題を伴う場合があり、ユーザーにとって退屈で困難な作業になりかねません。これは、必要なタスクや環境が多岐にわたる中で、スケーラブルにデータを収集することを難しくしています。

ロボットデータを集めるのに、必ずしもロボット自体は必要ありません。人間の手とグリッパー、カメラがあれば十分です。重要なのは、その手の動きの 6 自由度（6-DoF）軌道を復元できる仕組みがあるかどうかです。デモを撮影するだけで、ロボットが学習できるデータを入手できます。

そこで本日公開するのが「Grabette」です。これは操作データの記録に特化した、オープンで低コストなシステムです。これを使えば、自分の手を使ってタスクを実行し、そのままロボットが学習できるクリーンなデータセットとして取得できます。特別なロボットや実験室、遠隔操作装置は不要です。

これが Grabette の大きな目標です。デモの記録が動画撮影と同じくらい簡単になれば、誰でも貢献できるようになります。私たちは Grabette を通じて、大規模でオープンな協働型の操作データセットを構築したいと考えています。これは単一の研究室では決して作り上げられない規模のものです。

UMI の成果の上に立つ

Grabette は、スタンフォード大学の Universal Manipulation Interface (UMI) に直接インスパイアされています。UMI は魚眼カメラを搭載したハンドヘルド型グリッパーで、「野外」でのデモ記録を可能にし、SLAM（Simultaneous Localization and Mapping）技術を用いてカメラの軌道を復元します。そして、そこから視覚運動政策（visuomotor policies）を学習させることができます。

UMI の成功は、このレシピが機能することを証明しました。他にも Agibot の MEgo グリッパーや Genrobot の DAS グリッパー、Sunday Robotics のスキルキャプチャーグローブなど、クローズドソースのデバイスも存在します。

私たちの目標は、"タスクがある"という状態から"学習済みのモデルが使える"状態へのハードルを可能な限り低くし、誰でも簡単に使えるようにすることでした。

Grabette は、モダンなオープンエコシステムに組み込まれています。データセットには LeRobot を、共有には Hugging Face Hub を利用します。また、インストール不要でブラウザから実行できる処理パイプラインも用意されています。Grabette は、作業台で誰でも構築でき、現場で使用し、データを貢献できるものです。

Grabette の紹介

私たちは数ヶ月にわたり Grabette の開発を進めてきましたが、ようやく共有できるレベルに達したと感じています。このたび、ぜひ皆さんにお披露目したいと考えています！

Grabette は、操作デモの再構築に必要なすべての機能を備えたハンドヘルド型グリッパーです。

この装置には2 つのカメラが搭載されており、それぞれに明確な役割があります。この 2 つの役割を分けたのは意図的な設計です。安価な広角魚眼カメラは、政策（ポリシー）が必要とする文脈豊かな手首カメラのような視界を提供し、RGBD カメラは堅牢な 6DoF 追跡という重労働を担当します。

Grabette はユーザーがタスクを実行する際にデータを記録しますが、学習後はその動きを再現するのはロボットの counterpart です。そこで登場するのがGripetteです。これは Grabette のロボット版エフェクター（エンドエフェクター）の双子のような存在です。

両者は同じハードウェア DNA を共有しています：

• Grabette：ハンドヘルド型デモ用デバイス（カメラ、IMU、グリッパー搭載。BOM コストは約 490 ユーロ）
• Gripette：モーター駆動式グリッパー（カメラとサーボモーター 2 基を搭載）。実機またはシミュレーション上のロボットアームに接続してフィードバックループを構築します。

誰でも使える設計

すべてオープンソースです

リポジトリをチェックしましょう！

• ハードウェア：Grabette と Gripette の CAD データと生産ファイル
• キャプチャサービス：デバイスに搭載された Raspberry Pi 用ソフトウェア
• 処理パイプライン：ローカルで実行可能。または Hugging Face Space を通じてオンラインでも利用可能
• 下流スタックの例：LeRobot 学習と OpenArm 評価を組み合わせ、リファレンスとして提供

コンポーネントについて

標準的なセンサーを使用しており、クローズドなパイプラインや特定のベンダーへのロックインはありません。Raspberry Pi、標準的な Pi カメラ、市販の OAK-D 深度カメラ、磁気エンコーダーなどです。誰でもこれらの部品を注文して自身で製作できることが最大の目的です。

ロボットに依存しない設計

キャプチャやデータ形式において特定のロボットアームを前提とした要素は一切ありません。デモデータは「カメラローカルな 6 自由度の直交座標 pose」と「グリッパーの状態」として保存されます。出力は Hugging Face Hub 上の標準的な LeRobot データセット形式となるため、同じデータを異なるロボットや学習手法に流用可能です。ただし、使用するロボットアームには対応する Gripette グリッパーを装着する必要があります。

あなたの手の動きから、データセットへ。たった 2 ステップ

今回のリリースにより、専門知識がなくても「タスクを実演したい」という段階から、「学習用のデータセットが完成した」状態までを、素早く実現できるようになりました。

1. データの記録

ボタンを押すと、観測用カメラやトラッキングカメラ（カラー画像、深度データ、IMU）、そしてグリッパーのエンコーダによる関節値など、すべてのデータが共通のクロックで同期されながら同時に記録されます。もう一度ボタンを押してエピソードを停止すると、データはラズベリーパイ上にローカル保存されます。

2. ブラウザ上で直接処理

ブラウザから Grabette ダッシュボードを開きます。データセットに追加したいエピソードを選択し、ワンクリックで後処理を開始します。

• エピソードが HF Hub にアップロードされます
• grabette-slam スペースで RTAB-MAP ライブラリを用いて SLAM を実行し、軌跡の正確性（ジャンプやトラッキングロスのないこと）を検証します
• エピソードは LeRobot 形式に変換されます
• 新しいデータセットがあなたのスペースにアップロードされ、Le Robot ビジュアライザーを使って各エピソードのデータを閲覧できます

これで学習開始の準備が整いました！

このデータで何ができる？具体例を一つ

データセットが面白いのは、実際に何かに学習させることができるからです。そこで今回は、そのループをエンドツーエンドで示すために完全な例を用意しました。ただし明確にしておくと、これは Grabette が可能にする「一つの例」であり、製品そのものではありません。リリースの核心は記録システムです。

Grabette で収集したデータは、LeRobot データセットを読み込むあらゆる手法と互換性があります。

今回の例では、以下のような 200 の記録されたデモを使用しています：

• LeRobot スack を用いてポリシーを学習させます。具体的には、単一のコンシューマー GPU で動作する Diffusion Policy（ResNet18 に SpatialSoftmax エンコーダーと DDIM スケジューラーを組み合わせたもの、6 自由度の回転操作）です。

• 次に、gRPC API を介して制御される OpenArm 7DoF アームに Gripette グリッパーを搭載し、評価を行いました。その結果は以下の通りです：

いよいよあなたの番です

データボトルネックを解決するのは一つの研究室ではなく、あちこちでデモを記録するコミュニティ全体です。あなたも今すぐデータセット構築に参加できます。Grabette を構築し、興味のあるタスクの記録を行い、Hub に共有してください。エピソードが一つ増えるごとにオープンデータセットは大きくなり多様化します。また、貢献者が一人でも増えることで、高額なハードウェアに縛られていたロボット学習が少しだけ民主化されます。

image

image

image

image

image

次のステップ

今回のリリースは、プロジェクトの始まりに過ぎません。Grabette は今後も進化を続けます。すでに次の機能も準備中であり、その一つが Casquette です。これは Grabette を補完するヘッドマウント型の POV（一人称視点）デバイスで、自分自身を中心とした撮影を実現します（※現在開発中です）。しかし、最も重要な次のステップは、私たちだけのものではなく、あなたにも委ねられています。ぜひ記録を開始し、一緒にデータセットを構築していきましょう。

👉 Grabette の組み立て方 (GitHub) · データの処理方法 (HF Space) · データセットへの貢献

*Pollen Robotics によって ❤️ を込めて作られました。*