LeRobot v0.6.0：イメージ作成、評価、改善の機能強化

[記事一覧に戻る](https://huggingface.co/blog) - TL;DR（要約） - 目次 - ワールドモデル：未来を想像するポリシー VLA-JEPA - LingBot-VA - FastWAM - VLAs：モデルズーがさらに拡大 GR00T N1.7 - MolmoAct2 - EO-1 - マルチタスク DiT（Diffusion Transformer） - EVO1 - リワードモデル：ロボットの成功を判定する Robometer - TOPReward - データセット：高速読み込み、より豊富なデータ Your codec, your rules - 深度サポート、エンドツーエンド - スケールした言語注釈 - データ読み込みが最大 2 倍高速に - ベンチマーク：一つの CLI で全てを評価 - トレーニング & インフェレンス lerobot-rollout: デプロイ専用の CLI が登場 - FSDP（Fully Sharded Data Parallel）：GPU の容量を超えた大規模モデルのトレーニング - HF Jobs によるクラウドトレーニング - コードベース：より軽量でクリーンに - コミュニティ & エコシステム - まとめ 今回の新リリースは、ロボット学習ループを完結させることに焦点を当てています。行動する前に未来を想像するポリシー、ロボットの成功を告げるリワードモデル、失敗をトレーニングデータに変換するデプロイ用 CLI、そしてそれら全てを測定するための 6 つの新しいシミュレーションベンチマークです。さらに、深度センシング、VLM（Vision-Language Model）を活用したデータセット注釈、カスタム動画エンコーディング、HF Jobs 上でのクラウドトレーニング、そしてより軽量なインストール環境も提供します。 ## TL;DR LeRobot v0.6.0 は、未来を想像することを学習する世界モデルポリシー（VLA-JEPA, FastWAM, LingBot-VA）を導入し、新たな VLAs の波（GR00T N1.7, MolmoAct2, EO-1, EVO1, Multitask DiT）と、新しい報酬モデル API（Robometer, TOPReward）を提供します。また、lerobot-eval によって統合された 6 つの新しいシミュレーションベンチマーク、DAgger スタイルの人間がループ内で行う修正機能を備えた lerobot-rollout CLI、FSDP 学習、HF Jobs 上でのクラウドトレーニングを同梱しています。データセットには深度（depth）サポート、自動言語注釈パイプライン、カスタム動画エンコーディング、そしてより軽量なインストール基盤の上で最大 2 倍の高速データ読み込みが追加されました。 ## Table of contents - LeRobot v0.6.0: Imagine, Evaluate, Improve TL;DR - Table of contents - World models: policies that imagine VLA-JEPA - LingBot-VA - FastWAM - VLAs: the model zoo keeps growing GR00T N1.7 - MolmoAct2 - EO-1 - Multitask DiT - EVO1 - Reward models: knowing when your robot succeeds Robometer - TOPReward - Datasets: faster loading, richer data Your codec, your rules - Depth support, end to end - Language annotations at scale - Up to 2x faster data loading - Benchmarks: one CLI to evaluate them all - Training & inference lerobot-rollout: deployment gets its own CLI - FSDP: train models bigger than your GPU - Cloud training with HF Jobs - Codebase: leaner and cleaner - Community & ecosystem - Final thoughts ## World models: policies that imagine ロボティクス界では大きな問いが投げかけられています：世界モデルは実際にロボットの方針（ポリシー）に寄与するのでしょうか？v0.6.0 では、この問いに答えるために LeRobot に 3 つの新しい方針が追加されました。それぞれが訓練の一部として未来を予測することを学びますが、その予測コストを抑えるためのアプローチはそれぞれ異なります。 ## VLA-JEPA VLA-JEPA は、Qwen3-VL-2B を基盤としたコンパクトな VLA（Vision-Language-Action モデル）に、行動しながら潜在空間内で未来を予測することを教えます。訓練中、JEPA 型世界モデルは、モデル自身の行動から次のフレームを予測する必要があります。この手法の妙は、推論時に世界モデルが不要になる点にあります。つまり、追加の推論コストなしで世界モデルによる監督学習が可能になります。微調整用のベースとして DROID で事前学習されたチェックポイントを含む、3 つのすぐに使えるチェックポイントが Hugging Face Hub に公開されています： lerobot-train \ --policy.path=lerobot/VLA-JEPA-Pretrain \ --dataset.repo_id=${HF_USER}/my_dataset \ --policy.repo_id=${HF_USER}/my_finetuned_policy 詳細は [VLA-JEPA のドキュメント](https://huggingface.co/docs/lerobot/v0.6.0/vla_jepa) または [論文](https://arxiv.org/abs/2602.10098) をご覧ください。 ## LingBot-VA LingBot-VA はさらに一歩進み、未来の動画とアクションをチャンクごとに予測し、実際の観測値フィードバックを通じて想像力を現実 grounded に保つ自己回帰型ビデオ・アクションモデルです。ロボットが想像した内容を保存 (--policy.save_predicted_video=true) し、実際に起きたことと比較することも可能です。推論は 24〜32 GB の GPU 1 台で実行されます。技術詳細については [ドキュメント](https://huggingface.co/docs/lerobot/v0.6.0/lingbot_va) と [論文](https://arxiv.org/pdf/2601.21998) をご覧ください。 ## FastWAM FastWAM は、その論文タイトルで問いかけます：「世界アクションモデルは推論時に未来の想像を必要とするのか？」。このモデルは、約 5B パラメータの動画生成エキスパートとコンパクトなアクションエキスパートを単一のネットワークに組み合わせることで、モデルが自らロールアウトを"夢見る"ことを学習します。推論時にはこの"夢見"プロセスを完全にスキップし、直接アクションチャンクのノイズ除去を行います。[lerobot/fastwam_base](https://huggingface.co/lerobot/fastwam_base) からファインチューニングを開始し、詳細は [ドキュメント](https://huggingface.co/docs/lerobot/v0.6.0/fastwam) でご覧ください。 ## VLAs: モデルの動物園がさらに拡大 ## GR00T N1.7 NVIDIA GR00T の統合を、NVIDIA のクロスエンボディメント基盤モデルの最新オープン生成版である GR00T N1.7 へアップグレードしました。N1.7 では、以前の VLM（Vision-Language Model）を Cosmos-Reason2-2B（Qwen3-VL をベースに構築）に置き換え、フローマッチングアクションヘッドに供給します。また、当社の統合は NVIDIA のオリジナル Isaac-GR00T 実装に対してパリティテスト済みで、同じ入力に対して同じ出力が得られます。Flash-attention は現在オプションとなったため、pip install 'lerobot[groot]' を実行するだけで動作し、[NVIDIA が公開したチェックポイント](https://huggingface.co/nvidia/GR00T-N1.7-3B) を直接読み込むことができます。 GR00T N1.7 は LeRobot において N1.5 に取って代わります。もし N1.5 が必要な場合は、lerobot==0.5.1 に固定してください。 ## MolmoAct2 Allen Institute for AI のビジョン・言語・アクションモデルである MolmoAct2 が、LeRobot へ完全移植され、ファインチューニング（フルまたは LoRA）、評価、実ロボットへの展開というライフサイクル全体がカバーされました。キャリブレーション補正を組み込んだ用意されたチェックポイントにより、SO-100/101 でゼロショット実行が可能です： lerobot-rollout \ --policy.path=lerobot/MolmoAct2-SO100_101-LeRobot \ --robot.type=so100_follower \ --robot.port=/dev/ttyACM0 \ --robot.cameras='{cam0: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, cam1: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}' \ --task="pick up the red cube" --duration=30 推論は bf16 で約 12 GB に収まり、LoRA ファインチューニングも単一の 24 GB GPU で実行可能です。完全な展開ガイドについては [MolmoAct2 のドキュメント](https://huggingface.co/docs/lerobot/v0.6.0/molmoact2) をご覧ください。 ## EO-1 EO-1 は、視覚・テキスト・アクションデータを交互に用いて事前学習された VLA で、LeRobot に追加されました。これは、論文の著者の一人が貢献した Qwen2.5-VL-3B のバックボーンとフローマッチング（flow-matching）アクションヘッドを備えたモデルです。--policy.type=eo1 を指定して標準的な lerobot-train ワークフローでトレーニングできます。詳細は [ドキュメント](https://huggingface.co/docs/lerobot/v0.6.0/eo1) と [論文](https://arxiv.org/abs/2508.21112) をご覧ください。 ## マルチタスク DiT マルチタスク拡散トランスフォーマー（Multitask Diffusion Transformer）ポリシーは、TRI ラージビヘイビアモデルのレシピを LeRobot に持ち込みました。これは CLIP の視覚・言語埋め込みを条件とする約 4.5 億パラメータの拡散トランスフォーマーで、自然言語によって選択された多数のタスクを一つのモデルが学習します。拡散（diffusion）とフローマッチングの両方の目的関数をサポートしており、自分でトレーニングできるほど軽量です。詳細は [ドキュメント](https://huggingface.co/docs/lerobot/v0.6.0/multi_task_dit) をご覧ください。 ## EVO1 VLA は必ずしも巨大である必要はありません。EVO1 は 7.7 億パラメータにポリシーを圧縮しており、InternVL3-1B のバックボーンとフローマッチングアクションヘッドを搭載しています。これは、限られた GPU でも微調整（fine-tuning）してリアルタイムで実行できるほど小型です。2段階の微調整とリアルタイムチャンキング（Real-Time Chunking）サポートが標準で用意されています。詳細は [EVO1 ドキュメント](https://huggingface.co/docs/lerobot/v0.6.0/evo1) と [論文](https://arxiv.org/abs/2511.04555) をご覧ください。 ## リワードモデル：ロボットの成功をどう判断するか ロボット学習ループにおける成功検出と進捗推定は欠落していた要素であり、v0.6.0 でこれらが統合されました。LeRobot には now、ポリシー API に倣った統一された報酬モデル API（lerobot.rewards）が実装され、1 つのインターフェースの下に 4 つの報酬モデルが配置されています。具体的には、HIL-SERL 報酬分類器、SARM、そして新たに追加された 2 つです。 ## Robometer Robometer は、事前学習済みで汎用的な報酬モデルです：[lerobot/Robometer-4B](https://huggingface.co/lerobot/Robometer-4B) を任意の LeRobot データセットに指向させるだけで、タスク固有のトレーニングを必要とせず、生動画と言語指示からタスクの進捗と成功度をスコアリングします。これは Qwen3-VL-4B を基盤としており、100 万本以上のロボット軌道データ（[RSS 2026 paper](https://arxiv.org/abs/2603.02115)）における軌道比較を通じて訓練されています。 ## TOPReward TOPReward は完全なゼロショット動作を実現します：報酬重みは一切不要です。既存の VLM（Qwen3-VL）をラップし、軌道動画とタスク指示が与えられた際のトークン「True」の対数尤度を読み取ります。あらゆる有能な VLM が報酬関数として機能します。 両モデルには、フレームごとの進捗曲線をデータセットに書き出すラベリングスクリプトが付属しており、報酬意識型行動模倣（RA-BC）、データセット品質の検査、および進捗オーバーレイ動画の作成がすぐに可能です。[Robometer](https://huggingface.co/docs/lerobot/v0.6.0/robometer) および [TOPReward](https://huggingface.co/docs/lerobot/v0.6.0/topreward) のドキュメントをご覧ください。 ## Datasets: faster loading, richer data ## Your codec, your rules 録画機能はもはやハードコードされたコーデックに縛られなくなりました。新しい --dataset.rgb_encoder.* オプションにより、エンコーディングの全表面（コーデック、品質、ピクセルフォーマット、GOP、プリセット）が公開され、vcodec=auto はデフォルトのソフトウェア AV1 エンコーダーにフォールバックする前に、NVENC、VideoToolbox、VAAPI、QSV などのハードウェアエンコーダーをプローブします。既存のデータセットに対しては、単一のコマンドで全データを再エンコードできます： lerobot-edit-dataset \ --repo_id ${HF_USER}/my_dataset \ --operation.type reencode_videos \ --operation.rgb_encoder.vcodec h264 \ --operation.rgb_encoder.crf 23 詳細は [ビデオエンコーディングドキュメント](https://huggingface.co/docs/lerobot/v0.6.0/video_encoding_parameters) をご覧ください。 ## Depth support, end to end Intel RealSense を接続し、use_depth: true を設定するだけで、LeRobot は深度マップをエンドツーエンドで記録します：ミリメートル単位でキャプチャされ、RGB カメラと並行してコンパクトな 12 ビット深度ビデオストリームとして圧縮され、トレーニング時に物理単位に戻ってデコードされます。深度レンダリングは録画中および lerobot-dataset-viz でもリアルタイムで行われ、SO-100/101、Koch、OpenArm、reBot、Unitree G1 など across 幅広く対応しています。 ## Language annotations at scale データセットがエピソードごとの単一のタスク文字列から脱却します。LeRobot データセットは現在、豊富な言語注釈（タイムスタンプ付きサブタスク、計画、メモリ、修正、音声、各カメラごとの VQA ペア）をネイティブに保存しており、新しい lerobot-annotate CLI は、エピソードを見守る VLM を使用してこれらを自動的に埋め込みます： lerobot-annotate \ --repo_id=${HF_USER}/my_dataset \ --new_repo_id=${HF_USER}/my_dataset_annotated \ --vlm.model_id=Qwen/Qwen2.5-VL-7B-Instruct \ --push_to_hub=true YAML レシピレイヤーは、サンプル時にこれらの注釈をチャット形式のトレーニングメッセージに変換します。まさに明日の長期間・対話型ロボットポリシーが学習するデータです。HF Jobs でスケールアップし、[annotation pipeline docs](https://huggingface.co/docs/lerobot/v0.6.0/annotation_pipeline) を読んで詳しく学びましょう。 ## 最大 2 倍高速なデータ読み込み ビデオデータセットでのトレーニングが、今では標準で最大約 2 倍高速になりました。マルチカメラフレームの並列デコード、コンパクトな uint8 フレーム（プロセス間メモリ使用量が 4 分の 1）を配送する dataloader ワーカー、およびエポック全体にわたってデコーダーキャッシュを維持する永続的ワーカーにより実現されています。大規模データセットの一部を読み込む際（episodes=[...]）は、数分からミリ秒単位へ短縮されました（ベンチマークでは 275 秒から 0.06 秒へ）。サンプリングも現在では決定論的かつ再開可能となり、中断されたトレーニングは正確に中断地点から再開できます。 ## ベンチマーク：一つの CLI で全てを評価 v0.5.0 は LeRobot を VLAs（Vision-Language-Action models）の評価ハブとして位置づけましたが、v0.6.0 では 6 つの新しいシミュレーションベンチマークを追加し、実質的な評価プラットフォームへと進化させました。これらはすべて同じ lerobot-eval CLI で実行可能で、それぞれにドキュメントページ、Docker イメージ、および CI で smoke テスト済みである SmolVLA ベースラインチェックポイントが用意されています： - LIBERO-plus は、照明やカメラの視点、書き換えられた指示など 7 つの軸にわたる LIBERO の約 10,000 種類の変種を用いて VLAs（Vision-Language-Action モデル）をストレステストします。これにより、ポリシーがどこで破綻するかを特定できます。 - RoboTwin 2.0 は SAPIEN 上で 50 の両手操作タスクをカバーし、ドメインランダム化を強化しています。また、Hub にはトレーニング済みの 10 万本以上のトラジェクトリーが用意されています。 - RoboCasa365 は、モバイルマニピュレーター上で 2,500 の手動生成されたキッチン環境における 365 のキッチンタスクを扱います。これは当社のラインナップにおいて最大のタスク範囲です。 - RoboCerebra は、言語に基づく中間指示の下で 3 から 6 のサブゴールを連鎖させるエピソードを用いて、長期ホライズンの行動を評価します。さらに 6,660 エピソードからなるデータセットも提供されます。 - RoboMME は記憶力試験です：あなたのポリシーは反復回数を数えられ、隠れた物体を追跡でき、デモンストレーションされた手順を模倣できますか？4 つの記憶スイートにわたる 16 のタスクで構成されています。 - VLABench は、物理に関する質問からコーヒーを最初から最後まで一貫して抽出する複合タスクまで、操作における知識と推論能力を検証します。 lerobot-eval \ --policy.path=lerobot/smolvla_robotwin \ --env.type=robotwin \ --env.task=beat_block_hammer \ --eval.n_episodes=100 --eval.batch_size=1 シミュレータバックエンドには、それぞれ固有のインストール手順を要する特定のシステム依存関係が必要です。各ドキュメントページに正確なレシピが記載されており、セットアップをスキップしたい場合は、ベンチマークごとに用意された Docker イメージも同梱されています。 LIBERO、Meta-World、NVIDIA IsaacLab-Arenaと合わせて、これにより一つの屋根の下に 9 つのベンチマークファミリーが揃い、新しい [新しいベンチマークの追加ガイド](https://huggingface.co/docs/lerobot/v0.6.0/adding_benchmarks) で、ご自身のベンチマークをどのように組み込むかが具体的に文書化されています。評価も高速化され、並列評価は現在非同期ベクトル化環境をデフォルトとし、最大 2 倍の速度向上がベンチマークで確認されています。 ## トレーニングと推論 ## lerobot-rollout: デプロイに専用 CLI が登場 ポリシーのデプロイは従来、lerobot-record の上でのハック的な実装でしたが、新しい lerobot-rollout CLI により、デプロイが独自のワークフローとして確立されました。これにはプラグイン可能な戦略と推論バックエンド（低速な互換性のある VLA 向けのリアルタイムチャンキングを含む）が用意されています。基本戦略は単にポリシーを実行するだけです。sentry は継続的に記録を行い、エピソードをローテーションしながら Hub へアップロードします。highlight はリングバッファを維持し、キーを押した際に直近の N 秒間を保存するため、興味深い瞬間を見逃すことはありません。episodic は、古典的なエピソード/リセット録画ワークフローを模倣しています。そして dagger は、デプロイをデータ収集へと変換します。 DAgger 戦略では、ポリシーの実行を観察し、誤りが生じた瞬間にキー（または USB フットペダル）を押してリーダーアームで制御を引き継ぎ、修正を記録した後に再び制御を返します。アクチュエータ付きのリーダーは、引き継ぐ前にフォロワーのポーズへと駆動されるため、手渡しが滑らかでジャークがありません。すべての修正フレームには介入フラグがタグ付けされ、生成されたデータセットは次のファインチューニングの準備ができています： lerobot-rollout \ --strategy.type=dagger \ --policy.path=${HF_USER}/my_policy \ --robot.type=so100_follower \ --robot.port=/dev/ttyACM0 \ --teleop.type=so101_leader \ --teleop.port=/dev/ttyACM1 \ --dataset.repo_id=${HF_USER}/dagger_corrections \ --dataset.single_task="Grasp the block" デプロイ、修正の収集、ファインチューニング、そして繰り返し：ロボット学習のフライホイールが now CLI フラグとして利用可能になりました。[デプロイドキュメント](https://huggingface.co/docs/lerobot/v0.6.0/inference) をお読みください。 ## FSDP: GPU よりも大きなモデルを訓練する ロボット基盤モデルは単一の GPU では収まらなくなっています。LeRobot のトレーニングでは、Accelerate を介して FSDP（Fully Sharded Data Parallel）がサポートされるようになりました。パラメータ、勾配、オプティマイザの状態が GPU 間でシャードされ、チェックポイントは通常のポリシーのように読み込める単一のファイルである model.safetensors に集約されます。異なる数の GPU で FSDP 実行を再開することも可能です。[マルチ GPU トレーニングドキュメント](https://huggingface.co/docs/lerobot/v0.6.0/multi_gpu_training) をご覧ください。 ## HF Jobs を使ったクラウドトレーニング GPU がなくても大丈夫です。同じ lerobot-train コマンドにフラグを一つ追加するだけで、クラウド上で実行できるようになりました： lerobot-train \ --dataset.repo_id=${HF_USER}/so101_test \ --policy.type=act \ --policy.repo_id=${HF_USER}/my_policy \ --job.target=a10g-small LeRobot は必要に応じてローカルデータセットをプライベート Hub リポジトリにプッシュし、ジョブを提出してログをターミナルにストリーミングし、トレーニング完了後に学習済みポリシーを Hub にプッシュします。--job.target オプションで T4 から 8x H200 まで任意の計算リソースを選択できます（計算リソースは従量課金制です）。[ドキュメントはこちら](https://huggingface.co/docs/lerobot/v0.6.0/hardware_guide#hugging-face-jobs) ## コードベース：より軽量でクリーンに - pip install lerobot は本格的に軽量化され、基本依存関係が約 40% 削減されました。機能別の追加パッケージ（[training]、[core_scripts]、[evaluation] など）で残りの機能をカバーし、依存関係の不足エラーが発生した際には、どの追加パッケージを追加すべきかを正確に示します。LeRobot データセットのみを使用する場合は、ハードウェア関連の依存関係をインストールする必要もありません。 - サポート対象の PyTorch が 2.7～2.11 に更新され、Linux の uv インストールでは CUDA 12.8 のウェールが初期設定で固定されます。--policy.dtype=bfloat16 オプションにより、Accelerate を介した本格的な混合精度トレーニングが可能になりました。 - コミットされた uv.lock ファイルは、CI、Docker、開発における権威ある依存関係仕様書です。ドキュメントには各ステップの uv インストール手順が記載されており、CUDA ウェールを単一のフラグで選択するところまで網羅されています。 - --display_mode=foxglove オプションを使用すると、テレオペレーション、記録、ロールアウトを Foxglove にストリーミングできます。Foxglove はロボット工学界隈ですでに広く使用されている可視化ツールです。リモート設定とも連携可能であり、lerobot-dataset-viz によりデータセットの再生がスクラブル（シーク可能）になります。 - Pip インストール可能な lerobot_env_* パッケージは、現在、環境を自己登録するようになりました。プラグインシステムは、ロボット、カメラ、テレオペレーター、ポリシー、および環境の 5 つのコンポーネントタイプすべてをカバーしています。 - 記録中のキーボード操作が、Wayland 上、SSH を介して、ヘッドレス環境のラック上、そしてアクセシビリティ権限なしで macOS 上で動作するようになりました。 破壊的変更に関する完全なリストと移行の手引きについては、[リリースノート](https://github.com/huggingface/lerobot/releases) をご確認ください。 ## コミュニティ & エコシステム - LeLab は、校正、テレオペレーション、記録、ローカルまたは HF Jobs でのトレーニング、デプロイという LeRobot のワークフロー全体をブラウザ UI で提供し、CLI は不要です。現在は SO-ARM101 をサポートしています。ぜひお試しください！ - Isaac Teleop を使用すると、NVIDIA チームとの協力によって実現された NVIDIA の Isaac Teleop スタック（CloudXR/OpenXR 経由）を通じて、VR コントローラーで SO-101 をテレオペレーションできます。詳細はドキュメントをご覧ください。 - 新しい計算ハードウェアガイドでは、新規参入者が必ず尋ねる 2 つの質問、「どの GPU が必要か」「トレーニングにはどれくらい時間がかかるか」に答えています。各ポリシーファミリーごとの測定済みの VRAM エンベロープと、RTX 4090 から 4x H100 までの参照トレーニング時間を示しています。 - 書き換えられた「ポリシーの追加」ガイドでは、PR を必要とせずに、既存のリポジトリ内またはプラグインパッケージとして独自のポリシーを配布する方法を示しています。 ## まとめ これらの目玉機能に加え、v0.6.0 には、より賢いデフォルト設定からより信頼性の高い CI まで、コードベース全体にわたる数百のバグ修正、ドキュメントの改善、および生活の質を向上させるアップグレードが含まれています。 コミュニティのみなさん、一人ひとりに心から感謝申し上げます。今回のリリースには、モデルやベンチマークを LeRobot をホームとして選んでくださった学術界、産業界、そして愛好家チームの皆様のご貢献が含まれています。すべてのプルリクエストとバグ報告が、オープンソースロボティクスの前進を支えています。 今後の更新もぜひお楽しみに 🤗 始め方は [こちら](https://github.com/huggingface/lerobot) から！ – LeRobot チーム ❤️

LeRobot v0.6.0：イメージ作成、評価、改善の機能強化

背景や根拠まで確認しますか？

調べる

選ぶ

サイト