アマゾンとミシガン大学がロボットに触覚感覚をもたらす

倉庫自動化から手術支援まで、多くの実世界アプリケーションはロボットが繊細で接触を伴うタスクを実行することに依存しています。これらの状況でしばしば欠けているのは触覚です：ロボットは物体を効果的に操作するために指先にかかる力を感知する必要があります。長年の努力にもかかわらず、この問題に対する堅牢でスケーラブルな解決策はまだ遠く、特に産業現場ではその実現が困難です。一つの手法として、柔らかい指先に埋め込まれたカメラが接触幾何学を捉えるビジョンベースの触覚センサーを使用するアプローチがあります。研究者はこの手法を用いて物体の形状や姿勢を推定してきましたが、操作能力と最も相関する力を計算することは依然として課題となっています。物体がセンサーに対してスライドしたり回転したりする際に生じる力である触覚せん断（tactile shear）をモデル化することは、物体をつかみ、工具を使用し、複雑な操作スキルを実行できるロボットを構築するために不可欠です。私たちの解決策「HydroShear」は、シミュレーターに触覚力を正確にモデル化する能力を与え、ロボットがシミュレーション内で完全に器用で接触豊富な操作ポリシーを学習できるようにします。これらのポリシーは、何ら修正を加えることなく実世界へシームレスに移行し、4 つの困難なタスク全体で平均 93 パーセントの成功率を達成しました。

触覚の現実ギャップの解消

ロボットの歩行に関するシミュレーターは、物理エンジンが剛体ダイナミクスと固有受容性（proprioceptive）センシングをよくモデル化できるため、実世界アプリケーションで成功を収めています。しかし、微妙な触覚力やせん断フィードバックを正確にシミュレーションすることは notoriously 困難です。このため、強化学習を通じてシミュレーターで訓練された触覚センサーが、実際のロボットに展開された際に成功するのはほぼ不可能でした。

既存の触覚シミュレーターは根本的なトレードオフに直面しています。有限要素法などの物理ベースの手法は接触力を正確にモデル化しますが、大規模な強化学習ポリシーのトレーニングには遅すぎて実用的ではありません。一方、より高速な近似手法は、接触中に力がどのように蓄積し変化するかを過度に単純化してしまいます。それらは、把持された物体がスライドし始める瞬間や、柔らかいセンサーが時間とともに変形する方法といった重要な事象を見逃します。

忠実さと速度を兼ね備えた触覚のモデル化

HydroShear の核心的な革新は、「hydroelastic contact models」と呼ばれる既存の物理シミュレーション技術に新たな機能を追加することです。経路依存力追跡（path-dependent force tracking）と呼ばれるこのアプローチは、物理的相互作用中に柔らかいセンサー膜上に力がどのように蓄積するかを正確に追跡します。HydroShear は瞬間的な接触のみに基づいて力を計算するのではなく、物体がセンサー上を移動する際の運動履歴を記憶します。

より具体的には、ロボットが物体をつかんで動かすとき、物体表面の異なる点が異なる時刻にセンサーと接触します。HydroShear はこれらの各接触点を個別に追跡し、物体が動く際に柔らかいエラストマーがどのように変形するかを計算します。その後、これらの変形を実際の力場に変換し、摩擦、すべり、およびエラストマーの材料特性を考慮に入れます。

シミュレーターは完全な 3 次元運動（傾きや転がり、ならびに面内スライド）を処理でき、これは器用な操作にとって不可欠です。また、GPU で並列化可能であり、効率的な大規模ポリシートレーニングを可能にします。

HydroShear のキャリブレーションは、ロボットアームとビジョンベースの GelSight Mini 触覚センサーを用いて制御された実世界データを収集することで行います。このキャリブレーションでは、4 つの主要パラメータを分離して特定します：力がセンサー表面全体にどのように消散するか、接線力と法線力がどのように蓄積するか、および物体とエラストマー間の摩擦係数です。この体系的なアプローチにより、シミュレーターが実際の触覚フィードバックを正確に再現することが保証されます。

検証：シミュレーションから実ロボットへ

HydroShear は、それぞれ異なる課題を強調する 4 つの接触豊富な操作タスクで評価されました。すべてのタスクにおいて、ロボットは触覚と固有受容性（関節位置およびグリッパーの状態）を感知しますが、物体の姿勢にはアクセスできません。

ペグ挿入：ロボットは未知の向きにある円柱状のペグをつかみ、きついソケットに挿入する必要があります。把持姿勢が試行ごとに異なるため、ロボットは挿入中に整列誤差を検出・修正するために触覚フィードバックのみを使用しなければなりません。

ビンパッキング：ロボットは混雑したビンのターゲットスロットに立方体を挿入します。隣接する立方体がスロットを部分的にブロックしているため、ロボットは複数の方向から同時に力を感知しながら多物体接触を押しのける必要があります。

本棚への収納：ロボットは重力が挿入方向に対して垂直に作用する状態で、本を横向きに本棚に挿入します。本は指先よりも大きいため、広範な接触パッチが生じ、触覚のみから物体の位置を特定することが困難になります。

引き出しの開閉：ロボットはランダムな時刻に外部力の摂動が加えられる中で引き出しを開けます。ロボットはハンドルがすべり始める瞬間を検知し、潰さない程度に必要なだけ把持力を強化する必要があります。

HydroShear を使用して強化学習ポリシーをシミュレーション内で完全に訓練した後、何ら修正や微調整を行うことなく、GelSight Mini センサーを搭載した実物の Franka ロボットに展開しました。HydroShear は 4 つのすべてのタスク全体で平均 93% の成功率を達成しました。

私たちは 2 つの強力なベースラインと比較しました：簡略化された力近似を使用する TacSL と、最近の学習ベース手法である FOTS です。TacSL はわずか 34% の成功率しか達成できず、FOTS は 58 から 61% に達しました。この性能差は、正確な触覚せん断シミュレーションの重要性を浮き彫りにしています。

興味深いことに、性能の違いはシミュレーションの忠実度と直接的に相関しています。ペグ挿入のように精密な力フィードバックが重要なタスクでは、HydroShear の優位性が最も顕著です。引き出しの開閉のようにすべりを検知して反応する必要があるタスクでは、HydroShear の経路依存力追跡が不可欠であることが証明されました。

より高速で低コストへ

正確な触覚シミュレーションは、ロボット学習のための強力なレシピを開きます：ポリシーを完全にシミュレーション内で訓練し、その後実世界のロボットに展開します。このアプローチは、センサーを損傷する可能性があり広範な試行錯誤を必要とする実世界からの学習よりも劇的に高速かつ安価です。

倉庫自動化においては、このアプローチが特に価値があります。ビンパッキング、ソート、慎重なハンドリングなどのタスクでは、ロボットが複雑な相互作用の中で触覚を使って進む必要があります。HydroShear は、広範な実世界データ収集なしにロボットがこれらのスキルを学習することを可能にします。

HydroShear は GelSight などのビジョンベースの触覚センサーと組み合わせることで強力な結果をもたらしますが、その基本原理は他の触覚モダリティにも拡張できる可能性があります。私たちは、より高解像度のセンサーシミュレーションやより複雑な物体幾何学がさらに性能を向上させる可能性についても探索中です。