手首バンドで装着者が自身の動きでロボットハンドを制御可能に

次にスマートフォンをスクロールする際、その偉業に少し立ち止まって感謝の気持ちを持ってみてください。一見平凡に見えるこの行為は、手の 34 の筋肉、27 の関節、そして 100 を超える腱と靭帯が協調して可能にしているのです。確かに、私たちの手は体の中で最も器用な部分です。その多様な微妙なジェスチャーを模倣することは、ロボット工学や仮想現実（VR）において長年の課題となってきました。 現在、MIT のエンジニアたちは、装着者の手の動きをリアルタイムで正確に追跡する超音波（ultrasound）リストバンドを開発しました。このリストバンドは手が動く際に手首の筋肉、腱、靭帯の超音波画像を生成し、人工知能（AI）アルゴリズムと連携して、その画像を絶えず 5 本の指と手のひらの対応する位置に変換します。 研究者たちは、このリストバンドを着用者の手の動きを学習するように訓練することができ、デバイスはそれをロボットや仮想環境に対してリアルタイムで通信することができます。 デモンストレーションでは、チームはリストバンドを着用した人がワイヤレスでロボットの手を制御できることを示しました。その人がジェスチャーをしたり指差したりすると、ロボットも同じ動作を行います。一種のワイヤレスマリオネットのような相互作用において、装着者はロボットを操作してピアノで簡単な曲を演奏したり、小さなバスケットボールを卓上ホープに投げ入れたりできます。同じリストバンドを用いれば、装着者はコンピュータ画面内の物体も操作でき、例えば指先を合わせて仮想オブジェクトを拡大・縮小することも可能です。 チームは、このリストバンドを用いて、異なる手の大きさや指の形状、ジェスチャーを持つ多数のユーザーから手の動きデータを収集しています。彼らは、例えば特定の外科手術手順を実行するなどの器用なタスクにおいてヒューマノイドロボットを訓練するために活用できるような、大規模な手の動きデータセットの構築を構想しています。超音波バンドはまた、ビデオゲームや設計アプリケーション、その他の仮想環境における物体の把持、操作、相互作用にも利用可能です。 「私たちは、この研究が、バーチャルリアリティおよび拡張現実において、従来のハンドトラッキング技術に代わりウェアラブルな超音波バンドを使用する可能性のある即時的な影響を持つと考えています」と、MIT機械工学科のUncas and Helen Whitaker教授であるXuanhe Zhao氏は述べています。「また、器用なヒューマノイドロボットのための膨大な量の訓練データを提供することもできるでしょう。」 Zhao氏、Gengxi Lu氏、およびその同僚たちは、今日*Nature Electronics*誌に掲載される論文において、このリストバンドの新しい設計を発表しました。MITにおける共同著者には、元ポスドクのXiaoyu Chen氏、Shucong Li氏、Bolei Deng氏、大学院生のSeongHyeon Kim氏とDian Li氏、ポスドクのShu Wang氏とRunze Li氏、そしてMIT学務総長であり電気工学・コンピュータサイエンスのVannevar Bush教授であるAnantha Chandrakasan氏が含まれます。その他の共同著者には、南カリフォルニア大学の大学院生Yushun Zheng氏、Junhang Zhang氏、Baoqiang Liu氏、Chen Gong氏、およびQifa Zhou教授がいます。 文字列を見る 現在、ロボットにおける人間の手の器用さを捉え模倣するためのアプローチは複数存在します。いくつかのアプローチでは、カメラを使用して、人が物を操作したりタスクを実行する際の手の動きを記録します。他のアプローチでは、センサー付きの手袋を着用し、その人の手の動きを記録して受信側のロボットにデータを伝送します。しかし、異なる用途のために複雑なカメラシステムを構築するのは非現実的であり、視覚的な障害に陥りやすいものです。また、センサーが満載された手袋は、人の自然な手の動きや感覚を制限する可能性があります。 第三のアプローチでは、腕や前腕の筋肉からの電気信号を利用し、科学者がそれを特定の手の動きと関連付けます。研究者はこのアプローチにおいて大きな進歩を遂げましたが、これらの信号は環境ノイズの影響を受けやすく、また動きの微妙な変化を区別するには感度が十分ではありません。例えば、親指と人差し指が挟まれているか引き離されているかを識別することはできても、その間の経路についてはほとんど把握できません。 趙氏のチームは、超音波イメージングがより器用で連続的な手の動きを捉えられるかどうかを検討しました。彼のグループは、医師の診察室で使用されるトランスデューサー（変換器）の小型化版である各種の超音波ステッカーを開発しており、これらは皮膚に安全に貼り付けることができるハイドロゲル材料と組み合わされています。 新しい研究において、チームは超音波ステッカーのデザインを着用可能なリストバンドに取り込み、手首にある筋肉と腱を連続的に画像化しました。 「手首の腱や筋肉は、人形（つまり指）を引き上げる糸のようなものです」とル氏は言います。「つまり、糸の状態を毎回写真に撮れば、手の状態がわかるという考え方です」 **操作のマッピング** チームはスマートウォッチサイズの超音波ステッカーを搭載したリストバンドを設計し、携帯電話と同程度の小型のオンボード電子機器を追加しました。このリストバンドをボランティアの手首に取り付け、指をさまざまなジェスチャーで動かす際に装置が手首の明確で連続的な画像を生成することを確認しました。 次に直面した課題は、手首の白黒超音波画像と手の特定の位置との関連性を見つけることでした。実は、指と親指には22 の自由度（伸展や角度を変える異なる方法）が存在します。研究者らは、これらの 22 の自由度それぞれに対応する手首の超音波画像内の特定領域を識別できることを発見しました。例えば、ある領域の変化は親指の伸展に関連し、別の領域の変化は人差し指の動きと相関しています。 これらの接続を確立するために、リストバンドを着用したボランティアはさまざまな姿勢で手を動かし、研究者たちはその周囲に設置された複数のカメラでジェスチャーを記録しました。超音波画像の特定領域の変化とカメラで記録された手の位置を照合することで、チームは手に対応する自由度に応じてリストバンドの画像領域にラベル付けを行うことができました。しかし、この変換を継続的かつリアルタイムで行うことは、人間には不可能な作業です。 そこでチームは人工知能（AI）に頼ることにしました。彼らは、画像パターンを認識し、それらを特定のラベル、つまりこの場合は手のさまざまな自由度と関連付けるように訓練できる AI アルゴリズムを使用しました。研究者たちは、特定の自由度に関連する画像領域を注意深く注釈付けした超音波画像を用いてアルゴリズムを訓練しました。そして、新しいセットの超音波画像でアルゴリズムを検証したところ、対応する手のジェスチャーを正しく予測できることが確認されました。 研究者らが AI アルゴリズムとリストバンドの連携に成功した後、このデバイスをより多くのボランティアでテストしました。新しい研究では、手や手首のサイズが異なる8人のボランティアがリストバンドを着用し、アメリカ手話のすべての26文字を表すジェスチャーを含むさまざまな手の形や把持動作を行いました。また、テニスボール、プラスチック製のボトル、はさみ、鉛筆などの物体も保持しました。どのケースでも、リストバンドは手の位置を正確に追跡・予測することができました。 潜在的な応用を示すため、チームはリストバンドとワイヤレスで接続できるシンプルなコンピュータプログラムを開発しました。装着者がつまむ動作や把持動作を行うと、そのジェスチャーがコンピュータ画面上の物体に対してズームイン・アウトしたり、滑らかで連続した方法で仮想空間内で移動・操作したりすることに相当します。 研究者らはまた、このリストバンドを簡易な市販型ロボットハンドのワイヤレスコントローラーとしてもテストしました。リストバンドを着用したボランティアがキーボードを演奏する動作を行うと、ロボットはリアルタイムでその動きを模倣し、ピアノで簡単な曲を演奏しました。同じロボットはまた、人の指先をタップする動作も模倣して、デスクトップ用のバスケットボールゲームをプレイすることもできました。 趙氏は、リストバンドのハードウェアをさらに小型化するとともに、より多様な手のサイズや形状を持つボランティアからの多くのジェスチャーと動きを用いて AI ソフトウェアのトレーニングを進める計画です。最終的に、チームは誰でも着用でき、高い器用さで人間型ロボットや仮想オブジェクトをワイヤレス操作できるウェアラブルハンドトラッカーの開発を目指しています。 「私たちは、リストバンドによる装着型のイメージングを通じて、器用な手の動きを追跡する最も先進的な方法であると信じています」と趙氏は述べています。「これらのウェアラブル超音波バンドは、仮想現実やロボットハンドに対して直感的で多用途な制御を提供できると考えています」。 本研究は、一部において、MIT、米国国立衛生研究所、米国国立科学財団、米国国防総省、およびシンガポール・MIT 研究技術アライアンスを通じたシンガポール国立研究財団によって支援されました。

手首バンドで装着者が自身の動きでロボットハンドを制御可能に

背景や根拠まで確認しますか？

調べる

選ぶ

サイト