LLM がロボットに曖昧な指示の理解と重要詳細への集中を支援

近い将来、倉庫やオフィスで働いていると想像してみてください。新しい研修生に仕事の基礎を教えるよう頼まれますが、その研修生はロボットです。彼らを教えるには、「見せて説明する」ゲームを行うかもしれません。つまり、何かのやり方を物理的に数回示しながら、同時に自分が何をしているかを説明することです。 例えば、Zoom 通話中に邪魔にならないように、机の上にコーヒーを置いてほしいとロボットに頼んだとしましょう。ロボットがあなたやラップトップに近すぎず、会議を中断しないことを望むでしょう。この動作を実現するには、ロボットはタスク全体を明確に示すデータで訓練される必要があります。コンピュータ科学者たちは、多くの物理的なデモンストレーションを記録したり、広範な指示を書いたりすることで、ロボットに操作タスクを説明しようと試みてきました。しかし、その両方が揃っていない場合、機械が何をすべきかを誤解する可能性が高いです。 人間がすべてを教え示すのは手間がかかるため、MIT のコンピュータサイエンスおよび人工知能研究所（CSAIL）の研究者たちは、ロボットへの教育プロセスを自動化し、指示を自動的に明確化するとともに、デモンストレーションデータを約 5 分の 1 に抑えることに成功しました。彼らの「マスクド逆強化学習」（Masked Inverse Reinforcement Learning: Masked IRL）アプローチでは、ユーザーのデモから収集されたデータに基づいて曖昧なプロンプトを大規模言語モデル（LLM: Large Language Model）が補完します。別の LLM は、アルゴリズムが運動計画に組み込むべき詳細を絞り込み、ロボットが家庭、オフィス、工場などで安全に家事や作業を完了できるようにします。 「人間のロボットとの相互作用において、タスクの詳細をすべて説明したくない場合でも、私たちのアプローチは役に立つでしょう」と、このプロジェクトを紹介する論文の主要著者であり、MIT の博士課程学生かつ CSAIL 研究者であるミンヨン・ファン（Minyoung Hwang）氏は述べています。「私たちは、機械がユーザーが本当に何を望んでいるのかを理解できるようにすることで、人間の労力を最小限に抑えています」。 ファン氏によると、Masked IRL は、人間がプロンプトで記述しないかもしれないが、 nonetheless 極めて重要な要素が存在する環境において、ロボットが安全に操縦することを支援できます。例えば、キッチンからお菓子を掴んで持ってくる機械は、あなたのラップトップにぶつからないようにする必要があることを知らないかもしれません。同様に、工場内のロボットが異なる箱に物品を配置する際には、棚の周りを慎重に移動する必要があります。 これらの状況で新しいタスクを学習するために、Masked IRL はロボットのセンサーを使用して周囲の情報を読み取ります。これらのコンポーネントはまた、キネステティック・デモンストレーション（人間がロボットを物理的に動かして特定の動作を行わせるトレーニング手法）における各動きも記録します。これはまるで機械の理学療法士のように、関節を特定の方向に曲げて、ロボットが物体をつかみ、移動させ、置く方法を教えるようなものです。 MIT のシステムは次に、LLM（大規模言語モデル）を呼び出して、この一連の動き（軌道と呼ばれる）を最短経路と比較します。また、プロンプト内で不明瞭な点について補足し、「近くにいる」という要求を「テーブルの表面に近い位置に留まる」ように具体化します。軌道の比較と明確化された指示を用いて、LLM はトレーニングされた動きがなぜタスクにとって重要なのかを理解し始めます。 次に、2 つ目の LLM が障害物の位置やロボットの目標物体の形状など、環境の詳細を評価します。このプロセスにおいて、LLM は「マスク」処理（つまり、現在のタスクに関連ないと判断した要素を無視）を行い、各要素を「1」（重要）または「0」（あまり重要ではない）としてスコアリングします。例えば、デモンストレーション中にユーザーがテーブルにもたれかかっていたかどうかは「0」となり、無関係な情報となります。「1」とみなされた詳細は、アルゴリズムによって最終的なアクションプランに組み込まれます。 これらのマスクは、ロボットに優先すべき情報を教えることで、3D デモおよび実世界デモの両において、Masked IRL に同等のベースラインに対する決定的な優位性をもたらしました。研究者たちのシステムのおかげで、仮想ロボットと実世界のロボット双方が、コーヒーカップをラップトップの周りに移動させてテーブル上の異なる場所に置くなど、障害物の周りを巧みに物体を操作できるようになりました。これらのタスクにおいて、Masked IRL は、プロンプトに明示的に記述されていなかったユーザーの嗜好を、同等のベースラインよりも最大 15 パーセント多く正しく特定しました。 シミュレーション実験において、CSAIL の研究者たちはまた、Masked IRL が高速な学習者であることを発見しました。カップを移動する方法を理解するために必要なデモ数は、ベースラインよりも少なくて済みました。さらに、機械が曖昧な要求に従おうとするのではなく、LLM（大規模言語モデル）が指示を明確にした場合に、ロボットのパフォーマンスが向上することも発見しました。 このより焦点を絞ったアプローチは、実世界のロボットアームにもよく適合し、学習フェーズでシステムが遭遇したことがないプロンプトを実行することができました。50 回の触覚的デモ（kinesthetic demonstrations）のトレーニング後に、ロボットは人間の前にカップを慎重に移動させながら、ユーザーのコンピュータとの衝突を回避しました。これは、「離れていて」というより一般的な要求を詳細化することで学習した回避すべき障害物です。また、テーブルに対して「近くにいる」ようにしながらテーブルを拭き、人間とテーブルの両方から「離れている」ようにしながらユーザーにチップの袋を手渡すこともできました。 マスクされた IRL は、ユーザーが残した言外の意味を感知し説明しますが、近い将来にはそれを「見る」ことも可能になるでしょう。CSAIL の研究者たちは、カメラを搭載してアプローチをより動的なものにする計画を立てており、これによりロボットが周囲の画像を撮影できるようになります。そうすれば、特定の要素にハイライトをつけ、焦点を合わせることが可能になります。例えば、おもちゃを拾うよう指示された場合、近くにあるバナナを見てそれらを無視し、対象となる物体を扱うでしょう。 この論文は、Hwang 氏と CSAIL の3人の同僚との共著です。共著者には、博士課程学生のアレクサンドラ・フォーシー＝スメレック（'20, SM '22）、ポスドクのネイサンエル・デンラー、そして航空宇宙工学科および CSAIL に所属する MIT 准教授のアンデレア・ボブが含まれます。この研究は、タタグループによる MIT 生成 AI インパクトコンソーシアム賞の一部と、米国国防総省によって支援されました。彼らは今年6月に開催される IEEE ロボティクス＆オートメーション国際会議（2026）で本プロジェクトを発表する予定です。

LLM がロボットに曖昧な指示の理解と重要詳細への集中を支援

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

関連記事

調べる

選ぶ

サイト