Google Research、XR 向け対話型アバターのジェネレーション手法「AgentHands」を発表

AI アシスタントが単純なテキストインターフェースから多モーダルなパートナーへと進化を遂げる中、より主体的で状況に応じた支援への転換が見られています。最近の Project Astra や Gemini 3.1 Flash Live のような新技術では、ユーザーが物理的な周囲環境についてリアルタイムで対話できるようになり、カメラ映像内の物体を特定するために視覚的なバウンディングボックスのオーバーレイを活用するケースも増えています。これらのオーバーレイは 2D スクリーン上では非常に効果的ですが、Android XR のような没入型プラットフォームへの移行には独自の課題が伴います。それは、単なる平面 UI を超えて、実際に身体性を持ち空間認識を備えた対話を実現するにはどうすればよいのかという問いです。

このギャップを埋めるため、私たちは AgentHands を紹介します。これは CHI 2026 で発表された研究プロトタイプで、3D 空間に協調発話ジェスチャーの力を届けるものです。

人間のコミュニケーションにおいて、手は単に指差すだけでなく、形状を説明し、動作を模倣し、ポイントを強調します。これらはすべて声と同期しています。Extended Reality（XR）が持つ空間理解能力を活用することで、AgentHands はこの自然な相乗関係を再現します。

これまでの Human I/O や Sensible Agent に関する先行研究に続くもので、AgentHands は AI エージェントに表現豊かな同期ジェスチャーを追加します。これにより、抽象的な言語指示が直感的で物理的なデモンストレーションへと変換され、周囲についての会話がより自然で魅力的なものになります。

XR における身体化されたハンドエージェントのための分類体系

まず、Google の XR およびヒューマンコンピュータインタラクション（HCI）の専門家と形成研究を行い、3D 環境において仮想の手がどのように「読み取り可能」になるかを明らかにしました。これらの知見を基に、エージェントがユーザーの物理空間内で会話を成立させるために手をどう使うべきか定義する多次元の分類体系を構築しました。

• * handedness（利き手）とジェスチャー:* 片手か両手かを選択し、「警戒」を表す「手掌（パーム）」や、工具を持つ様子を模倣する「円筒握り（シリンダリグリップ）」など、フォームライブラリから適切なものを選びます。
• *空間性:* XR の奥行きを活用して、手が存在すべき場所を決定します。一般的な会話では空中に配置し、特定の部品を指差す場合はオブジェクトに固定し、社会的な合図を示す場合はユーザーとの相対位置関係で表現します。
• *時間的ダイナミクスと視覚効果（VFX）:* XR におけるジェスチャーは静止したポーズだけでなく、「注ぐ」や「トレースする」といったアニメーションされた動きを含みます。また、XR の独自の視覚レイヤーを活用し、赤い発光で熱警告を意味付けるなどの効果を付与します。

AgentHands のワークフロー

AgentHands の中核的な革新は、LLM（大規模言語モデル）による高レベルな推論を、エージェントの「声」やユーザーの XR 環境に即した精密かつリアルタイムの物理動作に変換する能力にあります。以下に、AgentHands ワークフローを構成する主要なステップを紹介します。

環境認識

本システムは、軽量なオブジェクト登録モジュールから始まります。視線とシーン再構築を活用することで、ユーザーは簡単に「タグ付け」を行い、ランやラップトップなどのアイテムを特定できます。これにより、エージェントが参照可能な 3D バウンディングボックスを含む空間レジストリが作成されます。

ジェスチャーイベントライブラリ

私たちは、3 つの意味カテゴリーにわたるハンドジェスチャーの行動ライブラリを構築しました。a) *deictic*（指示的）は参照のために、b) *iconic*（象徴的）は動作や形状の描写のために、c) *expression*（表情）は社会的な合図や感情の伝達のために使用されます。

ジェスチャー埋め込み推論

ユーザーが質問をすると、バックエンドの LLM が応答を生成し、その中にインラインの GestureEvents を含めます。各イベントは特定のトリガー単語に紐付けられ、分類体系の次元に従ったハンド行動のプリミティブ符号化を行います。

同期 XR 実行

XR ヘッドセット上のローカルパーサーが、text-to-speech（TTS）の再生とアニメーションエンジンを調整します。単語レベルの時系列データを使用することで、エージェントの手は話している言葉と完璧に同期して共発話ジェスチャーを実行し、明確で表現力豊かな空間的な参照を提供します。

これらのモジュールを統合することで、AgentHands は言語的な意図と物理的な動作の間にシームレスな架け橋を築きます。このシステムは、標準的な LLM の出力を、エージェントが生成した応答が発話と空間的に正確な動きの両方を通じて表現される、豊かなマルチモーダルなパフォーマンスへと変換します。これにより、ユーザーの環境内で実際に発生する複雑な指示も、その場で正確にデモンストレーションすることが可能になります。

適用シナリオ

これらの身体化されたジェスチャーと XR の空間認識能力を組み合わせることで、物理的な周囲環境に対する理解がどのように深まるかを実証しました。

*対話型指導:* 蘭の世話をするシナリオでは、エージェントは単に「根をチェックしてください」と言うだけでなく、植物の基部に向かって手を動かし、空中で気根を描きながらその機能について説明します。

*技術的なウォークスルー:* 3D プリンターの操作においては、コントロールノブを回してファイルを選択するために必要な「回転とクリック」の正確な手順を実演できます。これにより、複雑な物理インターフェースの手順が直感的になります。

*ライフスタイルのパートナー:* エージェントは、ユーザーの身体的な選択と対話するウェルネスコーチとして機能します。例えば、不健康な行動を警告するために、ユーザーの手を持って「警告」のジェスチャーを行い、視覚効果で注意を促すことができます。

ユーザー調査

これらのジェスチャーの影響を評価するため、AgentHands と音声のみのベースラインを比較する被験者内実験（N = 12）を実施しました。両条件とも同じ研究者が用意した台詞を使用し、唯一の違いは「身体性のある手」とその同期されたジェスチャーの有無のみです。参加者は、日常のケアと技術的な操作のバランスが取れた 2 つの手順タスクを完了しました。

• *観葉植物のお手入れタスク:* ユーザーは植物の部位（気根や茎など）を識別し、特定の箇所に水をやる、適切な肥料を与えるといった多段階の手入れ活動を行いました。
• *3D プリンター操作タスク:* ユーザーはノズルや印刷ベッドなどのハードウェア部品を特定する手順から始め、その後、デバイスの電源を入れる、SD カードを挿入する、コントロールパネルを操作するという一連のワークフローに従いました。

結果

結果により、XR と共発話ジェスチャー（co-speech gestures）の組み合わせが、空間的に根ざしたインタラクションにおいて極めて有効であることが確認されました。コミュニケーションの有効性に関するいくつかの主要指標を用いてデータを分析しました。

• *空間的根付きの顕著な向上:* 参加者は、エージェントによって指された特定の物体の位置を特定し、方向を示すことが、統計的に有意に容易になったと報告しました（*p*

結論と今後の方向性

AgentHands は、AI システムが単に世界を分析するだけでなく、その中で動的に動作する未来への一歩を示すものです。共発話ジェスチャーと XR の空間的強みを活用して会話を物理的な動きに結びつけることで、複雑なタスクにおける認知負荷を軽減し、空間コンピューティングをよりアクセスしやすく、人間中心のものにすることができます。

Android XR エコシステム向けの開発を続ける中で、これらのジェスチャーをさらにパーソナライズ化する方法を探っています。ユーザーの利き手への適応や、特定の空間的ルーティンの学習を通じて、よりシームレスな人間と AI の協働を実現することを目指しています。

謝辞

本研究は、Google の学生研究者として在籍中の Ziyi Liu が中心となって行われたものであり、複数のチームにまたがる共同プロジェクトの一環です。支援いただいた David Li、Zhongyi Zhou、David Kim 各位、ならびに戦略的なガイダンスと慎重なレビューを提供された Adarsh Kowdle、Guru Somadder、Shahram Izadi 各位に対し、心からの感謝を申し上げます。