Geminiで創造的なプロンプトをインタラクティブなXR体験に変える
Android XRチームはGeminiのCanvas機能を活用し、没入型拡張現実(XR)体験の作成を簡素化しています。
キーポイント
GeminiとCanvasを活用し、自然言語プロンプトからインタラクティブなXR（拡張現実）体験を迅速に生成できるツールをGoogleが開発
従来は専門スキルと時間が必要だった高精細XRコンテンツ開発を、リアルタイムプロトタイピングと反復によって大幅に効率化
WebGL/Three.js/WebXR APIを基盤とし、Samsung Galaxy XRヘッドセットとGemini 3 Proを用いた具体的な実装方法を公開
影響分析・編集コメントを表示
影響分析
この技術は、XRコンテンツ制作の民主化と開発ワークフローの劇的短縮をもたらす可能性がある。創造的な発想から即座に没入型体験を試作できる環境は、教育、エンターテインメント、プロトタイピングなど多分野での活用が期待される。
編集コメント
「プロンプトからXRへ」という流れを一気通貫で実現する画期的なデモ。開発者だけでなく、クリエイターの参入障壁を下げる可能性が大きい。
Geminiによる創造的プロンプトからインタラクティブXR体験への進化
GoogleのAndroid XRチームは、Geminiウェブアプリに「Canvas」がリリースされたことを受け、没入型コンピューティングを広く開発者やユーザーに提供する方法を模索し始めました。その中で、Geminiがインタラクティブな3Dウェブグラフィックスの生成に特に優れていることに着目。単純な疑問、「Geminiが生み出す3Dウェブコンテンツを、拡張現実（XR）で体験できたらどうか？」が探求の始まりでした。
この可能性をテストするため、チームは没入型の生物学シミュレーションを共同で構築。Geminiはまず、血球間の複雑な相互作用をモデル化し、WebGLとThree.jsを用いて視覚化しました。それは生きている教科書の図のようでしたが、WebXR APIを使ってそのコンテンツをXRに変換した時に変化が起こります。画面に現れた「XRに入る」ボタンを押すと、細胞サイズの巨大な血球の中を、分子レベルで探索できる体験が実現。これは、Geminiが完全なインタラクティブXR体験を構築できる能力を示す実証となりました。
この成果は、従来の方法よりも大幅に速く複雑な3Dプロトタイプやインタラクティブモデルを構築できるツールの開発へとつながっています。高精度なXR開発には通常、多岐にわたるスキルが必要ですが、Geminiはインタラクティブな3Dコンセプトをリアルタイムでプロトタイピングし、探求する新たな道を提供します。創造的なひらめきから、即座にテスト可能な機能的な体験へと素早く移行できることが特徴です。
自身で試すには、Samsung Galaxy XRヘッドセットとGemini 3 Proへのアクセスが必要です。まず、事前構築済みの「XR Blocks Gem」を使うか、Geminiに現実的なAR物理演算のための高度な知覚能力を与える「XR Blocks ultra-prompt」をダウンロードして独自のGem（カスタマイズされたAIエージェント）を作成します。Geminiウェブインターフェースで新しいGemにこれをアップロードし、「あなたは創造的で機知に富み、卓越した美的感覚と技術的実行力を持つWebXR開発者です」といった説明を加えることで、AIに適切な開発者ペルソナを付与します。これにより、Geminiは視覚シーンを解釈し、画像生成ツールを使って洗練された3Dテクスチャを作成できるようになります。
体験を開始するには、Galaxy XRのChromeでGeminiを開き、作成したXR Gemとの新しいチャットを開始して「Canvas」を選択します。この環境では、触れると反応するタンポポのようなインタラクティブなコンポーネントを構築できます。さらに、体験の中に「Gemini Live」を埋め込むようプロンプトすることも可能です。これにより、没入型セッションを中断することなく、Geminiと直接会話したり、創造を続けたりできます。
構築は反復的です。「火山環境を作って」と指示すれば周囲の景色が一変し、「あそこに蝶を追加して」と具体的なオ
原文を表示
Gemini Turn creative prompts into interactive XR experiences with Gemini
With the release of Canvas in the Gemini web app, our Android XR team began to explore how we might use it to make immersive computing accessible to developers and users at large. We noticed that Gemini is particularly adept at generating interactive 3D web graphics, and asked a simple question: What if you could experience Gemini’s 3D web creations in extended reality?
To test this, our team collaborated to build an immersive biology simulation. Gemini first modeled the complex interactions between blood cells and rendered them visually using WebGL and Three.js. It looked like a living textbook illustration, but the shift occurred when we converted that content to XR using WebXR APIs. A button appeared on the screen: “Enter XR”. Exploring car-sized blood cells at a sub-cellular scale demonstrated Gemini’s capability to build fully realized, interactive XR experiences.
This led to the development of tools that allow you to build complex 3D prototypes and interactive models significantly faster than traditional methods. Here’s how you can give this a try yourself and turn your ideas into functional 3D experiences with ease.
Sorry, your browser doesn't support playback for this video
Get started building 3D experiences with Gemini
While high-fidelity XR development traditionally requires a broad range of skills, Gemini offers a new way to rapidly prototype and explore interactive 3D concepts in real-time. This approach allows you to move quickly from a creative spark to a functional experience you can test immediately. To begin building your own interactive environments, you will need a Samsung Galaxy XR headset and access to Gemini 3 Pro.
Set up your XR Gem: You can start with the pre-built XR Blocks Gem, or build your own version by downloading the XR Blocks ultra-prompt to give Gemini advanced perception capabilities for realistic AR physics. Upload it to a new Gem in the Gemini web interface and add a description like "you are a creative and resourceful WebXR developer with superb aesthetic taste and technical execution," and any other information to capture your vision. This persona allows Gemini to interpret your visual scene and use image-generation tools to create polished 3D textures.
Launch the experience: Open Gemini in Chrome on your Galaxy XR, start a new chat with your XR Gem, and select Canvas. This setup allows you to build interactive components, like a dandelion that reacts to your touch. Try prompting Gemini to embed Gemini Live within the experience. This allows you to talk to Gemini directly, or even continue creating without leaving the immersive session.
Sorry, your browser doesn't support playback for this video
- Build and iterate: Think of an idea and ask Gemini to build it. You can say "create a volcanic environment" to change your surroundings instantly, or "add a butterfly there" to place specific objects. You can even give characters backstories and agency within your scene. If the result isn't perfect, try again or layer simple ideas together to create complexity. When you’re finished, your creation becomes a web link that you can share with anyone.
Sorry, your browser doesn't support playback for this video
Ideas to get you building today
We have a few recommended starter prompts if you want to try something simple that you can build on:
“Make a pen that draws rainbows in 3D”
Sorry, your browser doesn't support playback for this video
“Make a bunch of bubbles that pop when I touch them.”
Sorry, your browser doesn't support playback for this video
“Make an origami bird that flies around the room for a few seconds and then lands on my hand. When I move my hand, it flies away and repeats.”
Sorry, your browser doesn't support playback for this video
If you are feeling adventurous, we have more advanced challenges for you to try.
Create a smart planetarium with real star data, ex: NASA exoplanets, Smithsonian star catalog, European Space Agency’s 3D map of the galaxy.
Create a clone of your favorite 80s arcade game, and re-skin it to be cat-themed.
Create a tool that turns your 3D doodles into lifelike sculptures.
Create something great and share your Canvas so other people can try it and build on it as well. Browse XR Blocks demos to get inspired with live demos designed for Android XR. Head over to gemini.google.com to get started today using the steps above!
Gemini Google AI Studio AI Announcements Introducing Gemini 2.5 Flash Image, our state-of-the-art image model
AI Tutorials A Guide to Fine-Tuning FunctionGemma
Gemini AI Announcements Beyond the terminal: Gemini CLI comes to Zed
Mobile Web Announcements Solutions Introducing A2UI: An open project for agent-driven interfaces
Mobile Web Announcements LiteRT: The Universal Framework for On-Device AI
AI Tutorials Easy FunctionGemma finetuning with Tunix on Google TPUs
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み