Runway、リアルタイム生成世界モデル「GWM Worlds 2」を研究プレビューとして公開

Research Preview

リアルタイムで生成されるインタラクティブな世界：探索しながら入力に応答する、連続した 720p ビデオ（24 fps）と 48,000 Hz のオーディオ。昨年の 12 月に発表した「GWM Worlds」を拡張し、GWM Worlds 2 では生成されたオーディオや、被写体・シーンに関する詳細な制御が可能になりました。

2026 年 9 月 3 日

Runway より

昨年 12 月、私たちはリアルタイム環境シミュレーション用の世界モデル「GWM Worlds」を発表しました。これはリアルタイム動画生成に関する私たちの研究をさらに発展させたもので、長い移動シーケンスにわたって空間的な一貫性を維持する点で優れた性能を発揮しました。

本日、インタラクティブな環境を創出するための次世代研究として「GWM Worlds 2」をお伝えします。基盤となるオーディオ・ビデオ生成モデルの上に構築された GWM Worlds 2 は、高忠実度の動画と音声生成をリアルタイムのインタラクティブシミュレーションへと変換します。あなたは環境、被写体、ビジュアルスタイル、物理法則、そして雰囲気を定義できます。世界の中に入ったら、テキストアクションで任意の被写体やシーン自体に指示を出し、カメラの連続的な動きと合わせて世界を操ります。テキストアクションには、剣の一閃、言葉による返答、部屋への水没、吹き荒れる砂嵐など、言葉にできるあらゆる行為が含まれます。

新しい入力ごとに世界が継続するため、固定されたクリップやスクリプトに従う必要はありません。セッションの長さも事前に決まっていません。これにより、インタラクティブエンターテインメント、バーチャルキャラクター、ロボティクス、エンボディドエージェントシミュレーション、そして生成デザインやインターフェースのための基盤が築かれます。

*サバイバーを演じる。一人称で描かれる砂漠の世界。サバイバーは動き、槍を突き刺し、水筒から水を飲み、走り出します。

*演出家の視点。同じ世界を演出家席から見下ろす。焚き火や天候への指示により、炎が燃え上がり、夕日が星明かりの夜へと移り変わります。

*両方の役割を同時に。プレイヤーはサバイバーとして砂漠を横切り、歩き、槍を突き刺し、走り出しますが、その周囲で演出家がシーンを再構築します。夕日が星明かりの夜へ移り、焚き火が燃え上がるのです。

WorldPrompt

世界に対する細やかな制御には、あらゆるユースケースに通用する入力表現が必要です。私たちは「世界は永続的な状態と時間とともに変化する状態の二つに分けられる」という洞察に基づいています。これを形式化したのがWorldPromptで、これは相補的な2つのレイヤーからなるフォーマットです。

• 永続的な世界の文脈: 環境、そのレイアウト、素材、照明、周囲の音を含むシーン説明、イベントに参加可能な主体とその属性、重力や衝突、キャラクターの能力、カメラ視点といった振る舞いを支配する法則や再利用可能な慣習などを含む、創世プロンプト。

生成の視覚的基盤となる最初のフレーム。

• タイムスタンプ付きイベントストリーム: 動き、ジェスチャー、オブジェクトとの相互作用、発話、音声を記述するアクション。各アクションは、開始時刻と終了時刻を持つ自由形式のテキストプロンプトであり、対象キャラクターまたはシーン自体に対して指示されます。複数のアクションは重複して発生し得ます。また、視点の移動と回転をフレームごとに表現したカメラ入力も含まれます。

具体例

当社のデータセットから、2 人のキャラクターが街角で会話する様子を WorldPrompt で記述した具体的な例を示します。

シーン

レンガ造りの建物が並び、右側には丸い鉢植えの低木が配置された都市部の濡れた歩道。黄色い線が入ったアスファルト道路が歩道の隣を走っています。濡れた地面には反射が見られ、落ち葉が散らばっています。

キャラクター

• 街路清掃員: 短く黒髪の細身の男性。灰色のスウェットシャツの上にオレンジ色のハイビジビリティベストを着用し、濃色のズボンとブーツを履いています。箒とホウキ受けを持っており、男性的な声で話します。左側の濡れた歩道に位置しています。
• 緑のコートを着た女性: 黒髪をポニーテールにした細身の女性。緑のコート、濃色のパンツ、黒いブーツを着用。女性的な声で話し、濡れた歩道を歩いていきます。

ルール

重力は地球と同様に働き、落ち葉が濡れた歩道に平らに置かれます。カメラは緑のコートを着た女性の三人称視点で追従します。

「そのまま真っ直ぐ進んで…」

• 葉を掃く
• 前方を指差す
• 葉を掃く

「すみません…」

「ありがとう…」

移動

前方へ進む

タイムラインバーを横にずらすかフォーカスすると、プロンプト全体を確認できます。

*時刻付きイベントストリーム。クリップを再生するとタイムラインも追従します。クリックまたはドラッグしてシーク可能です。アクションは自由に重なり合い、発話も他のアクションと同様に扱われ、言うべきセリフが流れます。*

WorldPrompt 形式でのモデル微調整

基盤となる音声・動画生成モデルを WorldPrompt 形式で微調整しました。以下に示す結果から、このモデルが WorldPrompt の構造を正しく理解していることがわかります。

「キャッチはどうだ…」

前方へ歩き出す

その場で立ち止まり、…の方を向く

振り返りながら前へ進む

「昨日よりマシだ…」

魚の処理を続ける

その場の近くで静止する

タイムラインバーを横にずらすかフォーカスすると、プロンプト全体を確認できます。

*時刻付きイベントストリーム。このクリップは、上記プロンプトに対するモデルの出力です。再生するとタイムラインも追従します。クリックまたはドラッグしてシーク可能です。アクションは自由に重なり合い、発話も他のアクションと同様に扱われ、言うべきセリフが流れます。*

リアルタイム生成

微調整済みのモデルはまだ処理速度が遅く、双方向（bidirectional）であるため自己回帰的（autoregressive）な生成には対応していません。そこで、この双方向モデルをポストトレーニングし、リアルタイムで自己回帰的に動作する GWM Worlds 2 を構築しました。GWM Worlds 2 は双方向モデルと異なり、固定された再生時間にも縛られず、無限に生成を続けることが可能です。

同じ WorldPrompt の構造が適用されますが、今回は世界がプレイヤーの行動に応じて反応します。以下の各クリップは 24 fps でリアルタイム生成され、ユーザーは対象やシーンに向けたテキストアクションを通じて世界を操り、カメラも連続的に移動させます。頻繁に使うアクションはキーボードに割り当てて素早く操作できます。

このモデルは、歩行・運転・乗車など、第一人称視点と第三人称視点の両方のナビゲーションをサポートしています。カメラと被写体はそれぞれ独立して制御可能です。

モデル概要

GWM Worlds 2 は、720p の動画を 24 fps、音声を 48,000 Hz で生成する自己回帰型拡散モデルです。各自己回帰ステップでは、3 つの種類のコンテキストに基づいて条件付けを行います。

1. グローバル・コンテキスト：ジェネシス・プロンプトと最初のフレーム
2. 現在のフレームの入力：カメラ入力と、そのフレーム全体にわたるテキストアクション
3. 過去に生成されたフレーム（スライディングウィンドウでキャッシュ）

ビデオデコーダーとオーディオデコーダーは因果関係を持つ構造で、高速なデコードのためにキャッシュを活用します。

K →Q ↓imgtxtvatcvatcvatcvatcglobalf1f2f3curimgtxtvatcvatcvatcvatcglobalf1f2f3curKV cache at the current stepglobal tokens, always attendedattended tokensselfevicted, future or not attendeddenoised at the current step

アテンションパターン

すべてのトークンは、グローバルトークン（最初のフレームとジェネシスプロンプト）に注意を向けます。一方、各フレームのビデオ、テキスト、オーディオトークンは、スライディング KV キャッシュウィンドウ内で自分自身および過去のフレームに対して因果的に注意を向け、古いフレームは逐次削除されます。グローバルトークンが注意を向けるのは自分たちだけです。

各フレームにおける記号：v = ビデオ、a = オーディオ、t = テキスト、c = カメラ。

モデルの活用方法

このモデルは、永続的なコンテキストとイベントベースのコンテキストを持つ「ワールドプロンプト」を入力として受け取り、ビデオとオーディオを生成します。このようなモデルの使い方は多岐にわたります。

• 事前生成（Ahead of time）

ユーザー（あるいは LLM の支援を受けながら）が、開始時にタイムスタンプ付きイベントストリームを一度作成し、それに基づいてモデル全体でビデオとオーディオを生成します。*用途：映画制作、広告*

• ターンベース

生成はユーザーが判断を下すまで続きます。ユーザーが行動を選択すると、LLM がそれをタイムスタンプ付きイベントストリームの形式に変換し、モデルは次の判断ポイントまで生成を継続します。*用途：ビジュアルノベル、インタラクティブ映画*

• リアルタイム

モデルはビデオとオーディオを連続的に生成し、ユーザーの行動が即座に生成ストリームに影響を与えます。これは最も困難なシナリオです。テキストを低遅延で利用可能にし、世界に対して即時反応させる必要があるためです。ユーザーに入力を求めるのは遅すぎますし、VLM でも数十分の一秒の応答は不可能です。*用途：ゲーム、インタラクティブ体験*

事前生成とリアルタイム生成の違い

事前生成では、すべてのアクションを最初に記述し、ターン制で進行します。生成はユーザーの操作を待機します。

一方、リアルタイムでは待ち時間がなく低遅延です。ユーザーがアクションを記述すると、即座に反映されます。その間も生成は継続して実行され続けます。

デモ

リアルタイム生成セクションの一部の動画では、その場でアイデアを思いつくのではなく、事前に豊かなアクションを記述する事前生成の方法を採用しました。ただし、大半のデモではリアルタイム方式を実装した自社のデモを使用しています。

その場でテキストプロンプトを考える代わりに、キーボードやマウスの入力をあらかじめ用意したプロンプトにバインドしています。例えば、「W キー」は「キャラクターが前方へ移動する」、「左クリック」は「キャラクターがボールを投げる」といった具合です。この手法も機能しますが、現時点では事前生成の方が品質が高いと判断しています。その理由は、テキストプロンプトで描写できるシーンの範囲が圧倒的に広いからです。例えば、カメラを回して新しい景色が見えた場合でも、事前生成ならその瞬間に視界に入った全体像を詳細に記述できます。一方、リアルタイムのデモでは、モデルは永続的なコンテキストと過去のフレーム以外の手掛かりなしで、すべての細部を自ら考え出す必要があります。

*リアルタイムデモ。雪の峠にいる魔法使いがライブで操作されています。キーやマウスのバインドが事前に用意されたアクションプロンプトを発火させ、マウス移動でカメラを操縦します。デモ独自のアクションタイムラインはビューの下に実行されます。

動画からのプレイ継続

画像から始めるのではなく、既存の動画で生成を初期化することも可能です。例えば、生成された 8 秒間の動画をプリフィル（事前充填）し、そこから再生を続ける例があります。この際、モデルは入力動画と環境や音声を一貫して維持します。

入力動画

ライブプレイ

前方移動

ライフル発射

左に横移動

前方移動

ダッシュ

伏せ姿勢へ

前方移動

ライフル発射

機関銃の連射音

迫撃砲の爆発音

機関銃の連射音

タイムラインバーにカーソルを合わせると、プロンプト全体を確認できます。

*入力動画から継続再生。最初の 8 秒間はプリフィルされた動画で、その後は世界がライブで展開され、プレイヤーからの指示に基づいてアクションが進行します。*

エージェントによる制御

エージェントに各主体の行動を任せることも可能です。例えば、キャラクター（移動や攻撃）と環境（照明の調整）の両方をエージェントに制御させる例があります。これにより、GWM Worlds 2 はエージェントの評価用シミュレーション環境として、あるいは多様な環境でのトレーニングプラットフォームとして活用できます。

前方移動

受け流し構え

クロスカットスラッシュ

左に横移動

右に横移動

前方移動

前方ダッシュ

前方へジャンプ

後退

受け流し構え

剣を収める

前方移動

後退

受け流し構え

クロスカットスラッシュ

受け流し構え

前方移動

突風

松明が消える

石造りの崩壊

石造りの崩壊

タイムラインバーにカーソルを合わせると、プロンプト全体を確認できます。

操作を担うエージェント。各セッションはエージェントが主導し、冒険者や城そのものを操ったり、ジェットスキーに乗ったりします。クリップを再生するとタイムラインもそれに追従し、クリックまたはドラッグしてシークできます。

また、エージェントに対して達成すべき指示を与えることも可能です。単純なテストシナリオとして、人間型ロボットと 2 つのフラ...