LingBot-World-Infinity の紹介：エージェント型ハネスを備えたオープンな因果的世界モデル

Robbyant、アリババグループのエンボディド・インテリジェンス部門は、LingBot-World-Infinity（LingBot-World 2.0）をリリースしました。これはインタラクティブな世界シミュレーターとして振る舞う因果的動画生成モデルです。このチームが取り組む二つの失敗モードとは、長期ホライズンのドリフトとインタラクティブレイテンシです。

LingBot-World-Infinity とは何か？

インタラクティブな世界モデルは、ユーザーのアクションストリームを条件として、フレームごとに動画を生成します。各状態は過去のフレームと現在の入力のみによって決定されます。研究チームはこの仕組みを因果的因子分解として形式化しています：

p_θ(x_1:T | a_1:T) = Π_t p_θ(x_t | x_<t, a_t)

ここで、x は動画フレーム、a はアクションを表します。

インストールと実行方法

以下の手順で環境を構築し、モデルを実行できます：

pip install flash-attn --no-build-isolation

huggingface-cli download robbyant/lingbot-world-v2-14b-causal-fast \

--local-dir ./lingbot-world-v2-14b-causal-fast

提供されている generate.py は、KV キャッシングを用いて因果的推論を実行します。フレームは一度にすべて処理するのではなく、チャンクごとに処理されます。

参考となるコマンド例（8 GPU、解像度 480P）：

torchrun --nproc_per_node=8 generate.py \

--task i2v-A14B --size 480*832 \

--ckpt_dir lingbot-world-v2-14b-causal-fast \

--image examples/03/image.jpg --action_path examples/03 \

--dit_fsdp --t5_fsdp --ulysses_size 8 \

--frame_num 361 --local_attn_size 18 --sink_size 6 \

--prompt "A serene lakeside scene with a lone tree standing in calm water..."

このモデルは、ユーザーのアクションに応じて因果的に動画フレームを生成し、長期にわたる一貫性を維持しながら低レイテンシでのインタラクションを実現します。

公開されたリファレンススクリプトは、8 つの GPU にわたって 480×832 の解像度で動作します。60 fps という数値は、空間時間リファイナ（spatio-temporal refiner）を通過するデプロイ済みストリームを示しています。このリファイナは復号化されたフレームをアップサンプリングし、より高いフレームレートを実現するために中間フレームを合成します。両方のステージが TensorRT エンジンにコンパイルされます。

Diffusers チェックポイントも存在します:

Copy CodeCopiedUse a different Browser

import torch

from diffusers import DiffusionPipeline

from diffusers.utils import load_image, export_to_video

pipe = DiffusionPipeline.from_pretrained(

"robbyant/lingbot-world-v2-14b-causal-fast",

dtype=torch.bfloat16, device_map="cuda")

frames = pipe(image=load_image("seed.png"), prompt="...").frames[0]

export_to_video(frames, "output.mp4")

ホストされたパスでは、Reactor がモデルを reactor/lingbot-world-2 として提供しています。そのドキュメントには、1664×960 で 48 fps の性能が記載されています。セッションはコマンド駆動型かつ状態保持型です:

Copy CodeCopiedUse a different Browser

from reactor_sdk import Reactor, ReactorStatus

reactor = Reactor(model_name="reactor/lingbot-world-2", api_key=KEY)

@reactor.on_status(ReactorStatus.READY)

async def on_ready(status):

ref = await reactor.upload_file("seed.jpg")

await reactor.send_command("set_image", {"image": ref})

await reactor.send_command("set_prompt", {"prompt": "A misty alpine valley."})

await reactor.send_command("start", {})

動きはパルスではなく、永続的な状態です。set_move_longitudinal コマンドで「forward」を指定すると、「idle」を送信するまで駆動し続けます。コマンドは次のチャンク境界で処理されます。

Comparison

研究論文における比較は定性的なものです。すべての優位性に関する主張は、並列配置されたフレームグリッドに基づいています。

PropertyM-G 3.0D-WLingBot-WorldHappyOysterGenie 3LingBot-World-Infinity

生成時間：分・分・分・分・分・時間（無限）

意味的相互作用：なし・なし・なし・少数・少数・無限

ドメイン：ゲーム・一般・一般・一般・一般・一般

動的度合い：中程度・中程度・高・中程度・中程度・高

リアルタイム対応：あり・あり・あり・あり・あり・あり

オープンソース：あり・あり・なし・なし・あり

ユースケース

ゲームおよびレベルのプロトタイピング：運河の町の画像をシードとして与え、プロンプトをホットスワップして吹雪を召喚します。アセットパイプラインが存在する前に、雰囲気について反復検討できます。

具身シミュレーション：スクリプト化されたカメラポーズの下でファーストパーソンロールアウトを生成し、Unreal Engine シーンを作成することなく、フレームをポリシー学習器に供給します。

ビデオ理解のための合成データ：チャンクごとのプロンプトが時間的に局在化したイベントを生成します。各チャンクは構造上、独自のキャプションを持ちます。

エージェント評価ハッチ（harness）：ディレクターエージェントにイベントを提案させ、その後続するエージェントの反応をスコアリングします。論文自体のアナロジーは、Codex などのコードスケフォールドです。

プレビジュアライゼーション：Directed agent camera moves を実行するために set_camera_pose を駆動し、参照画像を失うことなく世界中をストリーミング中にリスタイルします。

キーポイント

LingBot-World-Infinity（LingBot-World 2.0）は、Robbyant が公開した因果的世界モデルであり、1 つの 14B チェックポイントと共にリリースされました。

MoBA アテンション（attention）と自己ロールアウト上の DMD（DMD）が真の貢献です。これは長期的なドリフトを直接対象としています。

ディレクター（VLM）とパイロット（DiT generator）のハルネスにより、フレーム予測器がインタラクティブなシミュレーターへと変換されます。

720p/60 fps の主要機能には未公開のデプロイメントスタックが必要ですが、公開スクリプトでは 8 枚の GPU を用いて 480×832 で動作します。

比較は定性的なものであり、1 つの 60 分間のロールアウトのみを対象とし、VBench や FVD は使用せず、非商用の CC BY-NC-SA 4.0 ライセンスが適用されます。

インタラクティブ・エクスペラナー

注記：本記事のリーダーシップとリソースを提供いただいた Ant Research チームに感謝いたします。Ant Research チームは、このコンテンツ/記事のプロモーションをサポートしています。

「Meet LingBot-World-Infinity: An Open Causal World Model With An Agentic Harness」という投稿は、MarkTechPost で最初に公開されました。