リアルタイム長編動画生成（GitHub リポジトリ）

## 🎬 LongLive 2.0: 長編動画生成のための NVFP4 パラレルインフラ ## 💡 TLDR: 学習と推論の両方に NVFP4 と並列処理を採用したインフラ ## ニュース - 🔥 [2026.05.13] AR（自己回帰）トレーニング、DMD 蒸留、および推論（⚡45.7 FPS）に対応する、NVFP4・並列処理・マルチショット機能を備えた LongLive 2.0 をリリースしました。元の LongLive 1.0 は v1.0 ブランチにあります。 - 🎉 [2026.1.27] LongLive が ICLR-2026 に採択されました。 - 🔥 [2025.1.11] LongLive は、元の RoPE（回転位置埋め込み）を KV キャッシュの相対 RoPE へ適応させ、無限に長い動画を生成することをサポートしました！ - 🔥 [2025.11.3] Linear attention model SANA-Video に LongLive を実装しました。これにより、SANA-Video はリアルタイムで 60 秒間のインタラクティブな動画を生成できるようになりました。 - 🔥 [2025.9.29] 論文、トレーニングおよび推論コードを含むこの GitHub リポジトリ「LongLive」、モデル重み「LongLive-1.3B」、デモページ「Website」をリリースしました。 ## イントロダクション **LongLive 1.0**: リアルタイムインタラクティブ長編動画生成。[こちら](https://github.com/NVlabs/LongLive/tree/v1.0)の V1.0 ブランチで見つけることができます。 **LongLive 2.0**: 長編動画生成のための NVFP4 パラレルインフラ - トレーニングにおいては、以下の機能をサポートします: - AR（自己回帰）トレーニング（教師あり強制学習）用のバランス型シーケンス並列処理。 - マルチショット（またはシングルショット）動画に対する AR トレーニング。 - AR トレーニングおよび few-step 蒸留の両方における NVFP4（または BF16）対応。 - 推論においては、以下の機能をサポートします: - NVFP4 推論（W4A4）および NVFP4 KV キャッシュ。 - マルチショットアテンションシンク。 - シーケンス並列推論。 - 非同期デコーディング。 **LongLive 1.0**: リアルタイム対話型長編動画生成。逐次的なユーザープロンプトを受け付け、対応する動画をリアルタイムで生成することで、ユーザー主導による長編動画生成を可能にします。鍵となる洞察は、アテンションシンク（attention sink）、KV-リキャッシュ（KV-recache）、およびストリーミング長期チューニングです。 ## 入門ガイド - 完全ドキュメント - インストール方法 - NVFP4 セットアップ - トレーニング - 推論 - データ構成 ## クイックスタート ## BF16 import torch from omegaconf import OmegaConf from pipeline import CausalDiffusionInferencePipeline from utils.config import normalize_config from utils.inference_utils import ( load_generator_checkpoint, place_vae_for_streaming, prepare_single_prompt_inputs, save_video, ) prompt = "A compact silver robot walks through a clean robotics lab." merged_checkpoint_path = "LongLive-2.0-5B/model_bf16.pt" config = normalize_config(OmegaConf.load("configs/inference.yaml")) device = torch.device("cuda") torch.set_grad_enabled(False) pipe = CausalDiffusionInferencePipeline(config, device=device) load_generator_checkpoint(pipe.generator, merged_checkpoint_path) pipe = pipe.to(device=device, dtype=torch.bfloat16) place_vae_for_streaming(pipe, config) # honor streaming_vae + vae_device when set pipe.generator.model.eval().requires_grad_(False) noise, prompts = prepare_single_prompt_inputs(config, prompt, device) video = pipe.inference(noise=noise, text_prompts=prompts) save_video(video[0], "videos/quickstart/sample.mp4", fps=24) place_vae_for_streaming は、inference.streaming_vae が true であり、かつ inference.vae_device が設定されている場合にのみ機能する no-op（何もしない操作）であるため、yaml 内で streaming-pipeline のデコードを切り替えるだけで十分であり、スクリプト自体を変更する必要はありません。 ## NVFP4 configs/nvfp4/inference_nvfp4.yaml 内の checkpoints.generator_ckpt をダウンロードしたチェックポイントに指し示し、使用しているバックエンドに応じて model_quant_use_transformer_engine を設定してください： - TransformerEngine チェックポイント (model_te.pt) の場合：model_quant_use_transformer_engine: true - FourOverSix チェックポイント (model_4o6.pt) の場合：model_quant_use_transformer_engine: false setup_nvfp4_pipeline は、両方のバックエンドに対してチェックポイントの読み込み、NVFP4 モジュールのラップ処理、重みの実体化、データ型（dtype）およびデバイス配置、そして streaming-pipeline における VAE の再配置を処理します。この場合、bf16 pipe.to(...) ショートカットは安全ではありません。なぜなら、これは量子化されたバッファをキャストしてしまうためです。 import torch from omegaconf import OmegaConf from pipeline import CausalDiffusionInferencePipeline from utils.config import normalize_config from utils.inference_utils import prepare_single_prompt_inputs, save_video, setup_nvfp4_pipeline prompt = "A compact silver robot walks through a clean robotics lab." config = normalize_config(OmegaConf.load("configs/nvfp4/inference_nvfp4.yaml")) device = torch.device("cuda") torch.set_grad_enabled(False) pipe = CausalDiffusionInferencePipeline(config, device=device) setup_nvfp4_pipeline(pipe, config, device) pipe.generator.model.eval().requires_grad_(False) ノイズとプロンプトを準備する noise, prompts = prepare_single_prompt_inputs(config, prompt, device) 動画の推論実行 video = pipe.inference(noise=noise, text_prompts=prompts) 結果の保存 save_video(video[0], "videos/quickstart/sample_nvfp4.mp4", fps=24) ## モデル モデル FPS ↑ パラメータ数 VBench ↑ マルチショット対応 [LongLive-1.3B](https://huggingface.co/Efficient-Large-Model/LongLive-1.3B) 20.7 1.3B 84.87 [LongLive-2.0-5B](https://huggingface.co/Efficient-Large-Model/LongLive-2.0-5B) 24.8 5B 85.06 ✅ [LongLive-2.0-5B-NVFP4-4Step](https://huggingface.co/Efficient-Large-Model/LongLive-2.0-5B-NVFP4-S4) 29.7 5B 84.51 ✅ [LongLive-2.0-5B-NVFP4-2Step](https://huggingface.co/Efficient-Large-Model/LongLive-2.0-5B-NVFP4-S2) 45.7 5B 83.14 ✅ ## ライセンス 本リポジトリは Apache 2.0 ライセンスの下で公開されています。詳細については [LICENSE](https://github.com/NVlabs/LongLive/blob/main/LICENSE) をご覧ください。 ## 引用 本研究成果が有用であるとご判断いただけた場合は、以下の形式で引用をご検討ください: @article{longlive_2.0, title={LongLive2.0: An NVFP4 Parallel Infrastructure for Long Video Generation}, author={Chen, Yukang and Wang, Luozhou and Huang, Wei and Yang, Shuai and Zhang, Bohan and Xiao, Yicheng and Chu, Ruihang and Mao, Weian and Hu, Qixin and Liu, Shaoteng and Zhao, Yuyang and Mao, Huizi and Chen, Ying-Cong and Xie, Enze and Qi, Xiaojuan and Han, Song}, journal={arXiv preprint arXiv}, year={2026} } @inproceedings{longlive, title={Longlive: Real-time interactive long video generation}, author={Yang, Shuai and Huang, Wei and Chu, Ruihang and Xiao, Yicheng and Zhao, Yuyang and Wang, Xianbang and Li, Muyang and Xie, Enze and Chen, Yingcong and Lu, Yao and others}, booktitle={ICLR}, year={2026}, } ## 謝辞 - Self-Forcing: 本リリースで基盤として構築した自己強制（Self-Forcing）の AR 学習コードベースおよび定式化。 - Wan2.2: 本リリースで使用されている基本となる動画拡散モデル（video diffusion model）コンポーネント。

リアルタイム長編動画生成（GitHub リポジトリ）

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト