Netflixが動画から物体を消去し物理効果を再現するAIフレームワーク「VOID」をオープンソース化
Netflixは、動画から物体を削除し、その物体が残した物理的影響を自動的に調整するAIフレームワーク「VOID」をオープンソース化した。
キーポイント
VOIDのオープンソース化
Netflixが開発したAIフレームワークVOIDをオープンソースとして公開した。
物体削除と物理的調整機能
動画から物体を削除するだけでなく、その物体が残した物理的影響（影、反射、動きなど）を自動的に調整・再構築する。
技術的革新性
従来の単純な物体除去を超え、物理法則に基づいたシーンの一貫性を維持する高度な技術を実現している。
実用性と応用可能性
映像制作、ポストプロダクション、コンテンツ編集など、様々な分野での実用的な応用が期待される。
影響分析・編集コメントを表示
影響分析
この技術は、映像制作のワークフローを大幅に効率化し、高品質なコンテンツ編集を民主化する可能性がある。また、物理法則を理解・再現するAIの進歩を示しており、マルチモーダルAIの発展に寄与する重要な事例と言える。
編集コメント
単なる物体除去を超えて物理法則まで考慮する点が革新的。オープンソース化により業界全体の技術水準向上を促す戦略的動きと言える。
Netflixは、動画からオブジェクトを除去し、それらのオブジェクトがシーンの他の部分に及ぼしていた物理的効果を自動的に調整するAIフレームワークをオープンソース化しました。
この記事「Netflix open-sources VOID, an AI framework that erases video objects and rewrites the physics they left behind」は、The Decoderで最初に公開されました。
原文を表示
Netflix has open-sourced an AI framework that can remove objects from videos and automatically adjust the physical effects those objects had on the rest of the scene. The system is called VOID, short for "Video Object and Interaction Deletion." What makes it special is that beyond erasing objects from a scene, it also handles the downstream physical effects, like collisions, that the removed object originally caused.
VOID is built on top of Alibaba's CogVideoX video diffusion model, fine-tuned with synthetic data from Google's Kubric and Adobe's HUMOTO for interaction detection. Google's Gemini 3 Pro analyzes the scene and identifies affected areas, while Meta's SAM2 handles segmenting the objects that need to be removed. An optional second pass uses optical flow to correct any shape distortions.
The project was developed by Netflix researchers in collaboration with INSAIT Sofia University. Code, paper, and demo are available on GitHub, arXiv, and Hugging Face. The system ships under the Apache 2.0 license, which means it can be used commercially.
AI News Without the Hype – Curated by Humans
Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section.
Subscribe now
関連記事
メタ、音声モードとメガネ搭載の「Muse Spark」を公開へ
メタは自社サービス全体で基盤モデル「Muse Spark」を活用し、音声応答の高速化やスマートなショッピング支援、カメラによるリアルタイム視覚認識機能を追加する。この機能はまず米国とカナダのユーザー向けに展開される。
Googleの新作AIツールはストリートビューで映画撮影地の選定を可能にし、衛星画像分析を数週間から数分に短縮
GoogleはCloud Nextで3つの新AI画像ツールを発表した。クリエイターはストリートビューに生成画像を配置でき、自治体は衛星画像分析を数週から数分に短縮できる。
複雑なチャートでは最高のAIモデルも性能が約半分低下、新ベンチマークが発見
RealChart2Codeベンチマークが、実世界データセットから構築された複雑な可視化で14の主要AIモデルをテストした結果、最高の独自モデルでも単純なテストに比べて性能が約半分低下することが判明した。