ComfyUIにVOID・BiRefNet・Gemma4が追加
ComfyUI は Netflix の VOID、BiRefNet、Google の Gemma 4 という 3 つの新たなオープンソースモデルをネイティブサポートに追加し、動画編集や画像セグメンテーションの技術的ハードルを大幅に引き下げた。
キーポイント
Netflix VOID: 物理的因果関係を考慮した動画インペイント
単なるピクセル削除ではなく、影や反射、物体の運動など被写体が引き起こす物理的影響も除去する「quadmask」技術を採用し、より自然な動画編集を可能にする。
BiRefNet: 高解像度かつ多機能なセグメンテーション
髪の毛や毛皮、透明物体などの細部も高精度に抽出できるバイラテラル参照ネットワークで、単一モデル内で背景除去、顕著オブジェクト検出、カモフラージュ検出を網羅する。
Gemma 4: マルチモーダル LLM の ComfyUI 統合
Google が開発した最新 multimodal LLM「Gemma 4」が ComfyUI にネイティブ対応し、画像とテキストの連携処理をワークフロー内で直接実行できるようになった。
実装の簡素化とクラウド利用
最新の ComfyUI バージョンへのアップデートや Comfy Cloud での利用により、複雑なモデル設定なしでこれらの新機能を即座に試せる環境が整った。
Gemma 4 の多機能性と思考モード
Google DeepMind がリリースした Gemma 4 は、テキスト・画像・音声・ビデオをネイティブに処理するマルチモーダルモデルであり、回答生成前に段階的に推論を行う構成可能な「思考モード」を搭載しています。
ComfyUI での利用とモデルバリアント
Gemma 4 は ComfyUI の TextGenerate ノード用テキストエンコーダーとして利用可能で、E2B/E4B（パラメータ効率的な軽量版）に加え、Google 公式リリースの 26B MoE および 31B デンストモデルも提供されています。
重要な引用
VOID also removes everything that subject physically caused in the scene: shadows, reflections, and objects that were set in motion by its presence.
instead of a standard binary mask, VOID takes a greyscale mask using four values that tell the model which regions to remove, which overlap, which are physically affected, and which to keep untouched.
BiRefNet is built for dichotomous image segmentation, extracting clean, high-resolution masks from complex images including fine detail like hair, fur, and transparent surfaces.
Gemma 4 is natively multimodal -- handling text, image, audio, and video input -- and includes a configurable thinking mode that lets the model reason step by step before producing a response
E2B and E4B are parameter-efficient models and a good starting point for most consumer GPUs.
影響分析・編集コメントを表示
影響分析
この発表は、ComfyUI ユーザーにとって研究レベルの最先端技術（特に物理的因果を考慮した動画編集や高解像度セグメンテーション）を、複雑な実装なしで即座に活用できる環境を提供する画期的な進展です。これにより、動画制作や画像処理の現場における品質と効率性が劇的に向上し、オープンソースコミュニティが持つ技術的ポテンシャルの具体化を加速させるでしょう。
編集コメント
ComfyUI が単なるワークフローツールから、最先端の研究成果（Netflix VOID や BiRefNet など）を即座に実装可能なプラットフォームへと進化していることが伺えます。特に物理的因果関係を考慮した動画編集機能は、従来のツールでは不可能だった自然な映像処理を可能にし、クリエイターにとって大きなパラダイムシフトとなるでしょう。
オープンソースコミュニティにとって今週は大きな一歩となりました。Netflix の動画オブジェクト除去モデル「VOID」、高解像度背景セグメンテーションの「BiRefNet」、そして Google のマルチモーダル LLM「Gemma 4」の 3 つが、今週新たに ComfyUI にネイティブ対応して公開されました。
各モデルの特徴と使い始め方をご紹介します。
VOID: 物理的な相互作用も正確に除去する動画オブジェクト削除
Netflix は最近、単なるピクセルの消去を超えた動画インペインティングモデル「VOID（Video Object and Interaction Deletion）」をオープンソース化しました。対象物を削除する際、VOID はその存在によって生じた影や反射、あるいは動き始めた物体といった、物理的な影響もすべて除去します。
高品質なインペイントを実現する鍵は「クアッドマスク」にあります。VOID は標準的な二値マスクではなく、4 つの値を持つグレースケールマスクを採用しています。これにより、モデルはどの領域を削除し、どの部分が重なり合い、物理的に影響を受けるか、そしてどこを untouched に保つかを判断できます。この仕組みによって、単に穴を埋めるのではなく、因果関係を推論することが可能になります。
プロのヒント：クアッドマスクの初期入力として、SAM3 などの動画セグメンテーションモデルを活用することをお勧めします。
VOID は 2 つのチェックポイントを提供しています。Pass 1 は基本的なインペイントを処理し、ほとんどのクリップで十分です。一方、Pass 2 は光学フローを用いたワープ補正を追加することで、より長い動画や複雑な映像における時間的な一貫性を高めます。
Getting Started
ComfyUI を最新バージョンに更新するか、Comfy Cloud を利用してください。
Comfy-Org/void-model からモデルパッケージをダウンロードし、適切なモデルフォルダに配置してください。
以下のワークフローをダウンロードするか、テンプレートから選択してください。
除去後のシーンを記述したテキストプロンプトと、入力動画、クアドマスク（四分割マスク）を用意してワークフローを実行します。
Comfy Cloud で試す
ワークフローのダウンロード
BiRefNet：高解像度の背景・オブジェクトセグメンテーション
BiRefNet（Bilateral Reference Network）は、CAAI AIR 2024 から発表されたセグメンテーションモデルで、オープンソースエコシステムにおいて最も広く利用されている画像セグメンテーションのバックボーンの一つとなっています。
BiRefNet は二値画像セグメンテーション向けに設計されており、髪の毛や毛並み、透明な表面といった細部を含む複雑な画像から、クリーンで高解像度のマスクを抽出できます。同モデルは注目オブジェクト検出（salient object detection）やカモフラージュされたオブジェクトの検出も処理できるため、単一の軽量パッケージで多様なマスキングタスクをカバーしています。
はじめに
Comfy-Org/BiRefNet からモデルパッケージをダウンロードし、birefnet.safetensors を models/background_removal/ フォルダに配置してください。
以下のワークフローをダウンロードするか、テンプレートから探すことができます。
画像をドロップして実行しましょう。
Comfy Cloud で試す
ワークフローをダウンロード
Gemma 4: Google のマルチモーダル推論モデル
Google DeepMind がオープンウェイトモデルファミリーの最新世代である「Gemma 4」を発表しました。Gemma 4 はネイティブにマルチモーダルに対応しており、テキスト、画像、音声、動画の入力を処理できます。また、応答を生成する前に段階的に推論を行うことができる設定可能な思考モードも備えています。
Gemma 4 モデルは、ComfyUI では TextGenerate ノードと組み合わせて使用するためのテキストエンコーダーとして公開されています。利用可能なバリエーションには、E2B と E4B の 2 つがあり、これらはパラメータ効率に優れたモデルで、一般的な消費者向け GPU を使う場合の良好なスタート地点となります。さらに、Google の公式リリースを通じて、26B の A4B Mixture-of-Experts モデルと 31B の密度モデルも利用可能です。
はじめに
Comfy-Org/gemma-4 からモデルパッケージをダウンロードし、ファイルを models/text_encoders/ フォルダに配置してください。
以下のワークフローをダウンロードするか、テンプレートから探すことができます。
テキスト指示を入力し、任意の画像や動画を接続して実行しましょう。
Comfy Cloud で試す
ワークフローをダウンロード
いつものように、創作を楽しんでください。
ComfyUI ブログをお読みいただきありがとうございます。新しい投稿を受け取り、私の活動をサポートするために、無料で購読してください。
Void、BiRefNet、Gemma 4 の新オープンソースモデルが ComfyUI に登場しました（続き：4/4）
今回の記事では、ComfyUI で利用可能になった最新のオープンソースモデル「VOID」「BiRefNet」「Gemma 4」について詳しく解説します。これらのモデルは、画像生成やセグメンテーション、言語処理など、多岐にわたるタスクで高い性能を発揮し、開発者のワークフローを大きく変える可能性があります。
まず VOID（Visual Object Identification and Detection）は、視覚的なオブジェクトの特定と検出に特化したモデルです。従来の手法よりも高速かつ高精度に物体を検出し、複雑なシーンでも安定したパフォーマンスを実現します。ComfyUI での実装により、リアルタイム処理やインタラクティブなアプリケーションへの応用が容易になりました。
次に BiRefNet（Bidirectional Refinement Network）は、画像セグメンテーションの精度を向上させるための双方向リファインメントネットワークです。細部まで忠実にオブジェクトを抽出し、境界線の滑らかさを大幅に改善します。特に医療画像や衛星写真など、高精度な解析が求められる分野で威力を発揮します。
最後に Gemma 4 は、Google が開発した軽量かつ高性能な言語モデルの最新バージョンです。ComfyUI との統合により、テキスト生成や要約、対話型 AI の構築がよりスムーズに行えるようになりました。従来の大規模モデルと比較して、リソース消費を抑えつつ、質の高い出力を提供します。
これらの新モデルを ComfyUI で活用することで、開発者はより効率的にプロジェクトを進められるようになります。ぜひお試しください。
原文を表示
Big week for our open-source community! We’re excited to announce native ComfyUI support for three newly open-sourced models this week: Netflix’s VOID for video object removal, BiRefNet for high-resolution background segmentation, and Google’s Gemma 4 multimodal LLM. Here’s a look at what each one does and how to get started.
VOID: Video Object Removal with Accurate Physical Interactions
Netflix recently open-sourced VOID (Video Object and Interaction Deletion), a video inpainting model that goes further than simply erasing pixels. When you remove a subject, VOID also removes everything that subject physically caused in the scene: shadows, reflections, and objects that were set in motion by its presence.
The key to getting good inpainting is quadmask: instead of a standard binary mask, VOID takes a greyscale mask using four values that tell the model which regions to remove, which overlap, which are physically affected, and which to keep untouched. This lets the model reason about cause and effect rather than just filling in a hole. Pro tip: use video segmentation models such as SAM3 to generate initial mask input for quadmask.
VOID ships with two checkpoints. Pass 1 handles the base inpainting and is sufficient for most clips. Pass 2 adds optical flow-warped refinement for better temporal consistency on longer or more complex footage.
Getting Started
Update ComfyUI to the latest version, or visit Comfy Cloud
Download the model package from Comfy-Org/void-model and place the files in the correct model folders
Download the workflows below, or find them in the template.
Prepare your input video, quadmask, and a text prompt describing the scene after removal, then run the workflow
Try on Comfy Cloud
Download Workflow
BiRefNet: High-Resolution Background and Object Segmentation
BiRefNet (Bilateral Reference Network) is a segmentation model from CAAI AIR 2024 that has become one of the most widely used image segmentation backbones in the open-source ecosystem.
BiRefNet is built for dichotomous image segmentation, extracting clean, high-resolution masks from complex images including fine detail like hair, fur, and transparent surfaces. The same model also handles salient object detection and camouflaged object detection, so it covers a wide range of masking tasks in a single lightweight package.
Getting Started
Download the model package from Comfy-Org/BiRefNet and place birefnet.safetensors in your models/background_removal/ folder
Download the workflows below, or find them in the template.
Drop in your image and run
Try on Comfy Cloud
Download Workflow
Gemma 4: Google’s Multimodal Reasoning Model
Google DeepMind has released Gemma 4, the latest generation of their open-weights model family. Gemma 4 is natively multimodal -- handling text, image, audio, and video input -- and includes a configurable thinking mode that lets the model reason step by step before producing a response
Gemma 4 models are out on ComfyUI as text encoders to be used with TextGenerate node. Two variants are available: E2B and E4B are parameter-efficient models and a good starting point for most consumer GPUs. Additionally, two more variants, the 26B A4B Mixture-of-Experts and 31B dense models, are available through Google’s official release.
Getting Started
Download the model package from Comfy-Org/gemma-4 and place the files in your models/text_encoders/ folder
Download the workflows below, or find them in the template.
Type in text instructions, wire in any optional images or videos, and run
Try on Comfy Cloud
Download Workflow
As always, enjoy creating!
Thanks for reading ComfyUI Blog! Subscribe for free to receive new posts and support my work.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み