ComfyUI で高品質なクリエイターワークフローを構築・運用・拡張する方法
NVIDIA は、ComfyUI を活用したローカル実行型の生成 AI ワークフロー（画像レイヤー分解、オブジェクト除去、写真から 3D モデルへの変換）を公開し、クリエイティブチームの生産性向上とデータセキュリティを両立する実用的なガイドを提供しました。
キーポイント
ローカル実行型ワークフローの提供
NVIDIA GenAI Creator Toolkit から提供される 3 つの事前構築済みノードグラフにより、クラウド依存なしで NVIDIA RTX GPU 上で高品質な生成 AI パイプラインを即座に実行可能。
具体的なクリエイティブタスクの実装
画像の前景・中景・背景へのレイヤー分解、不要オブジェクトのシームレス除去、および Windows 環境での写真から .GLB 形式のテクスチャ付き 3D モデルへの変換という 3 つの主要機能をサポート。
ハードウェア要件とセキュリティ
24GB 以上の VRAM を備えた NVIDIA RTX GPU が必須であり、データがクライアント外に出ないため、機密性の高いクリエイティブワークにも安全に適用可能。
推奨ハードウェア構成
WindowsではNVIDIA RTX GPU（VRAM 24GB以上、32GB推奨）、Linuxでは32GB以上（48GB推奨）が必要であり、モデル用に150GBのディスク容量が必要です。
リスクとロールバック
入力画像が改変されない読み取り専用ワークフローであり、インストールはファイル追加のみなので、不要な場合はフォルダを削除するだけで簡単に元に戻せます。
Linux 環境での自動化インストール
Linux ユーザーは NVIDIA の公式スクリプト (install.sh) を使用し、指定された ComfyUI ディレクトリに対して AI モデルのダウンロードとプラグインの自動セットアップを行うことができます。
インストールプロセスの詳細
インストーラは約 150GB の AI モデルを自動的に取得し、必要なプラグインをインストールしてワークフローを ComfyUI にコピーするため、手動設定の必要がありません。
重要な引用
ComfyUI is an open-source, node-based creative tool that runs locally on NVIDIA RTX GPUs.
Generative AI can accelerate that work – compressing tasks that once took hours of manual effort into automated, repeatable pipelines.
Each workflow loads directly into ComfyUI as a pre-built node graph.
All three workflows are read-only with respect to your input image—your original file is never modified.
To undo, delete the added folders from custom_nodes/ and the downloaded models from models/.
The installer takes care of everything: It downloads the AI models (~150 GB total), installs the required plugins, and copies the workflows into ComfyUI.
影響分析・編集コメントを表示
影響分析
この記事は、生成 AI が単なる実験段階から、実際のクリエイティブ現場で即戦力となる「ローカル実行型ワークフロー」として定着しつつあることを示しています。特に NVIDIA のハードウェアと ComfyUI の組み合わせによるデータセキュリティの確保は、企業や制作チームが社内データを外部に漏らさずに AI を活用する際の重要な指針となり、業界全体の生産性向上とセキュリティ基準の再定義に影響を与えるでしょう。
編集コメント
クラウド依存を排除し、ローカル環境で完結する高品質な生成 AI ワークフローの具体例は、データセキュリティが重視される企業現場において非常に価値が高いです。特に 3D モデル生成などの高度なタスクがワンクリックで実行可能になる点は、クリエイティブ分野の DX を加速させる重要な一歩と言えます。
クリエイティブおよび可視化チームは現在、より少ない人員で、より多くのフォーマットにおいて、より多くのアセットを生産しています。生成 AI はこの作業を加速し、かつて数時間の手動作業を要していたタスクを、自動化された反復可能なパイプラインに圧縮します。
ComfyUI は、NVIDIA RTX GPU 上でローカルで動作するオープンソースのノードベース型クリエイティブツールです。画像生成、動画合成、言語モデルを接続し、クラウドへの依存やクライアントからのデータ流出なしに、チームがカスタマイズ・拡張可能なパイプラインを構築できます。
本ガイドでは、NVIDIA の GTC 2026 DLI コース「ComfyUI でデザインおよび可視化のための生成 AI ワークフローを作成する」Create Generative AI Workflows for Design and Visualization in ComfyUI から派生し、NVIDIA GenAI Creator Toolkit に含まれる 3 つの生産環境対応ワークフローを紹介していきます。各ワークフローはスタンドアロン型であり、NVIDIA RTX 上でローカル実行が可能です。
*動画 1. ComfyUI on NVIDIA RTX が生成 AI クリエイティブ ワークフローを加速*
本ガイドで達成できること
本ガイドを終了する頃には、以下ができるようになります：
- 画像を前景（フォアグラウンド）、中景（ミッドグラウンド）、背景（バックグラウンド）の別々のレイヤーに分解し、それぞれにクリーンなアルファマスクを付与して、あらゆる合成ツールへ直接取り込める状態にする
- 写真から不要なオブジェクトを除去し、AI がその部分に何があるべきかをシームレスに補完する。画像の他の部分は一切変更しない
- 写真をテクスチャ付き 3D モデルに変換する（Windows のみ）。.GLB フォーマットの 3D ファイルとして保存し、プレビズやレイアウトの起点として開いて使用可能にする
各ワークフローは、事前に構築されたノードグラフとして ComfyUI に直接読み込まれます。画像をアップロードして「実行」をクリックするだけで、結果が得られます。
開始前に知っておくべきこと
- ウェブブラウザとファイルのアップロードに基本的な慣れがあること
- コマンドラインからスクリプトを実行することに初心者レベルで慣れていること
- ComfyUI の経験は不要です。ワークフローは事前に構築されており、読み込んで実行するだけです
- 画像の概念（レイヤー、マスク、アルファチャンネル）に親しんでいると役立ちますが、必須ではありません
前提条件
ハードウェア要件:
- Windows: VRAM 24 GB の NVIDIA RTX GPU。32 GB 以上を推奨
- Linux: VRAM 32 GB の NVIDIA RTX GPU。48 GB 以上を推奨
- これらのワークフローに必要なモデル用に、ディスク領域が 150 GB 利用可能であること
ソフトウェア要件:
- 必須：Windows または Ubuntu Linux オペレーティングシステム
- 必須：Git（こちらからインストール）
- 必須：ComfyUI（Windows のデスクトップアプリ、または Linux の手動インストール）
- 3D オブジェクトワークフロー（モジュール 08）に必要：huggingface.co/facebook/dinov3-vitl16-pretrain-lvd1689m にアクセスし、ログインして「同意してリポジトリにアクセス」をクリック
所要時間とリスク
- 推定所要時間：30 分間のハンズオン（初回実行時はモデルのダウンロードで 50 GB 以上が必要）
- リスクレベル：低
すべてのワークフローは、入力画像に対して読み取り専用です。元のファイルは一切変更されません。
- 生成された出力は、お使いのマシンの ComfyUI の output/ ディレクトリに保存されます。
- ロールバック：インストーラーは ComfyUI インストールにファイル（カスタムノード、ワークフロー、モデル）を追加するだけです。元に戻すには、custom_nodes/ から追加されたフォルダを削除し、models/ からダウンロードしたモデルを削除してください。
詳細手順
ステップ 1. ワークフローのインストール
Windows—コマンドプロンプトを開き（スタートメニューで「cmd」を検索）、以下を実行します：
（ヒント：事前に huggingface.co/facebook/dinov3-vitl16-pretrain-lvd1689m を訪問し、ログインして「同意してリポジトリにアクセス」をクリックすることを忘れないでください。）
git clone https://github.com/NVIDIA/NVIDIA-GenAI-Creator-Toolkit
cd NVIDIA-GenAI-Creator-Toolkit
install.bat C:\path\to\ComfyUI --modules 02,03,08
ComfyUI のインストール場所（デスクトップアプリ設定時に選択したフォルダ）を指定してください。ここには .venv、models、custom_nodes フォルダが含まれています。
場所がわからない場合は、「デスクトップアプリの設定」>「情報」>「引数：–base-directory C:\path\to\your\installation-location」を確認してください。
Linux—詳細手順はこちら：NVIDIA-GenAI-Creator-Toolkit/LINUX_COMFYUI_INSTALLATION.md at main · NVIDIA/NVIDIA-GenAI-Creator-Toolkit：
git clone https://github.com/NVIDIA/NVIDIA-GenAI-Creator-Toolkit
cd NVIDIA-GenAI-Creator-Toolkit
bash install.sh /path/to/ComfyUI --modules 02,03
インストーラーはすべてを処理します：AI モデル（合計約 150 GB）のダウンロード、必要なプラグインのインストール、およびワークフローの ComfyUI へのコピーを行います。インターネット接続状況によっては 30〜60 分かかる場合があります。
完了したら、ComfyUI を起動してください。
ステップ 2. 画像をレイヤーに分解する
image*図 1. 画像をレイヤーに分解するための ComfyUI ワークフロー*
作成するもの： フォアグラウンド、ミッドグラウンド、バックグラウンドの各要素が分離された PNG レイヤーとして破損した写真。それぞれにきれいな透過領域が含まれています。これらをそのまま Photoshop、After Effects、DaVinci Resolve、またはレイヤーをサポートする他のツールに直接読み込めます。
ワークフローを開く： ComfyUI でBrowse Templates（上部メニュー）をクリックし、NVIDIA Creative Workflows セクションにある02-image-deconstructionを探します。クリックして開きます。
実行方法：
- Load Imageボックスで、明確な被写体がある写真をアップロードしてください。ポートレート、製品写真、建築撮影、または前景と背景に何かが含まれるシーンなどです。
- Runをクリックします。
これで完了です。マスクは不要です。AI が自動的に画像の奥行きを読み取ります。
期待される結果： レイヤーごとに 1 つずつ、合計 3〜4 の PNG ファイルが生成されます。各ファイルには他のレイヤーが存在した部分が透過領域として含まれています。背景レイヤーには、以前は前景があった部分も埋め込まれます。
(ヒント：明確な奥行きがある写真が最も効果的です。壁の前の人、テーブルの上の製品、空に映る建物などです。平坦で均一な画像は、AI が読み取るべき奥行きがないため、興味深いレイヤーには分離されません。)
さらに進んで
これをモーショングラフィックスのワークフローと組み合わせることで、各レイヤーを個別にアニメーション化してパララックス効果を生み出したり、レイヤーごとにカラーグレーディングを調整して画像全体に触れずに雰囲気を変化させたりできます。
ステップ 3. 写真からオブジェクトを削除する
image*図 2. 写真からオブジェクトを削除するための ComfyUI ワークフローの例***
作成できるもの: 背景にいる人物、ロゴ、不要な小物など、望ましくない要素が含まれている任意の写真から、その部分を除去し、本来あるべきもので置き換えたクリーンなバージョン。
ワークフローを開く: ComfyUI でBrowse Templates（テンプレートの閲覧）をクリックし、03-targeted-inpainting（対象領域へのインペインティング）を探してクリックして開きます。
実行します。
image*図 3. 生成 AI を活用した知的なオブジェクト削除***
- Load Image（画像の読み込み）ボックスでクリックし、編集したい写真をアップロードします。
- 画像サムネイルを右クリックして「マスクエディタ」を開きます。ブラシを使って削除したい部分に白く塗りつぶしてください。白色は「ここを変更」、黒色は「そのままにする」を意味します。完了したら「保存」をクリックします。
- 「実行」(または「プロンプトのキュー追加」) をクリックします。
期待される結果: 塗りつぶした領域がきれいに除去され、埋め込まれた写真が表示されます。結果は ComfyUI の output/ フォルダに保存されます。
ヒント: 対象物自体よりも少し大きめに塗ることで、AI に余白を与えると、よりきれいな仕上がりが得られることが多いです。塗りつぶしの結果が思った通りでない場合は、テキストプロンプトボックスに「木製の床」や「無地の白い壁」など、そこに存在すべきものの説明を追加してみてください。
何も変化がない場合: マスクを塗るのを忘れている可能性があります。再度画像を右クリックして、実行する前に塗りつぶしを行ってください。
さらに踏み出す
このワークフローは、ものを「追加」することも可能です。テキストプロンプトで対象物を記述し、表示させたい場所に塗りつぶせば、AI が周囲の画像の照明やスタイルに合わせたそのオブジェクトをシーン内に生成します。
ステップ 4. 写真を 3D モデルに変換する
Windows のみ。 このワークフローは Windows を必要とします。Linux でのサポートは現在利用できません。
image*図 4. 写真を 3D モデルに変換するための ComfyUI ワークフロー***
作成するもの: 任意の物体の単一写真から、テクスチャ付きの 3D モデル（GLB ファイル）を作成します。Blender、ゲームエンジン、またはその他の 3D アプリケーションで開き、プレビジュアライゼーション、レイアウト設定、さらなる作業に活用できます。
実行前の追加ステップ: このワークフローに使用する AI モデルは、Meta からの無料アカウント承認が必要です。huggingface.co/facebook/dinov3-vitl16-pretrain-lvd1689m にアクセスし、ログインして同意してリポジトリにアクセスするをクリックしてください。承認には通常 24〜48 時間かかります。インストーラーはダウンロードを試みる前にあなたに通知します。
ワークフローを開く: ComfyUI でテンプレートの閲覧をクリックし、08-image-to-3dを見つけてください。
実行方法:
- 画像の読み込みボックスで、物体の写真（家具、小道具、靴、彫刻など）をアップロードしてください。最初の試行には、単一背景に置かれた明確な被写体が最も適しています。
- 実行をクリックします。
期待できる結果: 写真の形状と表面に一致する 3D モデルが生成されます。ワークフローでは、回転プレビューが ComfyUI 内で直接表示されます。GLB ファイルは output/ フォルダにも保存されるため、Blender でファイル > インポート > glTFを選択して開くことができます。
（ヒント：写真が清潔であるほど、モデルの品質は向上します。単一背景で撮影し、物体全体が見えるようにし、極端なアングルを避けてください。正面または 3/4 アングルのショットが、AI が処理する情報量 maximizes されます。）
追加情報: NVIDIA-GenAI-Creator-Toolkit/workflows/08-image-to-3d at main · NVIDIA/NVIDIA-GenAI-Creator-Toolkit
ステップ 5. クリーンアップ
作業が完了したら、GPU メモリとシステムリソースを解放するために ComfyUI を停止してください。
Windows: システムトレイまたはタスクバーから ComfyUI デスクトップアプリを閉じます。Linux: ComfyUI が実行されているターミナルで Ctrl+C を押します。
生成された出力は ComfyUI の output/ ディレクトリに、ダウンロードしたモデルはすべて ComfyUI/models/ に残されます。何も削除されません。
ディスク容量を解放するには、--clean オプションを使用してモジュールのモデルファイルを削除してください。他のインストール済みモジュールと共有されているモデルは自動的に保持されます。
install.bat C:\path\to\ComfyUI --clean --modules 02,03
bash install.sh /path/to/ComfyUI --clean --modules 02,03
中断した場所から再開するには、ComfyUI を再度起動してワークフローを再読み込みしてください。
次のステップ
これら 3 つのワークフローは、より大規模なパイプラインコレクションへの入り口です。さらに深く掘り下げたいときに待っている内容は以下の通りです:
- AI プロンプト強化: 粗いクリエイティブプロンプトを最適化されたモデル対応の説明に書き換えるエージェントを構築し、その結果から画像を生成して即座に違いを確認できるようにします。
- 360°環境および HDRI 生成: 任意の写真を取り込み、Unreal、Blender、V-Ray、または Arnold で使用可能な本番環境対応の HDRI ライトを生成します。現場でのキャプチャは不要です。
- Playblast からシネマティック動画へ：Blender からのフラットなグレーボックスレンダリングと、1 つのスタイル参照画像を入力します。すると、照明が施されスタイライズされた動画ショットが出力されます。スタイル画像を差し替えるだけで、再アニメーションすることなく複数の芸術的方向性を探索できます。
- PBR マテリアルパイプライン：あらゆる画像からクリーンでシームレスなテクスチャを抽出し、それらを完全な PBR（物理ベースレンダリング）マテリアルセットに分解します。具体的には、アルベド、ラフネス、メタリック、ノーマル、およびハイトマップです。
追加モジュールをインストールするには、ここ NVIDIA-GenAI-Creator-Toolkit/workflows のモジュール番号を指定してインストーラーを再度実行してください。すでにインストール済みのノードは自動的にスキップされます：
Windows:
install.bat C:\path\to\ComfyUI --modules 01,04,05
Linux:
bash install.sh /path/to/ComfyUI --modules 01,04,05
完全な DLI コース では、すべてのワークフローを詳細なドキュメント、サンプルアセット、そしてこれらを連結して完全な生産パイプラインへと統合するキャップストーンプロジェクトとともに解説しています。
トラブルシューティング
症状原因解決策
ComfyUI が 127.0.0.1:8188 で読み込まれないComfyUI が実行されていないWindows：スタートメニューまたはデスクトップショートカットから ComfyUI デスクトップアプリを起動。Linux：ComfyUI ディレクトリで source venv/bin/activate && python main.py を実行
install.bat から出力が表示されないGit Bash または PowerShell から実行しているコマンドプロンプト (cmd.exe) を開き、そこから install.bat C:\path\to\ComfyUI を実行してください
ワークフローは読み込まれるが、ノードが赤色/欠落して表示される
カスタムノードがインストールされていない
install.bat または install.sh を実行して ComfyUI を再起動してください。または、ComfyUI Manager > Install Missing Custom Nodes から不足しているカスタムノードをインストールしてください。
ComfyUI で「モデルが見つかりません」というエラーが表示される
モデルファイルが欠落しているか、まだダウンロード中である
–modules 02,03,08 を指定してインストーラーを再実行し、モデルのダウンロードをやり直してください。各モジュールの models.md ファイルを確認して、手動ダウンロードリンクを探してください。
キューは実行されるが、出力画像が変更されていない（ワークフロー 1）
マスクが描画されていない
Load Image ノード内のイメージサムネイルを右クリックし、「Open in MaskEditor」を選択します。変更したい領域に白で塗りつぶし、キューに入れる前に「Save」をクリックしてください。
インペインティングの塗りつぶしが不自然またはぼやけている
モデルに対して、何を塗りつぶすべきかに関する文脈情報が必要
テキスト条件付けノード（text conditioning node）に説明を追加してください。マスクされた領域に表示されるべき内容を記述します（例：「木製の床」、「無地の壁」、「芝生」など）。
画像分解で 1〜2 レイヤーのみが生成される（ワークフロー 2）
画像の深度複雑度が低い
被写体と背景の分離が明確な写真を使用してください。明瞭な近景/遠景の奥行きを持つ画像が最も効果的です。
Trellis2 の出力メッシュに穴や欠落したジオメトリがある（ワークフロー 3）
対象物が部分的に隠れているか、極端な角度から撮影されている
対象物全体が見える写真を使用してください。できれば無地の背景に対して撮影したものが望ましいです。正面または 3/4 アングルからのショットが最もクリーンなジオメトリを生成します。
ワークフロー3は初回実行時にモデルエラーで失敗します。DINOv3 モデルがまだダウンロードされていません。huggingface.co/facebook/dinov3-vitl16-pretrain-lvd1689m で Meta のデータ利用規約に同意し、インストーラーを再実行してください。承認は通常 24〜48 時間以内に付与されます。
*表 1. ComfyUI ワークフローのトラブルシューティング：問題と対策*
クリエイティブパイプラインを NVIDIA RTX で駆動 → RTX PRO Workstations や GeForce RTX GPU をご活用ください。
原文を表示
Creative and visualization teams today produce more assets, in more formats, with leaner teams. Generative AI can accelerate that work – compressing tasks that once took hours of manual effort into automated, repeatable pipelines.
ComfyUI is an open-source, node-based creative tool that runs locally on NVIDIA RTX GPUs. It connects image generation, video synthesis, and language models into pipelines that teams can customize and extend — without cloud dependencies or data leaving the client.
This guide walks through three production-ready workflows from the NVIDIA GenAI Creator Toolkit, adapted from NVIDIA’s GTC 2026 DLI course Create Generative AI Workflows for Design and Visualization in ComfyUI. Each workflow is standalone and runs locally on NVIDIA RTX.
What you’ll accomplish
By the end of this guide you will have:
- Deconstructed an image into separate layers—foreground, midground, and background, each with a clean alpha mask, ready to bring into any compositing tool
- Removed an unwanted object from a photo—and had AI fill in what should be there, seamlessly, without touching the rest of the image
- Turned a photo into a textured 3D model (Windows only)—a 3D file in .GLB format you can open and use as a starting point for previs or layout.
Each workflow loads directly into ComfyUI as a pre-built node graph. You upload an image, click “Run,” and get results.
What to know before starting
- Basic comfort with a web browser and file uploads
- Beginner comfort with running scripts from the command line
- No ComfyUI experience required—the workflows are pre-built; you load them and run them
- Familiarity with image concepts (layers, masks, alpha channels) is helpful, but not required
Prerequisites
Hardware Requirements:
- Windows: NVIDIA RTX GPU with 24 GB of VRAM, with 32 GB or higher recommended
- Linux: NVIDIA RTX GPU with 32 GB of VRAM, with 48 GB or higher recommended
- 150 GB available disk space for the models these workflows require
Software Requirements:
- Required: Windows or Ubuntu Linux Operating System
- Required: Git (install here)
- Required: ComfyUI (Desktop App for Windows or manual install for Linux)
- Required for 3D Object workflow (module 08): huggingface.co/facebook/dinov3-vitl16-pretrain-lvd1689m, log in, and click “Agree and access repository”
Time and risk
- Estimated time: 30 minutes hands-on (plus model downloads of >50 GB on first run)
- Risk level: Low
All three workflows are read-only with respect to your input image—your original file is never modified.
- Generated outputs are saved to ComfyUI’s output/ directory on your machine.
- Rollback: The installer only adds files to your ComfyUI installation (custom nodes, workflows, models). To undo, delete the added folders from custom_nodes/ and the downloaded models from models/.
Detailed instructions
Step 1. Install the workflows
Windows—Open a command prompt (search for “cmd” in the Start Menu) and run:
(Tip: Don’t forget to visit huggingface.co/facebook/dinov3-vitl16-pretrain-lvd1689m, log in, and click “Agree and access repository” in advance.)
git clone https://github.com/NVIDIA/NVIDIA-GenAI-Creator-Toolkit
cd NVIDIA-GenAI-Creator-Toolkit
install.bat C:\path\to\ComfyUI --modules 02,03,08
Pass your ComfyUI installation location—the folder you chose during Desktop App setup. It contains your .venv, models, and custom_nodes\ folders.
Not sure where it is? Check Desktop App Settings > About > Arguments: –base-directory C:\path\to\your\installation-location
Linux – complete instructions here: NVIDIA-GenAI-Creator-Toolkit/LINUX_COMFYUI_INSTALLATION.md at main · NVIDIA/NVIDIA-GenAI-Creator-Toolkit:
git clone https://github.com/NVIDIA/NVIDIA-GenAI-Creator-Toolkit
cd NVIDIA-GenAI-Creator-Toolkit
bash install.sh /path/to/ComfyUI --modules 02,03
The installer takes care of everything: It downloads the AI models (~150 GB total), installs the required plugins, and copies the workflows into ComfyUI. It can take 30–60 minutes depending on your internet connection.
When it’s done, start ComfyUI.
Step 2. Decompose an image into layers
What you’ll make: A photo broken into separate PNG layers—foreground, midground, and background—each with clean transparency. Bring them straight into Photoshop, After Effects, DaVinci Resolve, or any tool that supports layers.
Open the workflow: In ComfyUI, click Browse Templates (top menu) and find 02-image-deconstruction. under the NVIDIA Creative Workflows section. Click it to open.
Run it:
- In the Load Image box, upload a photo with a clear subject—a portrait, a product, an architectural shot, or a scene with things in the foreground and background.
- Click Run.
That’s it. No masking needed — the AI reads the depth of the image automatically.
What to expect: 3–4 PNG files, one per layer, each with transparent areas where the other layers were. The background layer is filled in where the foreground used to be.
(Tip: Photos with clear depth work best—a person in front of a wall, a product on a table, a building against a sky. Flat, uniform images won’t separate into interesting layers because there’s no depth for the AI to read.)
Additional Details: NVIDIA-GenAI-Creator-Toolkit/workflows/02-image-deconstruction at main · NVIDIA/NVIDIA-GenAI-Creator-Toolkit
Going further
Pair this with a motion graphics workflow—animate each layer separately for a parallax effect, or adjust color grading per-layer to change mood without touching the whole image.
Step 3. Remove an object from a photo
What you’ll make: A clean version of any photo with an unwanted element—a person in the background, a logo, a piece of clutter—removed and replaced with what belongs there.
Open the workflow: In ComfyUI, click Browse Templates and find 03-targeted-inpainting. Click it to open.
Run it.
- In the Load Image box, click to upload the photo you want to edit.
- Right-click the image thumbnail → Open in Mask Editor. Use the brush to paint white over whatever you want removed. White means “change this.” Black means “leave this alone.” Click Save when done.
- Click Run (or Queue Prompt).
What to expect: Your photo with the painted area cleanly removed and filled in. Results are saved to ComfyUI’s output/ folder.
Tip: Paint a little larger than the object itself—giving the AI some extra border usually produces a cleaner result. If the fill doesn’t look right, try adding a description of what should be there (like “wooden floor” or “plain white wall”) in the text prompt box.
If nothing seems to change: You may have forgotten to paint the mask. Go back, right-click the image, and paint before running again.
Additional Details: NVIDIA-GenAI-Creator-Toolkit/workflows/03-targeted-inpainting at main · NVIDIA/NVIDIA-GenAI-Creator-Toolkit
Going further
This workflow can also *add* things. Describe an object in the text prompt, paint where you want it to appear, and the AI will generate it into your scene—matching the lighting and style of the surrounding image.
Step 4. Turn a photo into a 3D model
Windows only. This workflow requires Windows. Linux support is not currently available.
What you’ll make: A textured 3D model (GLB file) from a single photo of any object. Open it in Blender, a game engine, or any 3D app for previs, layout, or further work.
Before you run — one extra step: The AI model for this workflow requires a free account approval from Meta. Visit huggingface.co/facebook/dinov3-vitl16-pretrain-lvd1689m, log in, and click Agree and access the repository. Approval typically takes 24–48 hours. The installer will remind you before it tries to download.
Open the workflow: In ComfyUI, click Browse Templates and find 08-image-to-3d.
Run it:
- In the Load Image box, upload a photo of an object — a piece of furniture, a prop, a shoe, a sculpture. Clear subjects on plain backgrounds work best for a first try.
- Click Run.
What to expect: A 3D model that matches the shape and surface of your photo. The workflow shows you a rotating preview directly in ComfyUI. The GLB file is also saved to output/ — open it in Blender with File > Import > glTF.
(Tip: The cleaner your photo, the better the model. Shoot against a plain background, make sure the whole object is visible, and avoid extreme angles. Front-facing or 3/4 angle shots give the AI the most to work with.)
Additional Details: NVIDIA-GenAI-Creator-Toolkit/workflows/08-image-to-3d at main · NVIDIA/NVIDIA-GenAI-Creator-Toolkit
Step 5. Cleanup
When you’re done, stop ComfyUI to free GPU memory and system resources.
Windows: Close the ComfyUI Desktop App from the system tray or taskbar. Linux: Press Ctrl+C in the terminal where ComfyUI is running.
Your generated outputs remain in ComfyUI’s output/ directory, and all downloaded models stay in ComfyUI/models/. Nothing is deleted.
To free up disk space, remove a module’s model files with --clean. Models shared with other installed modules are kept automatically.
install.bat C:\path\to\ComfyUI --clean --modules 02,03
bash install.sh /path/to/ComfyUI --clean --modules 02,03
To restart and pick up where you left off, launch ComfyUI again and reload the workflow.
What’s Next
These three workflows are the entry point to a larger collection of pipelines. Here’s what’s waiting when you’re ready to go deeper:
- AI Prompt Enhancement: Build an agent that rewrites rough creative prompts into optimized, model-ready descriptions, then generates an image from the result so you can see the difference immediately.
- 360° Environment and HDRI Generation: Take any photo and generate a production-ready HDRI light for Unreal, Blender, V-Ray, or Arnold. No on-set capture required.
- Playblast to Cinematic Video: Feed a flat gray-box render from Blender and a single style reference image. Get back a fully-lit, stylized video shot — swap the style image to explore multiple art directions without re-animating.
- PBR Material Pipeline: Extract clean, seamless textures from any image and decompose them into a full PBR material set: albedo, roughness, metallic, normal, and height maps.
To install any additional module, run the installer again with the module number from here NVIDIA-GenAI-Creator-Toolkit/workflows—already installed nodes are skipped automatically:
Windows:
install.bat C:\path\to\ComfyUI --modules 01,04,05
Linux:
bash install.sh /path/to/ComfyUI --modules 01,04,05
The full DLI course covers all workflows with in-depth documentation, sample assets, and a capstone project that chains them together into a complete production pipeline.
Troubleshooting
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み