大規模な事前学習済みモデルの提供に向けた、現実的な 3D 医療画像の合成

高品質な 3D 医療画像データは現代の放射線科 AI の基盤ですが、そのアクセスはデータの不足、プライバシー制限、および専門家による注釈付けの高コストによってしばしば制約されています。その結果、信頼性の高い 3D 医療画像モデルの訓練は、小規模で範囲が狭く共有が困難なデータセットによって頻繁にボトルネックとなり、モデルの堅牢性と汎化能力を制限しています。

これらの課題に対処するチームを支援するため、NVIDIA は 2024 年に Medical AI for Synthetic Imaging (MAISI) を発表しました。これは、プライバシーを保護したデータ拡張および研究のために、ピクセルレベルの解剖学的セグメンテーションを備えた高解像度の 3D CT ボリュームを合成する最先端の生成モデルです。

MAISI アーキテクチャファミリー（Latent Rectified Flow を採用した MAISI‑v2 など）に基づいて構築された NV-Generate-CTMR は、合成 CT および MRI の生成のためのオープンソースでエンドツーエンドのフレームワークを提供します。これにより、研究者や開発者は大規模に現実的な 3D ボリュームと対応するセグメンテーションを生成し、訓練パイプラインに直接統合して、下流の医療画像 AI 開発を加速させることが可能になります。

本ブログ記事では、MAISI アーキテクチャに基づき、スケーラブルでオープンなワークフローによる合成 3D 医療画像生成へと拡張された、人間の脳解剖学および構造セグメンテーションの合成生成のための新モデル「NV-Generate-MR-Brain」について紹介します。

image*図 1. NV-Generate-CTMR rflow-mr モデルを使用して生成された MR 画像。左側の画像は生成された T2w 前立腺 MRI、右側の画像は生成された T1w 脳 MRI です***

3D 医療画像データのボトルネックを打破する

NV-Generate-MR-Brain は、チューリッヒ大学、Medipol 大学病院、Forithmus、および NVIDIA から新たに公開されたマルチモーダル MR-RATE データセット を用いてトレーニングされました。MR-RATE データセットは、非常に成功を収めた CT-RATE データセットとマルチモーダル基盤モデルに基づいています。

世界最大規模のオープンソース・マルチモーダル MRI データセットである MR-RATE は、83,000 名以上の患者から収集された 100,000 件の脳 MRI 検査データ（計約 700,000 ボリューム）で構成されており、それぞれが匿名化された放射線科レポート、臨床情報、およびスキャナーのデジタル画像通信・医療機器規格 (Digital Imaging and Communications in Medicine: DICOM) メタデータとペアになっています。このデータセットは、画像と臨床文脈の両方を理解する研究用および商用 AI システムの開発のための、オープンで大規模な基盤を確立するために作成されました。

MR-RATE は、異なるスキャナータイプ、イメージングプロトコル、神経学的病変にわたる、現実世界の神経画像診断の実践における多様性を捉えています。この MR-RATE データセットは、研究機関向けにはオープンな CC-BY-NC ライセンスで公開され、商用利用については Forithmus を通じてライセンスを取得可能です。

デザインによるオープンソース化

本リポジトリには、エンドツーエンドの推論コード、事前学習済み重み、トレーニング設定が含まれており、チームは複雑なパイプラインを一から再構築することなく、すぐに作業を開始できます。ユーザーは、箱を開けたまま合成画像を生成したり、独自のデータセット上でモデルをファインチューニングして、新しい解剖学的構造、スキャナ、またはモダリティに適応させたりすることが可能です—これにより、技術的および計算リソースの両方の障壁が大幅に低下します。

本プロジェクトでは、コード、データ、モデルを含むすべての構成要素がオープンソースライセンスの下で公開されており、ほとんどのモデルは「NVIDIA Open Model License」の下でリリースされています。これらのモデルの推論は、画像生成や新データ・新たなユースケースでのモデルファインチューニングを行う際に、NVIDIA RTX GPU でロイヤリティフリーで実行可能です。

医療 AI において画像生成が不可欠な理由

医療画像合成は、医療 AI 開発の中核機能として急速に定着しています。チームは、限られたトレーニングセットを拡張するために合成データを利用し、CT と MRI のような異なる画像モダリティ間の翻訳を行ったり、稀な病変をシミュレーションしたり、実際の患者情報を露出させることなくプライバシーを保護したデータ共有を実現したりします。

解剖学的に整合性のあるリアルな 3D ボリューム（多くの場合、セグメンテーションラベルとペアになって）を生成することで、合成データは、ラベル付きの事例が限られている場合にモデルの一般化能力を高め、施設・スキャナ・プロトコル間での一貫したベンチマークを可能にします。

臨床画像診断がますます個別化され、多様化し、マルチモーダル化する中で、スケーラブルで制御可能な生成フレームワークはもはやオプションではなく、堅牢な医療 AI システムを構築するために不可欠なものとなっています。

既存の医療画像合成手法の限界

長年にわたり、医療画像合成手法は主に 3 つのカテゴリーに分類されてきました：直接回帰モデル、生成敵対ネットワーク（GAN）ベースのアプローチ、そしてより最近では反復的なノイズ除去を通じて画像を生成する拡散モデルです。

これらのうち、拡散モデルが最先端として台頭し、安定性の向上と複雑な解剖学的分布のモデリング能力を提供しています。しかし、実際の臨床ワークフローに拡散モデルを適用することは依然として課題が残っています。

第一に、現実世界の医療画像はスキャナ・取得プロトコル・ボクセル間隔によって大きく異なり、限定的なデータセットで訓練されたモデルが一般化するのは困難です。

第二に、CT と MRI は本質的に 3D モダリティですが、完全な 3D 拡散モデルは時間と GPU メモリの両面で計算コストが高くなります。

第三に、マスクや解剖学的ヒントなどの条件信号が提供されていても、生成された出力が入力を忠実に従わない場合があり、制御されたまたは特定のタスク向けの生成における有用性が制限されます。

これら一連の課題—汎化能力の限界、高い計算コスト、そして条件整合性の弱さ—により、多くの既存のアプローチはスケーラブルな展開が困難であり、より高速で制御可能な 3D 合成フレームワークの必要性を促しています。

高速・オープンソース 3D 医療画像合成

NV‑Generate‑CTMR は、NVIDIA が提供するオープンソースフレームワークであり、高品質な 3D 医療画像合成を実用的なものとし、日常の研究開発に活用できるように設計されています。生成モデルを狭く特定のタスクに特化した解決策として扱うのではなく、幅広い臨床シナリオにおいて現実的な CT および MRI ボリュームを作成するための再現可能で即座に使用可能なプラットフォームを提供します。

このフレームワークは、単一のモデル内で柔軟なボクセルサイズ、可変のボリューム次元、そして全身カバレッジをサポートする初のオープンソース医療画像生成フレームワークです（下の図参照）。

この柔軟性により、研究者は各設定ごとに別モデルを再学習することなく、小規模な切り出し領域からフル解像度の広視野スキャンに至るまで、実際の臨床プロトコルに一致するデータを合成できるようになります。この意味において、NV-Generate-CTMR は単一の臓器や構成に限定されるのではなく、多くの下流タスクや解剖学的部位に適応可能な医療画像用のファウンデーションモデルとして機能します。

エフィシェントで持続可能な AI 開発

NV‑Generate‑CTMR は、他のオープンソースファウンデーションモデルと同じ哲学に従い、モデルとトレーニングの詳細を公開することで、「再学習ではなく再利用」を実現しています。

既存のモデルをファインチューニングする方が、ゼロから訓練するよりもはるかに高速でエネルギー効率が良く、開発期間の短縮、電力消費の削減、環境への影響の縮小につながります。

内部構造

NV‑Generate‑CTMR は2つのモデルアーキテクチャを備えています:

• MAISI‑v1: より多様性のある確率的画像生成を実現する潜在ノイズ除去拡散確率モデル（DDPM）に基づくもの
• MAISI‑v2: 推論速度と画像生成の質を向上させるため、潜在整流フロー（Latent Rectified Flow）に基づき、推論速度で33倍の加速を実現したもの

詳細は、2026 年の AAAI 人工知能会議にて発表された技術論文『MAISI-v2: Accelerated 3D High-Resolution Medical Image Synthesis with Rectified Flow and Region-Specific Contrastive Loss』[https://research.nvidia.com/publication/2025-08_maisi-v2-accelerated-3d-high-resolution-medical-image-synthesis-rectified-flow] および、2025 年の IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) で発表された『MAISI: Medical AI for Synthetic Imaging』[https://arxiv.org/abs/2409.11169] に記載されています。

スケーラブルな高速推論

NV-Generate-CTMR における MAISI-v2 モデルは、従来の医療画像生成手法と比較して大幅に高速な推論を実現しながらも、最先端の画像品質を達成しており、その推論速度は主要な動画生成モデルと同等です。以下の Table 1 は、NV-Generate シリーズの詳細を解説しています。

Model Name**ddpm-ctrflow-ctrflow-mrNV-Generate-MR-Brain

ModalityCTCTMRMR

Release dateAugust 2024March 2025October 2025March 2026

Body RegionWhole bodyWhole bodyBrain, prostate, abdomen, breastWhole brain, skull-stripped brain (user can specify)

ArchitectureMAISI-v1MAISI-v2MAISI-v2MAISI-v2

Inference step1000303030

Max Volume512x512x768512x512x768512x512x128512x512x256

Use caseImage-only generation; image/mask pair generationImage-only generation; image/mask pair generationImage-only generationImage-only generation; cross-contrast generation

利点画像の多様性の向上、全身カバレッジ高速推論速度、高画質、全身カバレッジ高速推論速度、複数身体領域のカバレッジ高速推論速度、脳領域における高画質

ライセンスオープンソース、商用利用可能オープンソース、商用利用可能オープンソース、研究専用オープンソース、商用利用可能

*表 1. NV-Generate モデルファミリー*

脳 MRI 用マルチコントラスト生成モデル

脳 MRI は磁気共鳴画像法（MRI）の最も広く使用されている応用の一つです。このドメインをサポートするため、私たちは MAISI‑v2 アーキテクチャを基盤とし、新たにリリースされた MR‑RATE データセットでトレーニングされた生成モデル「NV-Generate-MR-Brain」を公開しました。

本モデルは高忠実度の脳 MRI 合成を目的として設計されており、ユーザーの仕様に従って全脳画像または頭蓋骨除去画像のいずれかを生成可能な基盤となる脳 MRI モデルを備えています。研究および臨床トレーニング用途向けに、現実的で柔軟な画像生成を可能にするため、T1 加重（T1w）、T2 加重（T2w）、FLAIR、SWI など、広く使用されているいくつかのシーケンスとコントラストをサポートしています。

本モデルは、512 × 512 × 256 の高解像度体積合成に対応しており、臨床および研究における脳 MRI で用いられる空間分解能の上限に近いレベルを実現しています。これにより、医療画像ワークフロー向けに現実的な完全ボリュームデータの生成が可能となります。

さらに、NV-Generate-MR-Brain は、特定の解剖学的構造の生成やクロスシーケンス合成のための ControlNet モジュールを提供しており、ユーザーが別の MRI シーケンスに基づいて 1 つの MRI シーケンスを予測することを可能にします。

リアルワールドでの応用と研究への採用

NV‑Generate‑CTMR によって生成された腫瘍付き画像・マスクペアは、NV Segment の拡張トレーニングデータとして使用されています。NVIDIA 以外でも、これらのモデルは外部研究者によって幅広い用途で利用またはファインチューニングされており、具体的には以下の通りです：

• ゼロショット異常検出

• 肺 CT がん分類

• 前立腺 MRI 病変分類

• MR から CT への合成

• テキストプロンプトによる CT および MRI 腫瘍セグメンテーション

• 脳拡散 MRI 線維束追跡

• 脳腫瘍 MRI 合成

• テキストから CT 画像の生成

• テキストから脳 MRI の生成

「NV-Generate から得られる解剖学的に現実的な神経 MR データと、NV-Segment の自動セグメンテーション機能、そして NV-Reason の臨床推論能力を組み合わせることで、AI ソリューションの設計と検証をより効率的に行うことができます」と語るのは、Philips の MR ビジネスリーダーである Ioannis Panagiotelis 博士です。「これにより、放射線科医は患者のプライバシーを損なうことなく、より賢く説明可能なワークフローの恩恵を受けることが可能になります。」

実際に試してみる：3D 医療画像の合成

NV-Generate-CTMR を体験する最速の方法は、実際に実行してみることです。

オンラインデモ： GPU は不要で、NVIDIA がホストするインタラクティブなブラウザデモを探索できます。

コマンドラインインターフェース (CLI): オンラインデモは中核機能を紹介しますが、完全な体験は GitHub リポジトリから利用可能です。ここには事前学習済み重みと、ローカルで完全な 3D CT または MRI ボリュームを生成するための即座に使用可能な推論スクリプトが含まれています。リポジトリをクローンして依存関係をインストールした後、単一のコマンドで推論を開始できます:

git clone https://github.com/NVIDIA-Medtech/NV-Generate-CTMR.git

cd NV-Generate-CTMR

export MONAI_DATA_DIRECTORY="./temp_work_dir"

network="rflow"

generate_version="rflow-ct"

python -m scripts.inference \

-t ./configs/config_network_${network}.json \

-i ./configs/config_infer.json \

-e ./configs/environment_${generate_version}.json \

--random-seed 0 \

--version ${generate_version}

このコマンドは、事前学習済み整流フロー (rectified flow) モデルを読み込み、完全な 3D 医療ボリュームを直接ローカルワークスペースに合成します。その後、出力を可視化したり、ペアになったセグメンテーションマスクを検査したり、生成されたデータを独自のトレーニングおよび評価パイプラインに組み込んだりできます。上記のコードブロックの例結果は、以下の図 4 に示されています。

例の結果

アイデアの検証、データセットの拡張、モデルのベンチマークテストを行う場合でも、NV-Generate-CTMR を使用すれば、リアルな医療画像の生成をすぐに開始できます。

*Video 1. 生成された CT および MR イメージの例*

はじめに

コード：https://github.com/NVIDIA-Medtech/NV-Generate-CTMR

データセット（研究用アクセス）：https://huggingface.co/datasets/Forithmus/MR-RATE

モデルチェックポイント:

• https://huggingface.co/nvidia/NV-Generate-CT

• https://huggingface.co/nvidia/NV-Generate-MR

• https://huggingface.co/nvidia/NV-Generate-MR-Brain