未整理の臨床用MRI・CTボリュームをVol-JEPAで学習した新神経画像基盤モデル「NeuroVFM」を紹介

最先端のモデルは主に公開されたインターネットデータから学習しますが、臨床用神経画像データはそこにはほとんど登場しません。MRI や CT スキャンには個人を特定できる顔の特徴が含まれるためです。その結果、汎用モデルは脳画像タスクにおいて性能が振るわないのが実情でした。

これを解決すべく、ミシガン大学の研究チームが「NeuroVFM」を開発し、『Nature Medicine』誌に発表しました。

では、NeuroVFM とは何でしょうか？

NeuroVFM の核心は、神経画像処理向けの汎用視覚基盤モデルです。具体的には、524 万本の臨床用 MRI および CT ボリュームデータを用いて事前学習されました。これらは「UM-NeuroImages」データセットに含まれる 56 万 6915 件の検査データから成り立っており、ミシガン・メディシンにおける過去 20 年以上にわたる日常の診療記録を網羅しています。

研究チームはこのアプローチを「ヘルスシステム学習」と呼んでいます。要するに、通常の臨床業務の中で生成される非選別データをそのまま学習対象とするのです。これにより、放射線科医による報告書と画像をペアにしたデータ依存というボトルネックを回避できます。また、特定の疾患に特化した狭い分類器で用いられるような手作業によるデータ選別の必要性も排除されます。

注目すべきは、このモデルの基盤となるのが「Vol-JEPA」である点です。これは既存の I-JEPA や V-JEPA という手法を、3 次元の医療画像へと拡張したものです。これはより大きな潮流を反映しています。つまり、JEPA スタイルの学習法が医療画像分野へと広がりつつあるのです。

Vol-JEPA はどのように動作するのでしょうか？

Vol-JEPA は、ラベルやテキスト報告書、ボクセル復元器を一切必要としない自己教師ありの視覚専用アルゴリズムです。ピクセルを再構成するのではなく、学習された潜在空間における表現を予測します。

まず、各 3D ボリュームは重なりを持たない 4×16×16 ボクセルのパッチにトークン化されます。次に、ボリュームは小さな可視コンテキストと、より大きなマスクされたターゲット領域に分割されます。学生エンコーダーがその後、このコンテキストパッチを処理します。

一方、予測器（predictor）はコンテキストの潜在表現（latents）とターゲット位置の符号化を組み合わせて、マスクされた領域の潜在表現を推測します。教師エンコーダーは、正解となるターゲットの潜在表現を生成します。この教師モデルは、学生モデルの指数移動平均（EMA）として維持されます。トレーニングでは、予測値と教師モデルの出力間の滑らかな L1 損失を最小化しますが、勾配計算は教師モデル側で停止させます。

重要なのは、マスク処理が前景に焦点を当てている点です。事前計算されたヘッドマスクを使用し、MRI ではコンテキスト比率を 25%、CT では 20% に設定しています。さらに、パッチの 20% をドロップアウトさせる設計にしており、これによりエンコーダーは背景の手がかりに頼るのではなく、共通する神経解剖学的構造をモデル化するように促されます。

性能評価

この検証のため、研究チームはすべてのエンコーダーを凍結し、同一の学習レベル向け注意機構付きプローブ（attentive probes）のみを訓練しました。主要な評価指標は、156 の診断タスク全体でのマクロ平均 AUROC です。これには 74 の MRI および 82 の CT 診断が含まれます。

その結果、NeuroVFM は CT で 92.68、MRI で 92.49 の AUROC を達成しました。さらに、集計された評価指標においてすべてのベースラインを上回る性能を示しました。

NeuroVFM は、未加工の臨床用 MRI および CT ボリュームデータを用いて Vol-JEPA で事前学習された新しい神経画像基盤モデルです。

各モデルの性能比較（AUROC の差）を見ると、NeuroVFM は UM-NeuroImages（医療システム内データ）を学習データとし、Vol-JEPA による潜在予測（latent prediction）を採用しています。その結果、CT で 92.68、MRI で 92.49 という高いスコアを記録しました。

これに対し、HLIP も UM-NeuroImages を使用していますが、報告書や言語情報に基づく監督学習を採用しているため、NeuroVFM よりも 0.98 ポイント低く評価されました。同様に PRIMA は MRI のみを使用し、報告書と言語情報を活用した結果、3.87 ポイント差をつけられました。

また、UM-NeuroImages を用いてボクセル再構成（MAE）を目的とした NeuroMAE は 1.55 ポイントの差があり、自然画像 17 億枚で自己教師あり学習（2D）を行った DINOv3 は 2.24 ポイント、1,500 万組の画像・テキストペアを用いた Vision–language（2D）モデルである BiomedCLIP は 2.88 ポイントそれぞれ劣りました。

PRIMA、HLIP、NeuroMAE はいずれも同じ学習データを使用しているため、これらの差は目的関数の違いによるものです。つまり、潜在予測アプローチが、報告書に基づく監督学習やボクセル再構成よりも優れていることが示されました。

学習効率についても言及されています。例えば、Vol-JEPA の完全な実行には 1,000 GPU 時間未満で済み、3D DINO ベースラインと比較して 7 倍以上高速でした。また、同じメモリ使用量でバッチサイズを 16 倍に拡大することも可能でした。

ベースとなるエンコーダーはパラメータ数 8,580 万個、小型バージョンでは 2,170 万個です。

このモデルが何を実現できるのか？

診断支援だけでなく、NeuroVFM は複数の下流タスクにも対応しています。いずれのタスクでも、同じ凍結された視覚トークン（frozen visual tokens）を再利用します。

報告書生成：チームは、凍結された NeuroVFM を Qwen3-14B と組み合わせ、LLaVA-1.5 スタイルで構造化された主要な所見を生成するシステム「NeuroVFM-LLaVA」を開発しました。

トリアージ（優先度分類）：生成された所見を推論モデルに渡すことで、「異常なし」「定期検査必要」「緊急」といった緊急性レベルを自動判定します。

根拠のある予測：アテンションベースの MIL ポールダーが、画像領域ごとの注釈なしで、所見と画像の対応関係を自動的にマッピングします。

異種モダリティ間の転移学習では、CT で訓練されたプローブを MRI に適用しても、AUROC の低下は 5 ポイント未満に抑えられました。

生成タスクとトリアージ（選別）の両方において、NeuroVFM-LLaVA は最先端のベースラインモデルを上回る性能を示しました。

さらに、研究チームは医療システム全体で 1 週間の非介入型 prospective 試験（対象者数：1,155 名）を実施しました。その結果、NeuroVFM はバランス精度 92.6% を達成し、GPT-5 の 71.2% を大きく上回りました。ただし、感度は 86.5% で、重大な所見 155 件中 21 件を見落としてしまいました。このため、著者たちは本システムを自律的なスクリーニングツールではなく、医師の意思決定を支援するツールとして位置付けています。

NeuroVFM の運用方法

実際には、公開されたスタックを利用するのは非常に簡単です。パッケージをインストールし、パイプラインヘルパー関数を呼び出すだけで済みます。以下のコードスニペットは、リポジトリが提供する API を使用しています。

git clone https://github.com/MLNeurosurg/neurovfm.git && cd neurovfm && pip install -e .

from neurovfm.pipelines import (
    load_encoder, load_diagnostic_head, load_vlm, interpret_findings,
)

encoder, preprocessor = load_encoder("mlinslab/neurovfm-encoder")
dx_head = load_diagnostic_head("mlinslab/neurovfm-dx-ct")
generator, gen_preproc = load_vlm("mlinslab/neurovfm-llm")

スキームをエンコードし、診断を予測する

batch = preprocessor.load_study("/path/to/ct/study/", modality="ct")
embeddings = encoder.embed(batch)                 # [N_tokens, 768]
predictions = dx_head.predict(embeddings, batch)  # [(label, prob, pred), ...]

# 予備的な所見を生成し、必要に応じてトリアージを行う
vols = gen_preproc.load_study("/path/to/ct/study/", modality="ct")
findings = generator.generate(vols, clinical_context="LOC and nausea.")
triage = interpret_findings(findings, "LOC and nausea.", api_key="...")

なお、このスタックを利用するには、ソースコードからビルドした FlashAttention-2 (v2.6.3) が必要です。コードは MIT ライセンスで公開されていますが、重みデータは CC-BY-NC-SA-4.0 ライセンスの下にあります。一部のデータセットへのアクセスには、機関のメールアドレスによる承認申請が必要となります。

強みと限界

研究論文では、このモデルの利点と課題が双方の実証結果に基づいて報告されています。

強み

• レポートやラベルによる監督学習を必要とせず、未整理のスキャンデータから学習可能。
• CT と MRI の両方を共通の潜在空間で扱える。
• GPT-5 を用いた場合と比較して、レポート生成にかかるコストは 24 倍以上、炭素排出量は 23 倍以上削減できると報告されている。
• メーカーや磁場強度の違い、および人口統計学的なサブグループ間でも性能が安定している。

限界

• トリアージの感度が 86.5% であるため、重要な所見を見逃すケースが依然として存在する。
• 重みデータは商用利用不可であり、FDA の承認も得ていない。
• データセット、アーキテクチャ、目的関数に起因するバイアスに影響を受けやすい。
• 評価結果は単一の学術医療システムからのものに限られる。

論文とリポジトリは以下のリンクからご確認ください。また、Twitter でフォローしていただくと幸いです。ぜひ、15 万人以上の ML 関係者が集まる当社の Reddit サブコミュニティにもご参加ください。さらに、ニュースレターの購読も忘れずに。

あ、Telegram をお使いですか？今なら Telegram でも私たちに参加いただけます。