皮膚科と病理学のための医療特化型埋め込みツール

Google Health の臨床研究科学者である Dave Steiner と、Google Research のプロダクトマネージャーである Rory Pilgrim によって投稿されました ![image](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi9zSpggPrlQvV-c0Lc2Sd79B58CwY0kDPJjgQfh-2SR8kiZuXO9A7LWZQ80zCqDNkYHm_IyNSQXF9xUOS-vPg8eJxkPR6HHuFr2VxoaAiAeG4J4ca6Pl8s9Jx1VX3tjQR0oA3I-oS2WujNwYJ2esmlfcyu1PZp7vh5MawdQc8Iu9aLM4fkAhycOXmumoKp/s16000/Path%20+%20Derm%20hero.jpg) 放射線科 [radiology](https://www.rsna.org/news/2022/may/Global-Radiologist-Shortage)、皮膚科 [dermatology](https://www.aad.org/dw/monthly/2021/december/feature-running-dry)、病理学 [pathology](https://proscia.com/infographic-the-state-of-the-pathology-workforce-2022/) など、あらゆる専門分野において、医療画像の専門家による解釈へのアクセスが世界的に不足しています。機械学習（ML）技術は、医師がこれらの画像をより正確かつ効率的に解釈できるツールを支えることで、この負担を軽減する手助けができます。しかし、そのような ML ツールの開発と実装は、高品質なデータの入手可能性、ML に関する専門知識、および計算資源の制約によってしばしば制限されています。 医療画像における機械学習（ML）の利用を促進する一つの方法は、深層学習（DL）を活用して医療画像内の情報を圧縮された数値ベクトル（エンベディングと呼ばれる）として捉えるドメイン固有モデルを用いることです。これらのエンベディングは、画像内の重要な特徴に対する事前学習された理解の一種を表しています。高次元データ（例：画像）を直接扱うことに比べ、エンベディング内のパターンを特定することで、高性能なモデルを訓練するために必要なデータ量、専門知識、計算リソースを削減できます。実際、これらのエンベディングは、専門分野内における多様な下流タスクの実行に利用可能です（以下のアニメーショングラフィック参照）。事前学習された理解を活用して関連する課題を解決するというこの枠組みは、熟練したギタリストが耳で新しい曲を素早く習得する様子に似ています。ギタリストはすでにスキルと理解の基盤を築いているため、新しい曲のパターンやグルーヴをすぐに掴むことができるからです。 Path Foundation は、少数の（画像，ラベル）ペアから（エンベディング，ラベル）ペアへの変換を行います。これらのペアはその後、このグラフィックで示されるような線形プローブ（すなわち軽量な線形分類器）を用いてタスク固有の分類器を訓練したり、エンベディングを入力として用いる他の種類のモデルを訓練したりするために利用されます。 線形プローブのトレーニングが完了すると、新しい画像からの埋め込みに対して予測を行うことができます。これらの予測は、正解情報と比較することで、線形プローブのパフォーマンスを評価するために使用されます。 この種の埋め込みモデルを利用可能にし、医療画像における機械学習ツールのさらなる開発を推進するため、研究利用向けの2 つのドメイン固有ツールを公開することを嬉しく思います。それは [Derm Foundation](https://github.com/Google-Health/imaging-research/tree/master/derm-foundation) と [Path Foundation](https://github.com/Google-Health/imaging-research/tree/master/path-foundation) です。これは、胸部 X 線画像用の埋め込みツールである [CXR Foundation](https://blog.research.google/2022/07/simplified-transfer-learning-for-chest.html) を使用した研究者たちから既に受けた強い反応に続くものであり、複数の医療専門モダリティにわたる当社の研究提供の拡大の一部を構成するものです。これらの埋め込みツールは画像を入力として受け取り、それぞれ皮膚科学およびデジタル病理学のドメインに特化した数値ベクトル（埋め込み）を生成します。胸部 X 線、皮膚科、または病理学の画像データセットをそれぞれの埋め込みツールに通すことで、研究者は自身の画像に対する埋め込みを取得し、これらの埋め込みを使用して、アプリケーション用の新しいモデルを迅速に開発することができます。 ## Path Foundation 「ドメイン固有の最適化と組織病理学における自己教師ありモデルの多様な評価」という論文では、病理画像用の自己教師あり学習（SSL）モデルが従来の事前学習アプローチを上回り、下流タスクのための分類器を効率的に訓練できることを示しました。この取り組みは、診断病理学における主要な組織染色であり、病理医が顕微鏡下で細胞の特徴を可視化することを可能にするヘマトキシリン・エオシン（H&E）染色スライドに焦点を当てていました。SSL モデルの出力を用いて訓練された線形分類器のパフォーマンスは、桁違いにより多くのラベル付きデータで訓練された従来の深層学習（DL）モデルと同等のものでした。 デジタル病理画像と「自然画像」写真の間には大きな違いがあるため、この研究ではモデル学習中にいくつかの病理学固有の最適化が行われました。重要な要素の一つは、病理学における[スライド全体画像](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7522141/)（WSI）は幅が 100,000 ピクセルに達しうる点です（一般的なスマートフォン写真の数千倍の大きさ）。また、これらは専門家によって複数の倍率（ズームレベル）で分析されます。そのため、WSI はコンピュータビジョンおよび深層学習（DL: Deep Learning）アプリケーション向けに、より小さなタイルまたはパッチに分割されることが一般的です。生成された画像は情報密度が高く、細胞や組織構造がフレーム全体に分布しており、明確な意味論的オブジェクトや前景と背景の対比といった特徴を持たないため、堅牢な自己教師あり学習（SSL: Self-Supervised Learning）および特徴抽出に対して独自の課題を生み出します。さらに、サンプル調製に用いられる物理的（例：[切断](https://en.wikipedia.org/wiki/Microtome)）および化学的（例：[固定](https://en.wikipedia.org/wiki/Fixation_(histology)) および[染色](https://en.wikipedia.org/wiki/Staining)）プロセスは、画像の外観に劇的な影響を与える可能性があります。 これらの重要な側面を考慮し、病理学固有の自己教師あり学習（SSL）最適化には、モデルが染色に依存しない特徴 [stain-agnostic features](https://arxiv.org/abs/2206.12694) を学習するのを支援すること、複数の倍率からのパッチに対してモデルを一般化させること、スキャンおよび画像後処理を模倣するためにデータを [拡張](https://blog.research.google/2020/02/generating-diverse-synthetic-medical.html) すること、そして SSL 訓練における入力データの不均一性を改善するためのカスタムデータバランス調整が含まれていました。これらのアプローチは、17 の異なる組織タイプにわたる 12 の異なるタスクを含む広範なベンチマークセットを用いて徹底的に評価されました。 ビジョントランスフォーマー（[ViT-S/16](https://github.com/google-research/vision_transformer)）アーキテクチャを活用し、上記の最適化および評価プロセス（および以下の図に示されるもの）から、Path Foundation が最もパフォーマンスの高いモデルとして選択されました。このモデルは、大規模な病理学 WSIs の多数の個別画像パッチに対して埋め込みを生成する際の価値あるかつスケーラブルな利用を可能にするため、パフォーマンスとモデルサイズの間に重要なバランスを提供します。 Path Foundation における病理学固有の最適化を伴う SSL 訓練。 ドメイン固有の画像表現の価値は、以下の図からも確認できます。この図は、従来の自然画像を用いた事前学習（[ImageNet-21k](https://arxiv.org/abs/2104.10972)）と比較した際の Path Foundation の線形プロービング性能向上を示しています（評価指標は [AUROC](https://en.wikipedia.org/wiki/Receiver_operating_characteristic)）。これには、リンパ節における転移性乳がんの検出 ([metastatic breast cancer detection in lymph nodes](https://jamanetwork.com/journals/jama/fullarticle/2665774))、前立腺がんのグレード分類 ([prostate cancer grading](https://jamanetwork.com/journals/jamaoncology/fullarticle/2768225)、乳がんのグレード分類 ([breast cancer grading](https://www.nature.com/articles/s41523-022-00478-y)) など、複数のタスクにおける評価が含まれています。 線形プロービングによる多様な組織病理学評価タスクでの結果から、Path Foundation の埋め込み表現は従来の ImageNet 埋め込み表現を著しく上回ることが示されています。 ## Derm Foundation [Derm Foundation](https://github.com/Google-Health/imaging-research/tree/master/derm-foundation) は、皮膚科疾患の画像解釈に深層学習（DL）を適用するという私たちの研究から派生した埋め込みツールであり、新しいデータセットに対してより一般化できるよう改善を加えた最新の研究成果も含まれています。[arxiv.org/abs/2402.15566](https://arxiv.org/abs/2402.15566) 皮膚科に特化した事前学習により、皮膚疾患の画像に含まれる特徴に対する潜在的な理解を備えており、皮膚疾患を分類するモデルを迅速に開発するために使用できます。API の基盤となるモデルは、[BiT ResNet-101x3](https://github.com/google-research/big_transfer) であり、2 つの段階でトレーニングされています。最初の事前学習段階では、インターネット上の多数の画像テキストペア [blog.research.google/2017/07/revisiting-unreasonable-effectiveness.html](https://blog.research.google/2017/07/revisiting-unreasonable-effectiveness.html) を用いて、[ConVIRT](https://arxiv.org/abs/2010.00747) と同様のコントラスト学習（contrastive learning）によりトレーニングが行われます。2 つ目の段階では、この事前学習済みモデルの画像コンポーネントが、遠隔皮膚科サービスなどの臨床データセットを用いて疾患分類のために微調整（fine-tuning）されます。 組織病理画像とは異なり、皮膚科画像は今日多くのコンピュータビジョンモデルのトレーニングに使用される実世界の画像により近いです。しかし、専門的な皮膚科タスクにおいては、高品質なモデルを作成するには依然として大規模なデータセットが必要となる場合があります。Derm Foundation を用いることで、研究者は自身の小規模データセットを使用してドメイン固有の埋め込み（embeddings）を取得し、それらを利用してより小さなモデル（例えば線形分類器やその他の小型非線形モデルなど）を構築できます。これにより、研究や製品アイデアを検証することが可能になります。このアプローチの評価のため、遠隔皮膚診療データを用いた下流タスクでモデルのトレーニングを行いました。モデルトレーニングでは、埋め込みベースの線形分類器とファインチューニング（fine-tuning）を比較するために、データセットサイズ（12.5%、25%、50%、100%）を変化させました。 検討されたモデルの変種は以下の通りです： - BiT-M（標準的な事前学習済み画像モデル）の凍結埋め込み（frozen embeddings）に基づく線形分類器 - 下流タスク用の追加の密結合層（dense layer）を備えた、BiT-M のファインチューニング版 - Derm Foundation API の凍結埋め込みに基づく線形分類器 - Derm Foundation API の基盤モデルに下流タスク用の追加層を加えたファインチューニング版 我々は、皮膚科関連タスクにおいて Derm Foundation 埋め込みの上に構築されたモデルが、埋め込みのみまたは BiT-M からファインチューニングして構築されたモデルよりも著しく高い品質を達成することを発見しました。この優位性は、特にトレーニングデータセットサイズが小さい場合に顕著であることがわかりました。 これらの結果は、Derm Foundation ツールが皮膚関連のモデリングタスクを加速するための有用な出発点として機能し得ることを示しています。私たちは、このモデルが学習した皮膚科学の基礎的な特徴や表現に基づいて、他の研究者が研究を進められるようにすることを目指しています。 しかし、この分析には限界もあります。これらの埋め込み表現が、タスクの種類、患者集団、画像設定にわたってどの程度一般化できるかについては、まだ探索中の段階です。Derm Foundation を用いて構築された下流モデルについても、意図した環境における期待される性能を理解するために、慎重な評価が必要です。 ## アクセスパスと Derm Foundation 私たちは、Derm Foundation および Path Foundation の埋め込みツールが、診断タスク用の効率的なモデル開発、品質保証および前分析ワークフローの改善、画像のインデックス化とキュレーション、バイオマーカーの発見と検証など、さまざまなユースケースを可能にすると考えています。これらのツールの埋め込み表現が、各自の皮膚科学および病理学データにおいてどのように活用できるかを探索できるよう、両方のツールを研究コミュニティに向けて公開します。 アクセスをご希望の場合は、以下の Google フォームを使用して、各ツールの利用規約にサインアップしてください。 - Derm Foundation Access Form - Path Foundation Access Form 各ツールへのアクセス権を取得した後、Google Cloud に保存された皮膚科画像またはデジタル病理画像から埋め込みベクトルを API を通じて取得することができます。モデルと埋め込みベクトルの動作を確認したいという好奇心旺盛な承認済みユーザーは、提供されている例の Colab ノートブックを使用して、[6 つの一般的な皮膚疾患](https://github.com/Google-Health/imaging-research/blob/master/derm-foundation/derm_foundation_demo.ipynb) の分類や [組織病理学的パッチ](https://github.com/Google-Health/imaging-research/blob/master/path-foundation/linear-classifier-demo.ipynb) における腫瘍の同定のために、公開データを用いてモデルをトレーニングすることができます。これらのツールがどのような用途の可能性を開くのか、その範囲を楽しみにしています。 ## 謝辞 *この研究を可能にするために貢献いただいた多くの協力者の方々に感謝いたします。氏名は以下の通りです：Yun Liu, Can Kirmizi, Fereshteh Mahvar, Bram Sterling, Arman Tajback, Kenneth Philbrik, Arnav Agharwal, Aurora Cheung, Andrew Sellergren, Boris Babenko, Basil Mustafa, Jan Freyberg, Terry Spitz, Yuan Liu, Pinal Bavishi, Ayush Jain, Amit Talreja, Rajeev Rikhye, Abbi Ward, Jeremy Lai, Faruk Ahmed, Supriya Vijay, Tiam Jaroensri, Jessica Loo, Saurabh Vyawahare, Saloni Agarwal, Ellery Wulczyn, Jonathan Krause, Fayaz Jamil, Tom Small, Annisah Um'rani, Lauren Winer, Sami Lachgar, Yossi Matias, Greg Corrado, および Dale Webster。

皮膚科と病理学のための医療特化型埋め込みツール

背景や根拠まで確認しますか？

調べる

選ぶ

サイト