NVIDIA BioNeMoレシピを用いたLoRAによる生物学的基盤モデルのファインチューニング

[ファウンデーションモデル](https://www.nvidia.com/en-us/ai-data-science/foundation-models/) は計算生物学を再構築しています。タンパク質やゲノム配列の膨大なコーパスで事前学習された ESM2（タンパク質言語モデル）や Evo 2（DNA 言語モデル）などのモデルは、生物学的配列の統計的規則性を捉えています。これらは構造予測、変異効果、機能注釈など、幅広い下流タスクへよく転移します。 しかし、これらのモデルを特定のタスクに適応させることは容易ではありません：パラメータ数が数十億に達する中で、オプティマイザの状態やチェックポイントの計算リソースおよびストレージの観点から、フルファインチューニングはすぐに現実的ではなくなります。 [低ランク適応 (LoRA)](https://arxiv.org/abs/2106.09685) はこの課題に直接対応します。事前学習済みバックボーンを凍結し、少数の低ランクアダプター行列のみを訓練することで、LoRA は多くのタスクにおいてフルファインチューニングと同等の品質を実現しつつ、パラメータの約 1% のみを訓練します。これにより、単一のワークステーション GPU に数十億規模のモデルとそのアダプター状態を収容することが可能になります。 これらのワークフロー構築の難易度を低減するため、[NVIDIA BioNeMo Recipes](https://github.com/NVIDIA/bionemo-framework/tree/main/bionemo-recipes) では、親しみのある PyTorch や Hugging Face、[Megatron-Bridge](https://github.com/NVIDIA-NeMo/Megatron-Bridge) のパターンに基づいた、段階的なトレーニングレシピを提供しています。NVIDIA [Transformer Engine (TE)](https://github.com/NVIDIA/TransformerEngine) などのパフォーマンス指向コンポーネントやスケールアウト戦略は、効果が見込める箇所に統合されていますが、レシピ自体は可読性を保つように設計されています。 本記事では、単一の [NVIDIA RTX 6000 Blackwell Workstation Edition](https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/) GPU 上で、同じパラメータ効率的なレシピが生物学的モダリティ全体にどのように適用されるかを示す 2 つのケーススタディを紹介します。 - タンパク質二次構造予測 (PSSP) における ESM2-3B と LoRA の組み合わせ - DNA スプライスサイト分類における Evo2-1B と LoRA の組み合わせ これらの結果をカスタマイズまたは再現するための全ソースコードは、[NVIDIA BioNeMo Recipes](https://github.com/NVIDIA/bionemo-framework/tree/main/bionemo-recipes) で利用可能です。 ## スケーラブルなファインチューニングを実現する LoRA の仕組み ケーススタディに入る前に、手法の簡単な復習を行いましょう。フルファインチューニングは、すべてのモデルパラメータとそのオプティマイザ状態を保存・更新する必要があり、リソース消費が非常に大きいため、モデルがスケールするにつれてすぐに実用的ではなくなります。 LoRA は、すべてのモデルパラメータに対してオプティマイザの状態を更新または保存することなく、大規模な事前学習済みトランスフォーマーをファインチューニングするための実用的な手法です。LoRA の核心となる考え方は、密なモデルの重み行列を更新するのではなく、並列に新しい訓練可能な低ランク行列を追加し、元の行列を凍結（frozen）させることです。これにより、訓練可能なパラメータの数とオプティマイザ・メモリのフットプリントが劇的に削減されます。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/06/lora-reparametrization.webp)*図 1. LoRA の再パラメータ化。ここで* *(緑色) は元のモデルパラメータを示し、** と *行列（黒色）のみが訓練されます* LoRA は、容量・安定性・コストのトレードオフを制御する少数のハイパーパラメータによってパラメータ化されています。ランクは追加される低ランク行列のサイズ、したがって訓練可能なパラメータの数を制御します。ターゲットモジュールは、アダプターが適用される層を指定し、一般的な選択としてはアテンション（attention）や MLP 投影があります。小規模なデータセットの場合、LoRA ドロップアウトを有効にして追加の正則化形式とすることができます。 以下の 2 つのケーススタディは、モダリティ（タンパク質対 DNA）、タスクタイプ（トークン分類対シーケンス分類）、および基盤となるアーキテクチャ（トランスフォーマー対ストライプド・ヒエナ）において異なりますが、どちらも同じ LoRA レシピパターンを使用しています。 ## タンパク質二次構造予測のための ESM2-3B [PSSP](https://www.sciencedirect.com/science/article/abs/pii/S1093326317304217?via%3Dihub) は、タンパク質配列内の各アミノ酸に構造ラベルを割り当てるタスクです。二次構造ラベルは、完全な 3 次元構造予測を必要とせず、ヘリックスやストランドといった局所的な主鎖のコンフォメーション（conformation）を記述します。多くのタンパク質において、これらの局所パターンは機能的モチーフや全体の折りたたみ組織と相関しています。 PSSP は生物学における多くの下流アプリケーションの中核的な構成要素です。局所構造がタンパク質機能と強く相関しているため、PSSP は有用な機能的文脈を提供できます。さらに、これらの予測は三次元構造予測、溶媒和アクセシビリティ予測、タンパク質-タンパク質相互作用予測、および構造クラスまたはドメイン関連の予測を導く情報となります。 モデル化のレベルでは、PSSP はトークン分類問題です：入力はアミノ酸配列であり、出力は各残基に対する構造ラベルです。 評価には主に 2 つの変種があり、ラベル空間のみが異なります： - Q3（3 状態）: H（ヘリックス）、E（ストランド/シート）、C（コイル/ループ） - Q8（8 状態）: H（α-ヘリックス）、B（β-ブリッジ）、E（β-ストランド）、G（310 ヘリックス）、I（π-ヘリックス）、T（ターン）、S（ベンド）、C（コイル/その他） ESM2-3B は 30 億パラメータを持つタンパク質言語モデルであるため、フルファインチューニングには通常、相当な計算資源とメモリが必要です。LoRA は、追加するパラメータ数をごく少数に抑えつつも PSSP で強力な性能を達成することで、適応を現実的なものに変えます。 ## BioNeMo Recipes における ESM2 と PEFT の併用 (TE アクセラレーション対応) チームは、軽量な残基ごとの分類ヘッド（Q3/Q8 ラベル用）を追加し、[PEFT](https://github.com/huggingface/peft) ライブラリを通じて LoRA アダプターをトレーニングしながら、事前学習済みバックボーンの重みを凍結することで、PSSP に対して ESM2-3B をファインチューニングしました。データについては、[Porter 6](https://doi.org/10.3390/ijms26010130) モデルの著者によって公開されたキュレーション済みスプリットを使用し、提供されたテストセット上で結果を報告しました。スループットの最大化のため、TE（Tensor Engine）とシーケンスパッキングを有効化し、NVIDIA RTX 6000 Blackwell Workstation Edition GPU 1 枚上でフルトレーニングワークフローを 1 時間未満で実行しました。 以下のスニペットは [BioNeMo Recipes ESM2 plus PEFT の例](https://github.com/NVIDIA/bionemo-framework/tree/main/bionemo-recipes/recipes/esm2_peft_te) から適応されたもので、TE 互換の ESM2 モデルを読み込み、融合されたクエリ/キー/バリュー（QKV）投影に LoRA アダプターを接続する方法を示しています: import peft import torch from transformers import AutoConfig, AutoModelForTokenClassification config = AutoConfig.from_pretrained("nvidia/esm2_t36_3B_UR50D", trust_remote_code=True) model = AutoModelForTokenClassification.from_pretrained( "nvidia/esm2_t36_3B_UR50D", config=config, trust_remote_code=True, dtype="bfloat16" ) peft_config = peft.LoraConfig( task_type=peft.TaskType.TOKEN_CLS, inference_mode=False, r=8, lora_alpha=16, target_modules=["layernorm_qkv"], bias="none", ) ```python import peft import torch from transformers import AutoConfig, AutoModelForTokenClassification config = AutoConfig.from_pretrained("nvidia/esm2_t36_3B_UR50D", trust_remote_code=True) model = AutoModelForTokenClassification.from_pretrained( "nvidia/esm2_t36_3B_UR50D", config=config, trust_remote_code=True, dtype="bfloat16" ) peft_config = peft.LoraConfig( task_type=peft.TaskType.TOKEN_CLS, inference_mode=False, r=8, lora_alpha=16, target_modules=["layernorm_qkv"], bias="none", ) ``` peft_model = peft.get_peft_model(model, peft_config) peft_model.to("cuda", dtype=torch.bfloat16) その後、この PEFT モデル（Parameter-Efficient Fine-Tuning）をトレーニングループに組み込むことができます。完全なレシピには、データローダー、損失関数、オプティマイザーの設定も含まれています。 表 1 は、Porter 6 論文で報告された強力な公開ベースラインと比較した ESM2-3B に LoRA（Low-Rank Adaptation）を適用したモデルの Q3/Q8 テスト精度を要約しています。表 1 のスコアは、ESM2-3B のトップ 5 つの検証チェックポイントにおける平均値です。 **モデル****Q3 精度 (%)****Q8 精度 (%)** ESM-2 3B plus LoRA (top five validation mean)84.8074.30 Porter 684.5674.18 NetSurfP-3.082.9271.84 SPOT-1D-LM84.3074.09 *表 1. Porter 6 ベンチマークにおける ESM2-3B に LoRA を適用したモデルと、公開されたベースラインモデルとの Q3 および Q8 タスクでのタンパク質二次構造予測精度の比較* 全体的に、LoRA による微調整は、他の最先端の PSSP（Protein Secondary Structure Prediction）アプローチと競合しうる精度を達成しています。図 2 は、微調整ステップに対する検証損失および精度の変化を示しています。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/06/lora-training-protein-secondary-structure-prediction-fine-tuning-3.webp)*図 2. Q3 および Q8 タスクにおけるタンパク質二次構造予測の微調整中、ESM2-3B に LoRA を適用したモデルの検証精度および損失曲線* ## シーケンスパッキングはどのようにしてより高い利用率とスループットをもたらすのか？ タンパク質データセットには通常、異なる長さの配列が含まれています。これらを単純にバッチ処理すると（パディングされた BSHD 形式）、バッチ内の最大長までパディングが施され、トークンの大部分がパディングになります。これにより、アテンション層と MLP 層内部で計算リソースとメモリ帯域幅が無駄になります。 [シーケンスパッキング](https://developer.nvidia.com/blog/scale-biology-transformer-models-with-pytorch-and-nvidia-bionemo-recipes/)（パッキングされた平坦化 THD 形式）は、非パディングトークンのみを連結し、累積長メタデータで各シーケンスの境界を追跡することで、この無駄を削減します。その結果、アテンション/MLP カーネルは実際のトークンに対して動作し、パディングされたトークンに対しては動作しません。パッキングが実際にどのように機能するか（および TE パック形式とどう相互作用するか）についてより深い説明については、[PyTorch と NVIDIA BioNeMo Recipes を用いた生物学トランスフォーマーモデルのスケールアップ](https://developer.nvidia.com/blog/scale-biology-transformer-models-with-pytorch-and-nvidia-bionemo-recipes/)をご覧ください。図 3 は、THD と BSHD でファインチューニングを行った場合のスループット（トークン/秒）を示しています。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/06/fine-tuning-throughput-thd-bshd-1.webp)*図 3. THD でファインチューニングした場合、BSHD と比較してスループットは 5.5 倍高速です* この設定では、BSHD から THD に切り替えることでトークン/秒が約 5.5 倍向上し、これは主にパディングのオーバーヘッドを除去した結果によるものです。達成される速度向上は、シーケンス長の分布、マイクロバッチサイズ、および GPU に大きく依存します。 スループット以外にも、THD パッキングはメモリエフィシエンシーを向上させます。パディングトークンに費やされる活性化またはアテンション作業の量を減らすため、GPU メモリトラフィックと計算資源のうち、より大きな割合が有用な（パディングではない）トークンに向かうようになります。 同一の入力シーケンスとバッチサイズにおいて、THD は通常、BSHD よりも少ないメモリを使用します。これはパディングトークンをマテリアライズする必要がないためです。実際には、この節約されたリソースは、1 ステップあたりに処理される実在するトークンの数を増やすために使用されます。 ## DNA スプライスサイト分類のための Evo2-1B [Evo 2](https://github.com/ArcInstitute/evo2) は、生命のすべてのドメインにわたるゲノム配列を学習対象として訓練された生成型 DNA ファウンデーションモデルです。アーキテクチャ的には、ストライプ化された Hyena ブロックに基づいて構築されており、これは状態空間型の長距離畳み込み演算子と、より少数のアテンション層の組み合わせで構成されています。これにより、長い DNA コンテキストを効率的に処理することが可能になります。ESM2 がアミノ酸配列からタンパク質の「文法」を学習するのと同様に、Evo2 はヌクレオチド配列から直接ゲノムの規則性を学習し、これは多様な下流タスクへ転移可能です：変異効果予測、調節要素分類、そして（ここでは特に興味深い）スプライスサイト同定です。 ## スプライスサイト分類とは何か？ スプライシングは、pre-mRNA からイントロンを除去しエクソンをつなぎ合わせる細胞プロセスです。境界は 2 つの短い配列モチーフによって定義されます：ドナーサイト（イントロンの開始部、通常は GT）はイントロンの 5′末端にあり、アクセプターサイト（イントロンの終了部、通常は AG）は 3′末端にあります。 生データからこれらの部位を同定することは、単にジヌクレオチドモチーフをマッチングするよりも困難です。同じ GT/AG パターンはゲノム全体に出現しますが、機能的なスプライスサイトとなるのはごく一部だけです。有用な予測モデルは、候補位置周辺のより長距離の文脈を学習する必要があります。 私たちは [Nucleotide Transformer downstream-tasks](https://huggingface.co/datasets/InstaDeepAI/nucleotide_transformer_downstream_tasks_revised) データセットから splice_sites_all タスクを使用しました。各例は固定長の 600 bp の DNA ウィンドウであり、ラベルは中央位置を記述する 3 つのクラス（スプライスなし、アクセプター、ドナー）のいずれかです。ベンチマークには約 3 万件のトレーニングデータと約 3 千件のテストデータが含まれており、ほぼクラスバランスが取れています。 モデルレベルでは、これはシーケンス分類問題です：入力シーケンスごとに単一のラベルを付与するものであり、PSSP のようなトークンごとのラベルとは対照的です。 ## BioNeMo Recipes における Evo2 と LoRA の併用 チームは、平均プーリングされた隠れ状態の上に小さなシーケンス分類ヘッドを追加するために Megatron Hyena モデルをサブクラス化し、Evo2-1B をスプライスサイト分類のためにファインチューニングしました。その後、バックボーンのアテンション、MLP（多層パーセプトロン）、および Hyena-mixer 投影に対して LoRA アダプターが訓練されました。事前学習済みバックボーンの重みは凍結されたまま保たれ、LoRA アダプターと分類ヘッドのみが訓練されました。 LoRA の貢献を文脈の中で理解するために、同じデータで 2 つの構成を訓練し比較しました： - ヘッドのみベースライン：バックボーンは凍結、アダプターなし、分類ヘッドのみが学習可能。学習可能なパラメータ総数：約 370 万（モデル全体の 0.33%） - LoRA 追加ヘッド：バックボーンは凍結、指定されたターゲットモジュールに LoRA アダプターを適用し、分類ヘッドは学習可能。学習可能なパラメータ総数：約 1600 万（モデル全体の 1.42%） 表 2 は、保留された 3,000 の例に対するテスト精度を示しています。 **モード****学習可能なパラメータ****学習可能割合****テスト精度** ヘッドのみ3,697,9230.33 %52.3 % LoRA 追加ヘッド15,985,9231.42 %96.6 % *表 2. ヘッドのみの場合と LoRA アダプター適用後の Evo2-1B モデルにおける学習可能パラメータ数とスプライスサイト分類精度の比較* 差は大きいです。学習可能なパラメータが約 1% のみであっても、LoRA は事前学習済み Evo2 バックボーンが保持するスプライシングに関するシグナルのほぼすべてを回復します。一方、プーリングのみでは全く不十分です。LoRA モデルにおける残差誤差の大部分はドナー↔アクセプター方向に集中しています。これは予想される結果で、両方のモチーフが GT/AG 二塩基配列構造を共有しており、曖昧さを解消するために長距離コンテキストが必要となるためです。 全体のワークフローは、単一の RTX 6000 Workstation Edition で約 1 時間でエンドツーエンドに実行されます。 以下のスニペットは ESM2 の例と同様のスタイルで記述されています：Evo2 バックボーンを読み込み、Hyena Model サブクラスを通じて分類ヘッドを接続し、アテンション、MLP（多層パーセプトロン）、および Hyena-mixer 投影に LoRA アダプターを設定します。 from bionemo.evo2.models.evo2_lora import Evo2LoRA from evo2_classifier import ( Hyena1bClassifierProvider, HyenaForSequenceClassification, ) model_provider = Hyena1bClassifierProvider( num_classes=3, classifier_dropout=0.1, pool="mean", ) peft = Evo2LoRA( target_modules=[ "linear_qkv", "linear_proj", "linear_fc1", "linear_fc2", "dense_projection", "dense", ], dim=16, alpha=32, dropout=0.1, skip_freeze_modules=["*classification_head*"], ) The Megatron-Bridge pretrain entry point handles the distributed training, optimizer, scheduler, checkpointing, dataloading, and logging. To launch a fine-tuning run end-to-end, the recipe exposes a CLI: torchrun --nproc_per_node=1 evo2_classifier.py \ --train-jsonl splice_train.jsonl \ --val-jsonl splice_val.jsonl \ --test-jsonl splice_test.jsonl \ --base-ckpt-dir evo2_1b_bf16_mbridge \ --result-dir splice_run \ --experiment-name lora_finetune \ --num-classes 3 \ --seq-length-tokens 600 \ --train-iters 1000 \ --global-batch-size 32 --micro-batch-size 32 \ --lr 5e-4 --min-lr 5e-5 --warmup-iters 30 \ --lora-finetune --lora-dim 16 --lora-alpha 32 --lora-dropout 0.1 Swap --lora-finetune and increase the batch size to reproduce the head-only baseline. Data, optimizer, scheduler, and evaluation stay the same. 完全なトレーニングループ、データセットコード、パラメータの計算、および評価ユーティリティについては、[Evo2 LoRA 微調整ノートブック](https://github.com/NVIDIA-BioNeMo/bionemo-framework/tree/main/bionemo-recipes/recipes/evo2_megatron/examples) を参照してください。 ## 生物学的基盤モデルの微調整を始める ESM2 を用いたタンパク質と Evo2 を用いた DNA という、非常に異なる 2 つの生物学的モダリティにわたって、同じパラメータ効率的なレシピを使用できます。事前学習済みバックボーンを凍結し、小さな LoRA アダプタ（Low-Rank Adaptation）とタスク固有のヘッドのみをトレーニングすることで、単一のワークステーション GPU 上で、フル微調整や専用モデルに匹敵する精度を回復することが可能です。 ESM2-3B の場合、LoRA を用いることで PSSP パフォーマンスが強力な公開ベースラインである Porter 6 や SPOT-1D-LM と同程度の範囲に達し、TE および THD シーケンスパッキング（シーケンスの結合）により、単一の [NVIDIA RTX 6000 Blackwell Workstation Edition](https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/) GPU 上でのトレーニングが現実的なものとなります。Evo2-1B の場合、同じアプローチにより、凍結バックボーンベースラインの約 52% からテスト精度を約 97% に引き上げながら、パラメータのわずか約 1.4% だけをトレーニングします。 数十億パラメータの生物基盤モデルも、周囲のトレーニングスタック（TE、Megatron-Bridge、パケット化されたシーケンス、PEFT）が適切に統合されていれば、限られたハードウェア上で適応可能となっています。NVIDIA の [BioNeMo Recipes](https://github.com/NVIDIA/bionemo-framework/tree/main/bionemo-recipes) は、この統合を例外ではなくデフォルトとして実現するために設計されています。 LoRA、TE、スケーラブルな PyTorch ワークフローを用いて生物基盤モデルのファインチューニングを開始するには、[NVIDIA BioNeMo Recipes](https://docs.nvidia.com/bionemo-framework/latest/main/recipes/index.html) をご覧ください。

NVIDIA BioNeMoレシピを用いたLoRAによる生物学的基盤モデルのファインチューニング

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト