Amazon EC2上でのNVIDIA Nemotron Speech ASRのドメイン適応のためのファインチューニング

*この投稿は、AWS、NVIDIA、および [Heidi](https://heidihealth.com.au/) による共同制作です。* 自動音声認識（ASR）、通称音声テキスト変換（STT）は、ヘルスケア、カスタマーサービス、メディア制作など、さまざまな業界においてますます重要な役割を果たしています。事前学習済みモデルは一般的な音声処理に強力な能力を発揮しますが、特定のドメインやユースケース向けにファインチューニングを施すことで、精度とパフォーマンスをさらに向上させることができます。 本稿では、リーダーボード首位の NVIDIA Nemotron Speech 自動音声認識（ASR）モデルである [Parakeet TDT 0.6B V2](https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2) のファインチューニング方法について探ります。合成音声データを用いて専門的なアプリケーション向けに優れた文字起こし結果を実現するため、AWS インフラストラクチャと以下の人気オープンソースフレームワークを組み合わせたエンドツーエンドのワークフローを順を追って解説します： - Amazon Elastic Compute Cloud (Amazon EC2) の GPU インスタンス（NVIDIA A100 GPU を搭載した p4d.24xlarge）を用いた、大規模な分散トレーニング - ASR モデルのファインチューニングと最適化のための NVIDIA NeMo フレームワーク - 複数のノードにわたるメモリ効率の高い分散トレーニングを実現する DeepSpeed - 包括的な実験追跡のための MLflow と TensorBoard - スケーラブルなモデル推論サービスを提供するための Amazon Elastic Kubernetes Services (Amazon EKS) - 高性能なモデル重み（ウェイト）の保存のための Amazon FSx for Lustre - 本番環境レベルの API 管理と観測性を実現する AI Gateway と Langfuse - トレーニングから推論まで一貫性があり再現可能な環境を構築するための Docker このアーキテクチャは、AWS のマネージドサービスと最高水準のオープンソース AI ツールを組み合わせて、初期のファインチューニングから弾力的で観測可能なデプロイに至るまで、測定可能なビジネス価値をもたらす本番対応型のドメイン適応型 ASR システムを構築する方法を示しています。 ## ソリューション概要：ヘイディ AI ケアパートナー [Heidi](https://www.heidihealth.com/en-au) は、ケアの周回業務（ドキュメント作成、臨床エビデンスの整理、患者とのコミュニケーション対応など）を代行する AI ケアパートナーです。これにより、医療従事者は患者に集中できます。同プラットフォームは週に 240 万件以上の診療相談を、190 カ国・110 の言語でサポートしています。救急外来、一般診療科、専門クリニックなどで活用されており、ヘイディは臨床記録の精度と完全性を維持しつつ、医療従事者が毎日数時間を取り戻す手助けをしています。 標準搭載の音声認識（ASR: Automatic Speech Recognition）モデルは、医学用語、地域特有のアクセント、および臨床用語と会話語との間のコードスイッチング（言語の切り替え）に対して苦戦します。これらの制限により、誤記や文脈の欠落が生じ、認知負荷が増大します。その結果、本来時間を節約すべき医療従事者が、誤りの修正に時間を割かざるを得なくなります。医療従事者にとって正確な記録は単なる利便性ではなく、臨床安全の確保、法的責任からの保護、そしてツールへの信頼を意味します。誤りを含むメモはこれら三つの要素すべてを損なうことになります。 これに対処するため、Heidi は [AWS Generative AI Innovation Center (GenAIIC)](https://aws.amazon.com/ai/generative-ai/innovation-center/) と協力し、モデルを微調整して、現実世界の臨床環境特有の言語的・音響的・文脈的なニュアンスに適応させました。これにより、大規模な展開においても正確で信頼性の高いパフォーマンスが可能になりました。テキストから音声への変換（TTS）モデルにおける最近の進展を活用し、Heidi は大規模言語モデル（LLM）を用いてシミュレーションされた会話からの現実世界のノイズを織り交ぜた高品質な多言語合成音声を生成しました。このアプローチにより、チームは患者のプライバシーを損なうことなく、幅広いアクセントや医療文脈にわたってトレーニングをスケールさせることができました。合成データを使用することで、オープンデータセットで不足している低リソース言語や稀な医療用語に焦点を当てた標的型拡張も可能になりました。 微調整は、深層学習ワークロード向けに最適化された [Amazon EC2](https://aws.amazon.com/ec2/) GPU インスタンスを使用して実施されました。事前設定済みの [AWS Deep Learning AMIs](https://aws.amazon.com/ai/machine-learning/amis/) を使用することで、チームはパフォーマンスとセキュリティを維持しながら、実験とモデルの反復を加速させることができました。スケーラブルなコンピューティング能力と密接に統合された AWS サービスの組み合わせにより、厳格な規制環境内でも迅速かつ費用対効果の高い開発が可能になりました。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/03/06/model-training-and-inference-1.png) *図 1：この図は、AWS サービス上で NVIDIA Parakeet TDT 0.6B V2 モデルをファインチューニングしてデプロイする様子を示したダイアグラムです。* ## ドメイン固有データの合成 [NVIDIA Parakeet TDT 0.6B V2](https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2) の医療専門用語における性能を向上させるため、大規模言語モデル（LLM）、ニューラルテキスト音声合成（TTS）合成、およびノイズ拡張を組み合わせたターゲット型の合成データ生成パイプラインを開発しました。このプロセスはまず、過去の評価ランで再現率が低かった薬品名、解剖学的実体、手順に関するフレーズなどからなる医療用語の辞書を作成することから始まります。これらの用語は、ドメイン適応型 LLM に対する条件入力として使用され、現実世界の臨床での口述筆記に似た意味的に整合性があり文脈的に多様な転写テキストを生成します。プロンプトは、医療音声で頻繁に観察される多様な言語構造や自然なコードスイッチングパターンを引き出すように設計されています。例えば、略語、ラテン語由来の単語、および口語的な表現を混在させるようなものです。 生成されたトランスクリプトは後で、特定のアクセントと自然なプロソディ（韻律）に設定されたニューラル TTS システムを使用して音声に変換されました。データの多様性とリアリズムを高めるため、多段階のオーディオ拡張パイプラインを採用しました。これには、オープンな音響データセットからサンプリングした背景会話、機械のアラーム、病院や診療所の環境音などの、病院や診療所の環境ノイズ録音をオーバーレイする作業が含まれます。また、現実世界のマイクや環境条件をシミュレートするために、ランダムなゲイン調整、リバーブフィルター、加算ガウスノイズといった制御された摂動も適用しました。各合成発話には、明瞭さと真正性のバランスを取るため、10〜25 dB の間でランダムに割り当てられた信号対雑音比（SNR）が設定されました。 ## NVIDIA Parakeet TDT 0.6B V2 モデルの紹介 [NVIDIA Parakeet TDT 0.6B V2](https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2) は、高品質な英語トランスクリプションのために設計された、6 億パラメータの自動音声認識（ASR）モデルです。[NVIDIA NeMo の FastConformer](https://github.com/NVIDIA-NeMo/NeMo) アーキテクチャを基盤とし、トークンと持続時間トランシーダ（TDT: Token-and-Duration Transducer）デコーダーを搭載しています。このモデルは、優れた音声認識機能を提供するだけでなく、以下のような貴重な特徴も備えています： - 自動句読点付与と大文字化 - 単語レベルのタイムスタンプ予測 - 発話される数字や歌詞に対する堅牢な性能 - 1 回のパスで最大 24 分までの音声セグメントをサポート このオープンモデルは、Hugging Face Open-ASR [リーダーボード](https://huggingface.co/spaces/hf-audio/open_asr_leaderboard) の各種ベンチマークデータセット全体で平均単語誤り率 (WER: Word Error Rate) が 6.05% という驚異的な結果を達成しており、汎用的な英語音声認識におけるその有効性を示しています。 ## なぜモデルのファインチューニングを行うのか？ 優れた初期性能を備えているにもかかわらず、[NVIDIA Parakeet TDT 0.6B V2](https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2) モデルを特定のドメイン向けにファインチューニングすることには、いくつかの compelling な利点があります: - ドメイン固有の用語 – 一般的なトレーニングデータセットでは稀な場合がある専門用語や業界用語の認識精度向上 - アクセントと方言への適応 – 特定地域の発話パターンや言語的変容に対する性能の改善 - ノイズ耐性 – ドメイン固有の背景雑音や音響環境へのより優れた対応 - コスト効率 – 独自の最適化モデルにより、高価なサードパーティ製 API 呼び出しの必要性を低減 - カスタマイズされた最適化 – 特定のアプリケーション要件に合わせて、精度と推論速度のバランスを調整 ## モデルアーキテクチャ [NVIDIA Parakeet TDT 0.6B V2](https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2) モデルは、トークンと持続時間トランスデューサ（Token-and-Duration Transducer: TDT）アーキテクチャを採用しており、以下の主要コンポーネントで構成されています： ## エンコーダーアーキテクチャ エンコーダーは、複数の処理段階を通じて入力音声特徴を文脈表現へ変換します： - Conformer Encoder（Conformer エンコーダー）: 隠れ次元数 1024 の 24 レイヤーからなる Conformer レイヤー - 畳み込みサブサンプリング（Convolutional Subsampling）: 4 つの畳み込み層による初期特徴抽出 - 段階的なダウンサンプリングのためのストライド 2 の 3×3 コンボリューション - 畳み込みスタック全体を通じてチャネル次元を 256 に維持 - 位置エンコーディング（Positional Encoding）: ドロップアウト率 0.1 を伴う相対位置エンコーディング ## Conformer レイヤー 各 Conformer レイヤーは以下の要素を含みます： - フィードフォワードモジュール（Feed Forward Modules）: 内部次元数 4096 の 2 つの FFN ブロック - 畳み込みモジュール（Convolutional Module）: 因果パディング、バッチ正規化、Swish 活性化関数を備えた 9×1 深層畳み込み - マルチヘッドアテンション（Multi-Head Attention）: 相対位置エンコーディングを伴う自己注意機構 - 正規化（Normalization）: コンポーネント間のレイヤー正規化 - ドロップアウト（Dropout）: 正則化のためのドロップアウト率 0.1 ## デコーダーおよびジョイントネットワーク デコーダーとジョイントネットワークは、エンコーダーの出力と予測トークンを組み合わせて最終的な文字起こしを生成します： RNN デコーダー（RNN Decoder）: - エンベディング層（Embedding layer）: 語彙サイズ 1025、埋め込み次元数 640 - 2 レイヤー LSTM: 隠れユニット数 640、ドロップアウト率 0.2 ジョイントネットワーク（Joint Network）: - エンコーダーとデコーダーのための線形変換 - 0.2 のドロップアウトを伴う ReLU アクティベーション - 1030 次元への出力投影 ## オーディオ処理と損失関数 モデルは、転写精度の最適化を支援するために、専用の前処理とトレーニング目的を採用しています: - Mel スペクトログラム前処理：生オーディオをメルスケールスペクトログラムに変換します - スペクトル拡張：堅牢性を高めるための時間および周波数マスキング - TDT 損失 (Token-and-Duration Transducer loss)：トークンとその持続時間の同時予測のための Token-and-Duration Transducer 損失 - Word Error Rate (WER): 転写品質の主要な評価指標 ## 微調整用の環境設定 当社の微調整アプローチは、Amazon EC2 インスタンス上での分散トレーニングを活用しており、[Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html) への展開への道筋も用意されています。一貫性と再現性を促進するため、この環境は Docker コンテナにカプセル化されています。 ## Docker ベースの環境設定 Docker コンテナには、以下のコードスニペットに示すように微調整に必要な依存関係が含まれています。完全なファイルは、関連する GitHub リポジトリ [こちら](https://github.com/aws-samples/genai-ml-platform-examples/tree/main/infrastructure/nvidia-parakeet-model-fine-tuning) でアクセスできます: FROM nvcr.io/nvidia/pytorch:24.01-py3 ENV DEBIAN_FRONTEND=noninteractive ENV TZ=UTC # 作業ディレクトリを設定する WORKDIR /app # システム依存関係のインストール RUN apt-get update && apt-get install -y \ libsox-fmt-mp3 \ gnupg \ && rm -rf /var/lib/apt/lists/* # Cython のインストール（NeMo に必要） RUN pip install Cython # pytorch-lightning リポジトリの指定されたブランチをクローンしてインストール RUN git clone -b bug_fix https://github.com/athitten/pytorch-lightning.git && \ cd pytorch-lightning && \ PACKAGE_NAME=pytorch pip install -e . # 最適化用の TransformerEngine のインストール RUN git clone https://github.com/NVIDIA/TransformerEngine.git && \ cd TransformerEngine && \ git fetch origin 8c9abbb80dba196f086b8b602a7cf1bce0040a6a && \ git checkout FETCH_HEAD && \ git submodule init && git submodule update && このコンテナは以下の機能を提供します: - NVIDIA 最適化版の PyTorch コンテナをベースイメージとして採用 - ASR モデル処理用の NeMo フレームワーク（NeMo） - 効率的な分散学習のための DeepSpeed - 実験追跡用の MLflow および TensorBoard ## リソース要件 効率的なファインチューニングのため、以下を推奨します: - EC2 インスタンスタイプ：p4d.24xlarge（1 インスタンスあたり 8 基の NVIDIA A100 GPU） – A100 GPU は、GPU あたり 80GB の高帯域幅メモリを搭載しており、Parakeet TDT 0.6B V2 モデルの 6 億パラメータを大きなバッチサイズで処理するために不可欠です。A100 のテンソルコアは混合精度トレーニング（mixed-precision training）を加速し、前世代の GPU に比べてトレーニング時間を短縮します。なお、より要求の高い要件に対応するため、P5 など、より新しくて高性能な EC2 インスタンスも利用可能です。 - クラスターサイズ：フルスケールのトレーニングには 8 ノード（GPU 合計 64 基） – 複数のノードにわたる分散トレーニング（distributed training）により、並列化を通じて大きなバッチサイズと高速な収束が可能となり、大規模なオーディオデータセットでの効率的なトレーニングがサポートされます。64 基の GPU を使用すれば、100 時間以上のオーディオを含む広範なデータセットを数日ではなく数時間でトレーニングでき、生産ラインのスケジュールに合わせて迅速な実験が行えます。 - ストレージ：モデルのチェックポイントとデータ用に、ノードあたり最低 500GB。この容量は、頻繁なチェックポイントの保存、トレーニング途中の状態の保持、および前処理済みオーディオ特徴のローカルキャッシュに対応できます。十分なストレージ容量を確保することで、トレーニング中に高価な GPU リソースがアイドル状態になることを防ぐ I/O ボトルネックを回避できます。 小規模なデータセットや予算制約がある場合は、トレーニングはノード数や g6e.2xlarge などの GPU インスタンス数を減らしてスケーリングダウンすることも可能です。 **ファインチューニングのためのデータ準備** [Parakeet TDT 0.6B V2](https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2) モデルを使用するには、NeMo の JSONL マニフェスト形式で音声データと対応する文字起こし（トランスクリプト）が必要です。これらのファイルの各行は、合成された音声ファイルと、その音声が合成された元のテキストを示しています。 { "audio_filepath": "/path/to/audio.wav", "duration": 5.2, "text": "句読点と大文字を含む文字起こし。" } ## トレーニング用マニフェストの作成 当社のファインチューニング手法では、3 つの別々のマニフェストファイルを使用します： - トレーニング用マニフェスト：モデル学習用のデータの大部分を含みます - 検証用マニフェスト：トレーニング中のモデル性能を評価するために使用されます - テスト用マニフェスト：ファインチューニング後のモデルの最終評価に使用されます データセットには、パフォーマンス向上のために、対象ドメインに関連する多様な話者、アクセント、音響条件が含まれていることが理想的です。 ## ファインチューニング設定の詳細解説 当社のファインチューニング設定は包括的であり、Parakeet TDT 0.6B V2 モデル向けに慎重に調整されています： ## モデル構成 この構成では、17 の Conformer ブロック（Conformer blocks）を持つ Parakeet TDT 0.6B V2 アーキテクチャを指定しています： model: sample_rate: 16000 normalize_text: true symbols_to_keep: ["'"] encoder: _target_: nemo.collections.asr.modules.ConformerEncoder feat_in: ${model.preprocessor.features} n_layers: 17 d_model: 512 subsampling: dw_striding subsampling_factor: 8 subsampling_conv_channels: 256 ## トークンと持続時間トランスデューサ (TDT) の設定 TDT アーキテクチャは、トークンの発話タイミングを予測するために特定の持続時間値で構成されています: model: model_defaults: tdt_durations: [0, 1, 2, 3, 4] num_tdt_durations: 5 loss: loss_name: "tdt" tdt_kwargs: durations: \${model.max_duration} sigma: 0.02 omega: 0.1 ## オーディオ前処理 オーディオ前処理は、最適な特徴抽出のために構成されています: preprocessor: _target_: nemo.collections.asr.modules.AudioToMelSpectrogramPreprocessor sample_rate: \${model.sample_rate} normalize: "per_feature" window_size: 0.025 window_stride: 0.01 features: 128 n_fft: 512 dither: 0.00001 ## データ拡張 モデルの堅牢性を向上させるため、スペクトログラム拡張などの複数の拡張技法が適用されます: train_ds: augmentor: speed: prob: 0.4 min_speed_rate: 0.9 max_speed_rate: 1.1 spec_augment: _target_: nemo.collections.asr.modules.SpectrogramAugmentation freq_masks: 2 time_masks: 10 freq_width: 27 time_width: 0.05 ノイズ拡張やシフト摂動などの追加の拡張戦略も、設定ファイル内のコメント付きオプションとして利用可能です。 ## 分散トレーニング戦略 トレーニングは、複数の GPU およびノードにわたる効率的な分散のために構成されています: trainer: devices: 8 num_nodes: 8 strategy: _target_: "lightning.pytorch.strategies.DeepSpeedStrategy" stage: 2 offload_optimizer: true partition_activations: true gradient_as_bucket_view: true cpu_checkpointing: true contiguous_gradients: true overlap_comm: true この DeepSpeed 設定は、GPU 間のメモリ使用量と通信を最適化し、最大限のトレーニング効率を実現します。 ## フィンチューニングプロセスの実装 私たちの実装では、専用の ASRTrainer クラスを用いたモジュラーアプローチを採用しています: ## モデルの初期化と凍結解除 def get_base_model(self, trainer): """設定に基づいてトレーニング開始用のベースモデルを取得する。""" pretrained_name = self.config.init_from_pretrained_model # マルチ GPU 環境での効率的なダウンロード処理 num_ranks = trainer.num_devices * trainer.num_nodes if num_ranks > 1 and is_global_rank_zero(): logging.info(f"メインプロセスで事前学習済みモデル '{pretrained_name}' をダウンロード中") asr_model = ASRModel.from_pretrained(model_name=pretrained_name) else: # メインプロセスでのモデルダウンロード完了を待機 wait_time = 1 if is_global_rank_zero() else 60 logging.info(f"モデルのダウンロード完了まで {wait_time}秒待機") time.sleep(wait_time) asr_model = ASRModel.from_pretrained(model_name=pretrained_name) asr_model.to(f"cuda:{int(os.environ.get('LOCAL_RANK', 0))}")

Amazon EC2上でのNVIDIA Nemotron Speech ASRのドメイン適応のためのファインチューニング

背景や根拠まで確認しますか？

調べる

選ぶ

サイト