AWS、NVIDIA MPSでEC2上のASR推論コストを75%削減

記事の3ポイント

1. 1

   GPU 利用効率の課題と解決策

   従来の CUDA のデフォルト動作では ASR 推論時に GPU の約 80% がアイドル状態となるが、NVIDIA MPS を導入することで並列実行が可能になり、利用率を劇的に向上させる。

2. 2

   インフラ要件の劇的削減

   Heidi Health の実証では、GPU インスタンス数を 16 から 4 に減らすことに成功し、推論コストが 75% 削減された。

3. 3

   性能とレイテンシの維持

   リソース削減後も、各 GPU あたり 92.1 RPS の処理能力を維持しつつ、サブ秒レベル（平均 650ms 未満）の低遅延要件を満たしている。