Databricks、AI Runtime で高速・耐障害性の PyTorch 学習を実現

記事の3ポイント

1. 1

   スケールにおける故障の必然性

   GPU の数が増えるほどジョブが中断される確率は急激に上昇し、1024 GPU で 30 日間の実行では 57% の確率で障害が発生する。

2. 2

   Goodput が効率を決定づける

   大規模環境でのトレーニング効率は、GPU が計算に費やす時間の割合である「goodput」によって決まり、故障回復の速さがこれを左右する。

3. 3

   2 つの決定的なサブシステム

   アクセラレータを供給するデータパイプラインと、状態のスナップショットを作成するチェックポイント機構が、障害時のコストと好条件時の効率を支配する。