NVIDIA Dynamo、LLM エンジン障害時の高速回復機能をプレビュー

記事の3ポイント

1. 1

   Shadow Engine Recovery の仕組み

   NVIDIA Dynamo は、アクティブなエンジンと同じ GPU に完全に初期化されたシャドウエンジンを常時待機させ、GPU Memory Service を経由して重みを共有することで、障害発生時に数秒で切り替えを可能にする。

2. 2

   パフォーマンスの劇的改善

   GLM-5.2 デプロイメントでのテストでは、従来の冷間起動による 283 秒のダウンタイムに対し、シャドウエンジン採用により 7.3 秒で復旧し、約 39 倍の速度向上を実現した。

3. 3

   バックグラウンドでの再初期化

   障害発生後のシャドウエンジンの再初期化は、サービス提供経路（serving path）から完全に外れた背景で実行されるため、稼働中のトラフィックへの影響を最小限に抑える。