推論における 99.9% の稼働率の意味

記事の3ポイント

1. 1

   信頼性レベルと障害ドメインの対応関係

   99% はノードレベルの故障（GPU ハードウェアやドライバクラッシュ）に耐えることを意味し、99.9% はデータセンター全体の障害への耐性を、99.99% は地域全体のアウトページを想定した設計をそれぞれ要求する。

2. 2

   推論インフラ特有の複雑な障害モード

   CPU インフラとは異なり、GPU 推論では VRAM の ECC エラーやサーマルスロットリングなど多様なハードウェア故障モードが存在し、高性能化のために設計されたシステムでは信頼性向上が指数関数的に困難になる。

3. 3

   層別化された障害の連鎖と影響

   計算、ネットワーク、ストレージ、ソフトウェアの各層で発生する障害は単独ではなく連鎖し、例えばストレージの一時的な不具合が容量問題として表面化したり、熱イベントが出力品質の低下として現れたりする。