パルス：Cloudflareの最新障害がグローバル設定変更の危険性を再証明

こんにちは、プラグマティック・エンジニア・ニュースレターのボーナス無料号をお届けするゲルゲリーです。毎号、シニアエンジニアとエンジニアリングリーダーの視点を通じて、ビッグテックとスタートアップをカバーしています。今日は、先週の「ザ・パルス」号の4つのトピックのうちの1つを取り上げます。フル購読者は、以下の記事を7日前に受け取りました。このメールが転送されてきた方は、こちらから購読できます。 Cloudflareが大規模な障害を起こしてインターネットの半分をダウンさせてからわずか2週間後、同じことが再び起こりました。先週金曜日、12月5日、数千のサイトが再び完全または部分的にダウンし、Cloudflareのグローバル障害は25分間続きました。 前回同様、Cloudflareは同日中に完全な事後分析を迅速に共有しました。CloudflareのHTTPトラフィックの28%が影響を受けたと推定されています。この最新の障害の原因は、Cloudflareが一見無害に見える——しかしグローバルな——設定変更を行い、それが元に戻されるまで、世界的にCloudflareの大部分を停止させてしまったことでした。以下が起こったことです： Cloudflareは、厄介なReactのセキュリティ脆弱性に対する修正を展開中だった その修正が内部テストツールにエラーを引き起こした Cloudflareチームはグローバルな緊急停止スイッチでそのテストツールを無効にした このグローバル設定変更が行われた際、緊急停止スイッチが予期せずバグを引き起こし、Cloudflareネットワーク全体でHTTP 500エラーが発生した この最新の障害で、Cloudflareはまたしてもグローバル設定変更によって痛い目を見ました。11月の前回の障害は、グローバルなデータベース権限変更が原因で発生しました。その事故の事後分析で、Cloudflareチームは次のアクション項目で締めくくっていました： 「ユーザー生成入力に対して行うのと同じ方法で、Cloudflareが生成する設定ファイルの取り込みを強化する」 この変更により、Cloudflareの設定ファイルは、現在のように即座にネットワーク全体に伝播しなくなるはずでした。しかし、すべてのグローバル設定ファイルに段階的なロールアウトを導入するのは大規模な実装作業であり、数ヶ月かかる可能性があります。明らかに、それを実装する時間はまだなく、それがCloudflareを再び苦しめる結果となりました。 Cloudflareにとって残念なことに、顧客は、わずか数週間前の前回の障害と類似した原因による2度目の障害を、おそらく受け入れがたいと感じるでしょう。Cloudflareが信頼できないことが証明されれば、顧客は少なくともバックアップCDNへのオンボーディングを計画すべきであり、バックアップCDNベンダーは新規顧客に自社をプライマリCDNとして利用するよう最善を尽くして説得するでしょう。 Cloudflareの付加価値は、顧客がバックアップCDNの予算を組む必要なく、堅牢な信頼性にあります。確かに、障害発生当日に事後分析を公開することは信頼回復に役立ちますが、大規模な障害が繰り返されれば、それは結局崩れてしまうでしょう。 公平を期すと、同社は段階的な設定ロールアウトの実装に力を入れています。事後分析で、Cloudflareは自らを最も厳しく批判しています。CTOのデイン・ネクトは次のように述べています： 「【グローバル設定変更がグローバルに展開されること】は、組織全体における最優先事項であり続けています。特に、以下に概説するプロジェクトは、この種の変更の影響を封じ込めるのに役立つはずです： 強化されたロールアウトとバージョニング：厳格な健全性検証を伴ってソフトウェアをゆっくりとデプロイする方法と同様に、迅速な脅威対応や一般的な設定に使用されるデータにも、同じ安全性と影響緩和機能が必要です。これには、健全性検証や迅速なロールバック機能などが含まれます。 合理化された非常用操作機能：追加の種類の障害が発生した場合でも、重要な操作を達成できることを保証します。これは内部サービスだけでなく、すべてのCloudflare顧客が使用するCloudflareコントロールプレーンとのすべての標準的な対話方法にも適用されます。 「フェイルオープン」エラー処理：レジリエンス努力の一環として、すべての重要なCloudflareデータプレーンコンポーネント全体に誤って適用されているハードフェイルロジックを置き換えています。設定ファイルが破損しているか、範囲外（例：機能上限を超える）の場合、システムはエラーを記録し、既知の正常な状態にデフォルト設定するか、スコアリングなしでトラフィックを通過させ、リクエストを破棄しません。一部のサービスでは、特定のシナリオで顧客にフェイルオープンまたはフェイルクローズのオプションを提供する予定です。これには、これが継続的に実施されることを保証するためのドリフト防止機能も含まれます。この種のインシデント、そしてそれらがどれだけ密集して発生するかは、当社のようなネットワークにとって許容できるものではありません」。 グローバル設定エラーは、しばしば大規模な障害を引き起こす 暗黙的または明示的なグローバル設定エラーが大規模な障害を引き起こすパターンがあり、近年の最大級の障害のいくつかは、単一の変更がマシンのネットワーク全体に展開されたことによって引き起こされました： DNSおよびBGPのようなDNS関連システム：DNS変更はデフォルトでグローバルであるため、DNS変更がグローバルな障害を引き起こすのは当然です。Metaの2021年の7時間に及ぶ障害は、DNS変更（より具体的には、ボーダーゲートウェイプロトコル変更）に関連していました。一方、10月のAWSの障害は、内部DNSシステムから始まりました。 OS更新が世界的に同時に発生すること：Datadogの2023年の障害は同社に500万ドルの損失をもたらし、DatadogのUbuntuマシンが世界的に同じ時間枠内でOS更新を実行したことが原因でした。それはネットワーキングに問題を引き起こし、Datadogが3つの異なるネットワークにまたがる3つの異なるクラウドプロバイダーでインフラを運用していたことは事態を改善しませんでした。同種のUbuntu更新は、2024年にHerokuのグローバル障害も引き起こしました。 設定をグローバルに複製すること：2024年、設定ポリシー変更がグローバルに展開され、すべてのSpannerデータベースノードを即座にクラッシュさせました。Googleが事後分析で結論付けたように：「クォータ管理のグローバルな性質を考えると、このメタデータは数秒以内にグローバルに複製されました」。 すべての設定ファイルに段階的なロールアウトを実装するのは多くの作業です。また、目に見えない労力でもあります。なぜなら、うまくいけば、より良いインフラのおかげで、インシデントが発生しないことを除いて、その恩恵は検知できないからです！ 世界最大のシステムは、おそらく設定を展開するより安全な方法を実装しなければならないでしょう——しかし、誰もがそうする必要はありません。段階的な設定ロールアウトは、小規模な企業や製品にとってはあまり意味がありません。なぜなら、このインフラ作業は製品開発を遅らせるからです。 それは単に構築を遅らせるだけでなく、すべてのデプロイメントも遅らせ、この摩擦はすべてをより遅くするように設計されています。そのため、成熟したシステムの安定性が迅速な反復よりも重要でない限り、あまり意味がありません。 ソフトウェアエンジニアリングは、トレードオフが日常茶飯事であり、普遍的な解決策が存在しない分野です。1年前の負荷とユーザー数の1/100のシステムでうまくいった開発方法が、今日では意味をなさないかもしれません。 これは、今週の「ザ・パルス」でカバーされた4つのトピックのうちの1つでした。完全版ではさらに以下をカバーしています： 業界の動向。AWSでの不十分なキャパシティ計画、Metaが「クローズドAI」アプローチに移行、迫り来るRAM不足、初期段階スタートアップの採用が以前より遅い、AmazonとMetaで60万ドルを稼ぐのにどれくらいかかるか、Appleが幹部をMetaに奪われる、など OxideのエンジニアリングチームがLLMをどのように使用しているか。彼らは、LLMはドキュメントの読み取りや軽量な調査には優れているが、コーディングやコードレビューには賛否両論、そしてドキュメント作成——あるいはあらゆる種類の文章作成——には不向きだと感じている！ Linuxカーネルが公式にRustをサポート。Linux FoundationフェローがRustへのさらなるサポートを予測してから8ヶ月後、RustはLinuxカーネル内で第一級の言語になりました。LinuxへのRustサポートの長所と短所のまとめ 完全な「ザ・パルス」号をお読みください。 このような記事をメールボックスで受け取るには、私の週刊ニュースレターを購読してください。かなり良い読み物です——そしてSubstackで第1位のテックニュースレターです。 ![ステップ2 – GCP全体で設定ファイルをグローバルに複製すること – が2024年にグローバルな障害を引き起こした](https://blog.pragmaticengineer.com/content/images/2025/12/image.png)

パルス：Cloudflareの最新障害がグローバル設定変更の危険性を再証明

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト