AWS データセンターネットワークにおける「フラット構造」が「ファットツリー」を代替する理由

今日のデータセンターにおけるルーティングは通常、「ファットツリー」と呼ばれるデータ構造によって支配されています。これは企業の組織図に似ており、各層のノードが下の層にある複数のノードと接続しています。ここでは、最下層のノードは互いにメッセージを送信したいルーターを表し、その上の層にはルーティング手順を簡素化する追加のルーターが含まれています。ある最下層のルーターから送信されたメッセージは、宛先ルーターにつながる枝に到達するまでツリーを上り、その後下ります。この設計は実装が容易ですが非効率的です：追加のルーター層がオーバーヘッドを加え、ツリーの頂点にあるルーターは輻輳を起こしやすいのです。ファットツリー構造も脆弱で、単一のルーターが失われるとツリーの広範囲が分断されてしまいます。理論上、最良の代替案は「フラット」ネットワークであり、ここではルーター同士が直接接続されます。理想的には、経路の多様性を最大化するためにルーターをランダムに接続すべきです。しかし、これは非現実的です。なぜなら、ランダムなネットワーク内でのアドホックパスの計算は計算集約的であり、ルーターをランダムに接続するとデータセンターがケーブルで交差する状態になるからです。最近 arXiv に投稿した論文で、私たちは世界初のスケーラブルなフラットネットワーク型データセンターについて記述しました。ランダム接続の多くの利点を保持しつつ、実用的なフラットネットワークの配線を実現する受動光コンポーネント「ShuffleBox」を紹介する「準ランダム」ネットワークトポロジーを導入します。この結果得られたネットワーク設計（レジリエント・ネットワーク・グラフを意味する RNG と呼ばれます）は現在 AWS データセンターで使用されており、世界中の新規構築のデフォルトとなっています。これはルーター数を 69% 削減し、スループットを最大 33% 向上させ、ネットワーク機器の電力消費を 40% 削減すると予測されています。

ランダム性の秘密

1990 年代初頭、数学者たちはルーティングに最適なネットワークがランダムトポロジーを持つことを示しました。これは各ルーターが単に他の少数のルーターとランダムに接続するものです。これは直感に反するように思えますが、結果として全体としてのネットワークはすべてのルーターペア間に多数の異なる経路を持つことになります。ランダムネットワークはまた優れた耐性を示します。なぜなら、どの単一のルーターも他よりも重要ではないからです。1% のルーターが失われても、容量損失は約 1% に留まります。性能低下は比例して予測可能であり、壊滅的で集中するものではありません。ネットワーキング研究者たちはシミュレーションを通じてこれらの結果を検証し、ランダムでフラットなトポロジーが対応するファットツリーよりも優れたパフォーマンスを達成することを示しました。しかし、これらの結果は現実世界には持ち込めませんでした。あらゆるネットワーク設計には、パケットが宛先に到達する方法を決定する「ルーティングプロトコル」が付随します。ランダムネットワークでは、適切な一連のルーティングパスを計算して実装するには、市販のルーターに搭載されているリソースをはるかに超える多くのハードウェアリソースが必要となります。一方、ルーティング専用のハードウェアを使用するとコストが高すぎて現実的ではありません。さらに大きな問題は、データセンター内でルーターをランダムに配線することが完全に不可能であることです。

私たちの解決策は、ランダム性と決定論的コンポーネントのちょうどよい混合を持つ「準ランダム」ネットワークトポロジーを構築することです。

構造化なしでのルーティング

ファットツリーでは、階層構造自体がパケットに宛先を伝えます。そして生成される経路は最短であることが保証されています。準ランダムグラフには、活用できる明らかな構造はありません。フラットトポロジーにおけるマルチパスルーティングの標準的なアプローチは通常、市販ハードウェアに搭載されているメモリよりも 20 倍から 80 倍多くを必要とします。私たちの重要な洞察は、トポロジーのランダム構造を利用して、軽量な方法で広範な経路オプションを開けることができるという点です。

私たちのルーティングアルゴリズム「Spraypoint」には 2 つのコンポーネントがあります。送信元ルーターはトラフィックをすべての隣接ノードにランダムに「スプレー（散布）」します。各宛先ルーターには、トラフィックを供給する特定の「ウェイポイント」が用意されています。主要なスキームは、送信元から送られる各データパケットがまずランダムな隣接ノードへ行き、その後古典的な最短経路アルゴリズムによってウェイポイントへルーティングされ、そのウェイポイントが宛先へとトラフィックを供給するというものです。

スプレーの利点は、トラフィックが多様な経路で宛先に到達できる一方で、ウェイポイントが宛先付近での輻輳を防ぐことです。実装では、各宛先の周囲にさまざまな「リング」を作成し、トラフィックは各リングからより近いリングへと誘導されます。Spraypoint は隣接ノードへのスプレーにより、標準的な最短経路ルーティング技術と比較してルーター間の独立した経路をほぼ 2 倍提供します。これにより、トラフィックが輻輳する経路や故障したルーターを迂回してルーティングされる可能性が高まります。

準ランダム配線の現実化

ランダムグラフは、異なる部屋にあり数百メートル離れているかもしれない任意のペアのルーターを接続します。これがトポロジーの強みであり、ルーター間の高速通信を可能にします。しかし、それが欠点でもあります。なぜなら、このような構造を配線するのは極めて複雑だからです。

ここで私たちの準ランダム解決策が登場します。すべての接続がランダムであるのではなく、ネットワークトポロジーの特定の部分を固定します。私たちの中心的な革新は「ShuffleBox」と呼ばれる受動光デバイスです。これは片側にルーター接続用ポートを持ち、他側には他の ShuffleBox と接続されます。内部の配線は特別なパターンでシャッフルされるため、ShuffleBox 間のランダムな接続が全体として準ランダムなトポロジーをもたらします。

新しいラックが到着すると、技術者はそのルーターをローカルの ShuffleBox の利用可能なポートに挿入するだけです。他の場所での配線変更は不要です。物理的な配線の複雑さ、ケーブルの引き回し数、および設置プロセスは、論理トポロジーが準ランダムであるにもかかわらず、ファットツリーと同等です。

建設前の性能予測

新しいネットワークトポロジーでは、運用者は建設に着手する前に、容量要件やパフォーマンス要件を満たすという確信が必要です。ファットツリートポロジーには、パフォーマンスと容量制約を予測するシンプルで明確なモデルが付随しています。準ランダムグラフに対応する同等のものは存在しませんでした。

私たちは、経路長、経路数、特定のリンクにどの程度のトラフィックが到達するかなどの各種ネットワーク統計量に対する新しい数学的モデルを開発しました。これらのモデルは、運用者が設計パラメータを選択するために使用できる精密な数式を提供します。これらのモデルは、Amazon EC2 で実行された 530 プロセッサ年（単一の CPU を半千年間稼働させるのに相当）に及ぶシミュレーションを用いて徹底的に検証されました。

運用者は今やサーバー数を指定し、目標パフォーマンスレベルを設定することで、最も安価な適合トポロジーを計算でき、それが機能するという確信を持てます。

理論から生産へ

最初の準ランダムネットワークは 2024 年末にアイルランドのダブリン近郊で稼働を開始し、実際の運用トラフィックを処理しました。私たちはパフォーマンスを実際の数学的予測と比較して検証し、運用上の改善点を特定して追加の 2 つの展開に適用しました。

これらの生産用ファブリック全体でのエンドツーエンドベンチマークにおいて、私たちのフラットトポロジーはマルチパス輸送ワークロードおよびレイテンシ敏感なストレージ操作においてファットツリーのパフォーマンスと同等でした。顧客側のワークロード変更は一切必要なく、ネットワークは既存アプリケーションの下で透明に動作します。

2026 年 4 月までに、準ランダム配線は世界中のほとんどの新規 AWS データセンターにおけるデフォルトアーキテクチャとなりました。ルーター数の 69% 削減は、すべてのサイトでの電力、冷却、および運用オーバーヘッドの直接的な削減につながります。

顧客にとっては、コードを一行も変更することなく、あらゆる API 呼び出し、データベースクエリ、機械学習トレーニングジョブの背後に、より耐性の高いインフラストラクチャが存在することを意味します。