Meta、AI スケール向け RDMA プロトコル「MetaRoCE」を発表

最先端モデルのトレーニングと推論は、今や計算リソースの問題であると同時にネットワークの問題でもあります。All-reduce や all-to-all といった集合演算は、トレーニング中に数千台のアクセラレータを同期させる役割を果たしますが、全体の処理速度は最も遅い転送によって決定されます。わずかなネットワーク上の摩擦も、膨大な計算能力を無駄にすることになります。

今週、Meta は「MetaRoCE」を発表しました。これは、汎用 Ethernet 上で AI ワークロード向けにゼロから設計された RDMA トランスポートプロトコルです。その設計思想は、標準的な RoCE の中心的な前提を覆すものです。標準の RoCE はネットワークがすべてのフレームを順序通りに届けることを前提とし、PFC（Priority Flow Control）を活用して、マルチプレーンや大規模ネットワークで性能を発揮するパケットのスプレイングを抑制します。一方、MetaRoCE はファブリックを「損失のあるもの」と見なし、順序付け、パス選択、回復処理を NIC 側に押し込みます。Meta はこの仕様と、リファレンスソフトウェアの実装、そして適合性テストスイートを Open Compute Project（OCP）を通じて公開します。

実用化は可能でしょうか？

まだです。アーティファクトはおそらく 2026 年 10 月にリリースされる見込みです。Meta は 2026 年の OCP Global Summit で、MetaRoCE の仕様、DPDK を最適化したソフトウェアのリファレンス実装、および本番環境向けの適合性フレームワークを公開する可能性があります。ハードウェア面でのサポートは初期段階ですが、AMD Pensando のプログラム可能な NIC 上で実証済みです。他のベンダーによる実装も進行中です。現時点では、これは調達に関する判断ではなく、ファブリックアーキテクチャの選択に関わる問題です。

課題：ネットワークファブリックはパケットしか見えないが、NIC は意図を理解する必要がある

Meta は複数のデータセンターや地域にまたがる数十万個の GPU を持つクラスターを構築しました。この規模になると、ネットワークはすべてのトレーニングステップにおいてクリティカルパス上に位置します。all-reduce や all-to-all といった集合演算は数千台のアクセラレータを同期させますが、最も遅い転送が全体のジョブのペースを決定してしまいます。

従来の RoCE がボトルネックとなっています。これはネットワークがすべてのフレームを順序通りに配信することを前提としており、PFC に依存する傾向があります。また、マルチプレーンや大規模なネットワークで性能を発揮させるための「パケットのスプレイング（分散転送）」を抑制してしまうという欠点もあります。

MetaRoCE はこの考え方を逆転させます。知能をエンドポイント側に移し、ネットワークは多数の細粒度な論理パスに分解されます。各パスには独自のリアルタイムテレメトリが備わっており、パスごとの RTT（往復遅延）、ECN 状態、利用率などを監視できます。

これは Meta が 2024 年に発表した RoCE の大規模展開に関する研究や、より広範なインフラの進化を直接踏まえたものです。

重要な 6 つの設計判断

順序通りの配信はデフォルトではありません。パケットは複数のパスに分散され、意図的に順序がバラバラになって到着します。各パケットには宛先情報が含まれているため、データは到着した瞬間に最終的なメモリ位置へ直接書き込まれます。再配置バッファも不要ですし、ヘッド・オブ・ライン（HOL）ブロッキングの心配もありません。

送信側では、受け取りバッファへの対応付け情報を含めることで、先行するメッセージがまだ到着していなくても、Send 操作が正しく実行されるように設計されています。

マルチパス機能はネイティブで実装されています。各経路には一意の UDP ソースポートが割り当てられ、これが ECMP（等価多経路ルーティング）のエントロピーとして機能します。NIC は必要に応じてこのポートを動的に変更することで、不良な経路からのトラフィックを即座に切り替えることが可能です。また、各経路は独自のウィンドウサイズと往復時間推定値を保持しているため、輸送層が輻輳と障害を明確に区別し、明示的な再バランス処理を行うことができます。

損失耐性が「完全な信頼性」に取って代わります。MetaRoCE はネットワークファブリックを「損失が発生する環境」として扱います。PFC（優先フロー制御）やパースフレームは使用しません。経路の 256 ビット選択的 ACK ビットベクトルにおけるギャップは、パケットの再順序付けではなく損失の証拠とみなされ、その経路で失われたパケットのみを正確に再送するトリガーとなります。

輻輳制御は双方向で行われます。送信側が ECN（輻輳通知）ベースの AIMD（Additive Increase Multiplicative Decrease）を採用し、受信側が公平な帯域幅配分のヒントを提供します。すべての ACK 応答において、受信側はその送信者に割り当てたインバウンド帯域幅の割合を返すため、送信側は探索プロセスを経ずに最適な速度に直接到達できます。これにより、Incast（多数からの同時通信）問題は 1〜2 ラウンドトリップで解決されます。

トポロジへの依存はありません。MetaRoCE はスイッチがすでに備えている「ECN マーキング」と「ECMP」の 2 つの機能のみをファブリックに要求します。パケットの切り詰め、ネットワーク内テレメトリ、クレジットベースフロー制御、スイッチ側でのスプレーイングは不要です。つまり、設定を制御できないベンダークラウド上でも動作可能となります。

コネクション状態の爆発的増加を防ぐ：従来の RDMA では、キューペアを多数（ノードペアあたり数十個）開いて順序制御や帯域幅を増やすが、各キューペアの輻輳ウィンドウは他と無関係に動作する。MetaRoCE はこの 2 つを分離し、1 つのコネクションで複数の独立した順序付きストリームを上層に、複数の経路を下層に配置し、単一の輻輳制御器で管理する。

数値による検証

Meta は MetaRoCE を AMD Pensando のプログラム可能な NIC で実装した。64 ノードの AMD GPU クラスター上で RCCL コレクティブを実行する環境において、All-Reduce と All-to-All の両ケースで RoCEv2 と直接比較し、より高いスループットと低いフロー完了時間を達成した。

耐障害性の結果が核心となる：MetaRoCE は 1% のパケット損失でも約 86% のスループットを維持し、10% の損失率に至っても有用な帯域幅を提供し続ける。急激な崩壊ではなく、優雅に収束する。4 プレーンおよび 8 プレーンのトポロジーにおけるマルチプレーン検証では、最大 4,000 の同時コネクションでスループットがプレーン数に対して線形にスケールすることが確認された。また、シミュレーションによるプレーン障害では、アプリケーション側の関与やオペレーターの手動介入なしにトラフィックが自動的に再配分されることが示された。

設計思想としてオープンであること

MetaRoCE は、OCP のイーサネットスケーラブルユニファイドネットワーク（ESUN）イニシアチブがファブリック層で確立したマルチベンダーの哲学を、トランスポート層へと拡張するものです。この取り組みでは 3 つの成果物が提供されます。1 つ目は OCP を通じて公開される完全な仕様書、2 つ目はベンダーが自社の実装が仕様に合致していることを証明できる適合性スイート、そして 3 つ目はシリコン開発のための権威ある動作モデルである libsoftmetaroce です。Meta はすでに AMD Pensando ハードウェア上で実証を完了しており、他のベンダーによる実装も進行中です。

要点

• MetaRoCE は、イーサネットを「パケットロスが発生する環境」として扱うゼロから設計された RDMA トランスポートです。PFC（Priority Flow Control）やポーズフレームは使用しません。
• パケットは複数の経路に分散され、直接メモリへ書き込まれます。再順序化バッファも、先頭ブロック（head-of-line blocking）も存在しません。
• RCCL を実行する 64 ノードの AMD GPU クラスタにおいて、1% のパケットロスが発生してもスループットの約 86% を維持できます。
• スイッチ側で必要なのは ECN と ECMP だけなので、メタが管理しないファブリック上でも動作します。

仕様書、適合性スイート、libsoftmetaroce は 10 月の OCP Global Summit で発表されます。

詳細は TECHNICAL DETAILS をご覧ください。

本記事は MarkTechPost にて公開された「Meta AI Introduces MetaRoCE: A Clean-Sheet RDMA Transport Built for AI-Scale Ethernet」の翻訳です。