Meta、AI スケール向け RDMA プロトコル「MetaRoCE」を OCP で公開

最先端 AI モデルの学習と推論サービスには、計算リソースを無駄にせず GPU 間でデータを高速かつ確実に転送できるネットワークが不可欠です。

この課題に対処するため、Meta は汎用イーサネット上で AI ワークロード向けにゼロから設計された RDMA トランスポートプロトコル「MetaRoCE」を開発しました。

より広い業界がこの技術を採用し、実装・発展させることを可能にするため、MetaRoCE の仕様書、リファレンス実装、および適合性テストスイートを Open Compute Project（OCP）を通じて公開します。

Meta ではこれまで、AI インフラの基盤としてイーサネットが最適であるという業界全体のコンセンサスを形成する上で強力な推進役を果たしてきました。既に RoCE が大規模分散 AI 学習を支えることを実証済みです。今や MetaRoCE は、その成果を踏まえ、百万 GPU スケールのイーサネットに特化して設計されたプロトコルとして構築を進めています。

Meta では、数百数千台の GPU を複数のデータセンターや地域にまたがって配置したクラスターを大規模に運用しています。これらのクラスターが次世代の最先端モデルの学習を行っているのか、それとも世界中の数億ユーザー向けの推論サービスを提供しているのかにかかわらず、ネットワークは処理のボトルネックとなる重要な経路です。

学習中の全 GPU 同期（all-reduce）や全対全通信（all-to-all）などの集合操作では、数千台のアクセラレータ間のデータ転送速度が最も遅いノードによって決定され、それが全体のジョブの処理速度を左右します。推論においては、分散されたモデル断片間の低遅延通信が、数億人のユーザーに対する応答時間に直結します。わずかなネットワーク上の摩擦も、膨大な計算リソースを遊ばせる原因となります。

従来の RoCE は、ネットワークがすべてのフレームを順序通りに配信することを前提としており、PFC（Priority Flow Control）に依存して、マルチプレーンや大規模ネットワークで性能を発揮するパケットのスプレイングを抑制します。一方、MetaRoCE は、アクセラレータ数の増加とそれらの間の距離拡大に伴うネットワークの成長に対応し、高いスループット、低い遅延の裾野（tail latency）、そして運用上の簡素化を実現するために設計されています。

MetaRoCE の仕組み

MetaRoCE の核心的な洞察はシンプルです。ネットワークファブリックがパケットを見る一方で、NIC（ネットワークインターフェースカード）は意図（インテント）を見ます。従来のアーキテクチャでは知能をファブリックに集中させ、スイッチに損失のない通信の強制と順序維持を任せていました。

MetaRoCE はこの知能をエンドポイントに移すことで、ネットワークを多数の微細な論理パスに分解します。各パスには独自のリアルタイムテレメトリ（経路ごとの RTT、ECN 状態、利用率など）が備わっています。この可視性が、従来の RDMA では達成が難しい機能を実現する鍵となります。

ネイティブな順序外配送

MetaRoCE はパケットを複数のパスにスプレイングするため、設計上、到着順はバラバラになります。この輸送プロトコルでは、順序不同の到着が標準的なケースとして扱われます。すべてのパケットには独自の宛先が含まれているため、データは到着した瞬間に最終的なメモリ位置へ直接書き込まれます。再配置バッファも、ヘッド・オブ・ライン（先頭）ブロックも不要です。

パケットには常に宛先情報が含まれています。送信側は、既設の受信バッファとの照合情報を保持するため、先行するメッセージがまだ到着していなくても、ラウンドトリップを要することなく、データがどこへ送られるかを事前に知る必要もなしに、正しく送信先へデータを届けることができます。集合通信ライブラリでは、状況に応じて両方向メッセージングを採用し、すべてを書き込み操作に統一する必要はありません。

ネイティブ・マルチパスティング

MetaRoCE は各接続に対してファーストクラスの経路を割り当て、パケット単位でそれらに分散（スプレー）します。各経路は ECMP エントロピーとして一意の UDP ソースポートを持ちます。NIC は必要に応じてこのポートを変更し、不良ルートのトラフィックを回避できます。マルチプレーンファブリック環境では、プレーンの選択は NIC のみが行い、ファブリック自体は NIC がどのようにパケットを分散させるかに依存します。各経路が独自のウィンドウとラウンドトリップ推定値を保持しているため、転送層は「輻輳」と「障害」を明確に区別し、明示的な再バランスが可能です。その結果、ホットスポットや破損したリンクが発生しても、接続全体が停止するのではなく、特定の経路のみが遅延します。

設計上の損失許容性

MetaRoCE はイーサネットファブリックを「損失あり」として扱い、それを「損失なし」にすることを要求しません。PFC（Priority Flow Control）やパースフレームも使用しません。各経路は独自の順序付けされたシーケンスを持つため、その 256 ビットの選択的確認応答（SACK）ビットベクトルにギャップが生じた場合、それは再配置ではなく損失の証拠とみなされます。他のプロトコルでは SACK は主に既に到着したデータの再送を回避するために使われますが、MetaRoCE では、ギャップが発生した瞬間、その経路で失われたパケットのみを正確に再送信するトリガーとして機能します。

双方向からの輻輳制御

MetaRoCE は、従来の ECN ベースの送信者駆動型 AIMD 輻輳制御と、受信者駆動型の公平な帯域幅シェア指示を組み合わせます。ウィンドウは経路ごと、かつ接続ごとに管理されるため、輻輳マークが検出された経路のみが制限され、次のパケットは混雑していない経路へと誘導されます。すべての ACK において、受信者はその送信者に割り当てた受信帯域幅のシェアを返すため、送信者は探索するのではなく、最適な速度に直接到達できます。Incast（多数からの同時到着）問題は 1〜2 ラウンドトリップで解決され、公平性が向上し、遅延の裾野も低減します。

トポロジ依存性の排除

MetaRoCE は、スイッチがすでに備えている 2 つの機能、すなわち ECN マーキングと ECMP（等価多経路ルーティング）をネットワークファブリックに要求するだけです。パケットの切り捨てや、ネットワーク内テレメトリ、クレジットベースフロー制御、スイッチ側でのスプレーイングは不要であり、これらの機能が提供されている環境でも動作します。同じトランスポートプロトコルが、fat-tree やマルチプレーン、深バッファ・浅バッファ構成のファブリック、そして設定を制御できないベンダークラウド上でも動作します。独自規格は一切使用しないため、ファブリック側はコストと配線最適化のために自由に設計を進められます。

スケールする統一接続

キューペア（QP）は、順序付きメッセージストリームと帯域幅の両方を運搬します。従来の RDMA では、どちらかを増やすために QP を多数開く必要があります（ノードペアあたり数十個）。しかし、それぞれの QP は他の QP の状態や NIC 上の自身の状態を認識できない輻輳ウィンドウを持っています。

MetaRoCE は、この二つの課題を分離して解決します。単一の接続上で、各通信者や集合操作ごとに独立した順序付きストリームを多数処理し、その下層では一つの輻輳制御器の下に複数の経路を配置します。これにより、ワークロードの並列度が増しても接続状態のサイズは増大しません。

アプリケーション層にはほとんど手を加えていません。既存の RDMA Verbs API やソフトウェアスタックを変更なしで利用可能です。マルチプレーン対応などの機能強化は、拡張 API を通じてサポートされます。

実運用における MetaRoCE

ハードウェア検証を加速するため、AMD と連携して Pensando 製のプログラム可能な NIC で MetaRoCE の実装を行いました。

RCCL コレクティブを実行する 64 ノードの AMD GPU クラスタにおいて、MetaRoCE を RoCEv2 とすべてのアールリダクションおよびオール・トゥー・オール操作で直接比較しました。その結果は設計目標と一致していました：

MetaRoCE は、RoCEv2 と比べて一貫して高いスループットと低いフロー完了時間を達成します。

パケットロスが発生し RoCEv2 の性能が低下する条件下でも、MetaRoCE は 1% のパケットロスで約 86% のスループットを維持し、極端な 10% のロス率においても有用な帯域幅を提供し続けます。システムは崩壊せず、優雅に収束します。

4 プレーンおよび 8 プレーンのトポロジーにおけるマルチプレーン検証では、最大 4,000 の同時接続を処理しましたが、スループットがプレーン数に対して線形にスケールすることが確認されました。

シミュレーションによる航空機障害の発生時、このプロトコルはアプリケーションへの関与やオペレータの手を介さずに、自律的にトラフィックを再配分する優雅な回復力を示しました。

これらの結果は、MetaRoCE の根幹となる設計思想を裏付けています。初めからパケット損失を想定し、知能をエッジに押し出すことで、理想環境下ではより高い性能を発揮しつつ、何かが起きても優雅に機能を低下させるトランスポートを実現できます。

オープン・バイ・デザイン

AI インフラは、エコシステム全体でイノベーションを加速する共有規格の恩恵を受けます。MetaRoCE は、Open Compute Project (OCP) の Ethernet Scalable Unified Network (ESUN) イニシアチブがファブリック層で確立した、オープンかつマルチベンダーという哲学をトランスポート層にも拡張しています。

そのため、私たちは MetaRoCE をオープン化します：

• OCP による仕様公開: プロトコル仕様の完全版を OCP に寄稿し、あらゆるベンダーが実装して相互運用可能なハードウェアを構築できるようにします。
• 複数の NIC 実装: MetaRoCE は、プログラム可能型と固定機能型の両方を含む多様な NIC アーキテクチャ上で動作するように設計されています。AMD Pensando ハードウェアで実証済みであり、他のベンダーによる追加の実装も進行中です。
• プロダクション対応の適合性スイート: 各ハードウェアベンダーが自社の実装がプロトコル仕様に合致していることを証明できるよう、適合性スイートを開発しました。

ソフトウェアの参照実装として、libsoftmetaroce ライブラリを提供しています。これは専用ハードウェアを必要とせず、汎用 Linux 上で標準的な UDP ソケットを通じて動作する完全な機能を持つトランスポートスタックです。このライブラリは、シリコン開発における行動モデルの権威ある基準となるだけでなく、統一された適合性フレームワークの基盤としても機能します。

今後の展望

MetaRoCE によって、データセンター内の汎用イーサネット上で高パフォーマンスで耐障害性の高いスケールアウト・ネットワークの実現に向けた大きな進歩を遂げました。しかし AI インフラストラクチャは距離とレイテンシの異なる複数の領域にまたがっており、それぞれが独自の課題を抱えています。私たちは現在、これらの課題に取り組んでいます。

スケールアップ：ラック内ではアクセラレータ間でナノ秒単位の精度が求められる小さなメッセージのやり取りが行われます。MetaRoCE は、順序バッファと PFC（Priority Flow Control）という 2 つの主要な遅延要因を排除しました。現在は、1 つのプロセシングエレメントから直接他へ発行される短距離メモリオペレーションのための高速シグナリング経路の最適化を進めています。

スケール・アクロス：この機能により、単一のジョブが数千キロメートル離れた複数の建物にまたがることが可能になります。往復時間がミリ秒単位に伸び、経路間のわずかな差異が累積して影響を及ぼします。MetaRoCE が適応し、混雑していない経路を優先し、あらゆるレベルで公平性を確保できるのは、経路を第一級のエンティティとして扱うからです。今後の課題は、競合する長距離リンクを公平に共有することにあります。

ストレージや KV キャッシュの使用ケースでは、分散ストレージがインキャスト（1 台の読み出し要求が多数のサーバーに広がり、それらが同時に応答する現象）を引き起こす可能性があります。レシーバー駆動型のレートヒント機能により、データを受信する側（書き込みを受けるストレージサーバーや読み取りを行うクライアントなど）が、要求先が 10 台であっても 1,000 台であっても、流入するデータの速度を調整できるようになります。新しい課題は、ネットワークの速度やリクエストサイズのばらつきがあっても、このレート制御を正確に維持することです。

AI インフラのための次世代イーサネット構築への支援

2026 年の OCP Global Summit では、DPDK を最適化したソフトウェア参照実装と、MetaRoCE の仕様、さらに本番環境での適合性検証フレームワークを発表する予定です。

私たちはこの課題をオープンな協働で解決することを目指しています。広範な業界の協力こそが、今後の挑戦を乗り越える鍵となるからです。NIC（ネットワークインターフェースカード）やスイッチ、AI インフラの開発に携わる方々には、ぜひ私たちの取り組みに参加していただきたいと考えています。

本記事「MetaRoCE: AI スケールイーサネット向けに設計された新しい RDMA トランスポート」は、Engineering at Meta に掲載されました。