AI に新たなスーパーコンピューターネットワークが必要

OpenAI が開発した「MRC」：数万個の GPU を止めることなく、AI 学習を劇的に加速する新ネットワーク技術

OpenAI のインフラチームは、数千〜数十万個の GPU を同時に動かす大規模モデル学習において、従来のインターネットベースのネットワークプロトコルがボトルネックとなり、ハードウェア障害や遅延で計算リソースが浪費される課題に直面していました。この問題に対し、複数の経路を動的に利用し、パケットの再送制御と高速な障害検知を行う「Multipath Reliable Connection (MRC)」という独自のプロトコルを開発しました。

これにより、ネットワーク障害が発生してもジョブが停止せず、システム全体が自己修復するように動作するようになり、モデル学習の速度と信頼性が劇的に向上しています。この技術は OpenAI 独自の成果ではなくオープンスタンダードとして公開され、次世代 AI インフラの基盤となる可能性を秘めています。

大規模学習における「ネットワークの壁」

数十万個の GPU を同期させる際、従来のインターネットプロトコルではパケットロスや経路遅延が全体の計算速度を決定し、ハードウェア障害が即座にジョブ停止につながります。OpenAI のインフラチームは、大規模な GPU クラスターを構築する過程で、以下のような深刻な問題に直面しました。

「ある GPU が少し遅くなったとしましょう。それのために待たされるのは、すべて時間の無駄です」

「エラーが発生してビットが反転し、処理が停止します。そのステップ全体はおそらく失敗したことになります」

AI モデルの学習では、数千〜数十万個の GPU が互いに通信しながら計算を進めます。ある 1 つのコンポーネント（GPU やネットワークリンク）が遅れたり故障したりすると、他のすべての GPU がその分を待たなければなりません。これが「最悪のケース」です。

従来のデータセンター設計では、スイッチやルーターが階層構造で複雑に組み合わされています。数千台の GPU が相互に連携する際、どの経路がボトルネックになっているかを確認し、障害が発生した際にネットワーク全体を再構築（収束）させるまでに数秒かかることがありました。

「10 万個の GPU を持っています。常に失敗します」

規模が大きくなるほど、故障する確率は高まります。従来のプロトコルでは、リンクがダウンすると隣接ノードが検知し、情報がネットワーク全体に伝播して「この宛先には到達できません」と通知されるまで待たなければなりません。この間、ジョブは停止し、有用な作業が行えなくなります。

MRC プロトコルの革新的アプローチ

OpenAI が開発した「Multipath Reliable Connection (MRC)」は、これらの課題を解決するために複数の経路を同時に利用するマルチパス転送と、パケットの再送制御（パケットトリミング）を導入しました。この技術の核心は、ネットワークで輻輳を制御し、遅延や障害の影響を最小限に抑える点にあります。

マルチパス転送による負荷分散

MRC は、データを送信する際に複数の経路（パス）を同時に利用します。これにより、特定のリンクが混雑したり故障したりしても、他の経路でトラフィックを迂回させることが可能です。単一の経路に依存しないことで、ボトルネックを回避し、ネットワーク全体の帯域幅を効率的に活用できます。

パケットトリミングと再送制御

従来のネットワークでは、キューが溢れるとパケットがドロップ（破棄）され、再送信が必要になります。しかし、MRC は「パケットトリミング」という独自の技術を採用しています。

「パケットのペイロードをヘッダーとともに宛先に送るため、再送信が必要になり、そのパケットを再送信できます」

パケットが迷子になったり順序が入れ替わったりした場合でも、MRC はエンドポイント側で状況を判断し、必要な部分だけを再送信します。これにより、曖昧さが生じず、輻輳や損失を最小限に抑えながら、データの完全性を保つことが可能になりました。

自己修復型の分散アーキテクチャ

MRC の最大の特徴は、中央集権的な経路制御に依存せず、各エンドポイントが障害を検知して即座に迂回経路へ切り替える「自己修復型」の設計にあります。これにより、ネットワークの収束時間を数秒単位からミリ秒単位へと劇的に短縮しました。

「中央権威は一般的に失敗するものだ。そこで代わりに、ここでは私たちが行ったのは、すべてのエンドポイントが独立して非常に速く検知し、『おや、私は使用中のリンクだ』と判断することです」

従来のプロトコルでは、リンクがダウンするとネットワーク全体が停止し、安定するまで待たなければなりませんでした。しかし MRC では、各ノードが独立して障害を検知し、即座に新しい経路を選択します。中央の制御装置に依存しないため、制御装置自体が故障してもシステムは稼働し続けます。

「収束プロセスを起こすことで、それが数秒で完了する代わりに、一般的にすべての人がそのリンクの使用を止める」

この仕組みにより、ジョブ起動時に到着するまで待たされることもなくなり、ネットワーク障害が発生しても作業が中断されません。まるでシステム全体が自己治癒するかのような挙動を実現しています。

コスト削減とエネルギー効率の向上

MRC の導入は、技術的な性能向上だけでなく、インフラコストやエネルギー効率の改善にも寄与します。冗長なスイッチ階層を不要にし、よりフラットでシンプルなネットワーク構成を実現することで、電力消費と設備コストを大幅に削減できます。

「複数の経路をまたいで、より多くのデバイスを大幅に減らすことができます」

従来の設計では、複雑な階層構造を支えるために多数のスイッチやケーブルが必要でした。しかし MRC を採用することで、必要な機器数を減らし、電力消費を抑えることが可能になります。

「余分な電力をこれらの追加の一般には実際に機能します」

これは、テキストモデルだけでなく、画像や動画を含むマルチモーダル AI の学習においても同様です。システムに課される要求が高まる中で、インフラ側の効率化が不可欠となっています。

オープンスタンダードとしての未来

OpenAI は、この MRC プロトコルを独自のものとして閉じず、業界全体で利用可能なオープンスタンダードとして公開する方針を示しています。マイクロソフトや NVIDIA などのパートナー企業と協力し、スーパーコンピュータの実現に向けた標準化を進めています。

「これは OpenAI 独占のものだったなら、OpenAI が時間とエネルギーを投資し、広範な採用につながっているのです」

「業界全体にとってです。そして、これは非常に良いことだと思います。全員を巻き込んでいくことです」

MRC はイーサネットの上に構築されており、イーサネットがスケールするにつれて MRC もスケールします。ネットワークの端に知能を配置することで、従来の複雑なスイッチソフトウェアに依存せず、シンプルでスケーラブルなインフラを実現しています。

「ネットワークを可能な限りシンプルに保つことは巨大な利点があります」

この技術は、大規模言語モデルやマルチモーダル AI の学習コストを劇的に削減し、開発サイクルの短縮に寄与します。また、OpenAI が独自に開発したプロトコルをオープンスタンダードとして公開する姿勢は、業界全体のインフラ標準化を加速させ、AI エンジニアリングのパラダイムシフトを促すでしょう。

まとめ

OpenAI の MRC プロトコルは、大規模 AI 学習におけるネットワークのボトルネックを解消し、自己修復型の分散アーキテクチャによってシステム全体の信頼性と効率性を飛躍的に向上させました。この技術をオープンスタンダードとして共有することで、業界全体がより高速で安価な AI 開発を実現する未来へと一歩踏み出しています。