アステラ・ラボズがニビディアの NVSwitch に代わる大規模 AI システム向けスイッチを発表
本文の状態
日本語全文を表示中
詳細モードで約5分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
The Register AI/ML
アステラ・ラボズは火曜日、ニビディアの NVSwitch に代わる「Scorpio X」と名付けられた AI ファブリックスイッチを公開した。同社はこの製品がほぼすべてのアクセラレータと動作し、1 つの ASIC で 320 ラーンの PCIe 6.0 接続と 5.12 TB/s の双方向帯域幅を実現できると主張している。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Astera Labs は火曜日、ラック規模の AI システム構築における Nvidia の NVSwitch に対する代替案を発表し、ほぼあらゆるアクセラレータと動作すると主張しました。コードネーム「Scorpio X」のこの AI ファブリックスイッチは、5.12 TB/s の双方向帯域幅を持つ単一の ASIC に PCIe 6.0（Peripheral Component Interconnect Express）接続の 320 ラーンを凝縮しています。歴史的に、PCIe スイッチはスケールアウトコンピューティングファブリックを含む様々な用途で利用されてきました。CPU だけでは、必要なすべての GPU、NIC（ネットワークインターフェースカード）、ストレージに対して十分な数または速度のレーンを提供できないことが多いためです。そのため、すべてを CPU に直接接続するのではなく、PCIe スイッチ（多くの場合 NIC に組み込まれている）を使用してそれらを相互に接続していました。Astera は、大規模なスイッチを使用することで、アクセラレータの再設計を必要とせずに数十個以上の GPU をあたかも単一の大きなもののように動作させるスケールアップファブリックにおいて、PCIe が NVLink などのインターコネクトに対する実用的な代替手段になり得ると主張しています。しかし、Astera は単により大きな PCIe スイッチを作っただけではありません。Scorpio は、集団通信を加速する機能など、Nvidia の NVSwitch と同じ多くのネットワーク内計算機能を備えています。これらの通信は、生成 AI 推論において特に重要です。混合専門家（MoE: Mixture of Experts）アーキテクチャが普及したことで、大規模言語モデルはネットワークの観点から非常に「話し好き」になっています。MoE モデルは、エキスパートと呼ばれる複数のサブモデルで構成されています。生成される各トークンに対して、異なる選択されたエキスパート（これらは異なる GPU で実行されている可能性もあります）が使用されます。集団通信をスイッチに移動させることで、GPU はネットワークの追いつきを待つ時間を減らし、トークンを生成する時間を増やすことができます。Astera はさらに、MoE 推論用に最適化されたマルチキャスト操作を開発しており、これを「Hypercast」と呼んでいます。「標準的なマルチキャストの一つの制限は、実際にサポートできるグループの数と、混合専門家モデルのためにこれらのグループをその場で動的に変更する必要があるという性質です」と、Astera の製品管理担当副社長である Ahmad Danesh 氏は El Reg に語りました。
スケールアップエコシステムにおける Scorpio の位置づけ
チップ間インターコネクトとして PCIe を使用することには明確な利点がありますが、Scorpio は Nvidia の NVSwitch チップの完全な代替品というわけではありません。1 月に CES で発表された NVSwitch 6 は、14.4 TB/s というほぼ 3 倍の帯域幅を提供します。しかし、Astera が NVSwitch と直接競合する必要はありません。実際、Astera は昨春、Nvidia の高速インターコネクトをより広いエコシステムに開放しようとする試みである「NVLink Fusion」へのサポート拡張計画を発表しました。むしろ、Scorpio はベンダー非依存の代替手段として位置づけられています。「NVLink Fusion」や新興の「UALink プロトコル」といった技術は注目を集めていますが、これらのチップはそれらを中心に設計する必要があります。PCIe は、データがアクセラレータに入出力されるためにすでに使用されているため、ほぼあらゆる機器と動作します。例えば、32 枚以上の Nvidia RTX Pro 6000 Server カードを結合したい場合、それらの GPU は NVLink を全くサポートしていないため、PCIe スイッチが必要になります。
また、PCIe は、Nvidia と Groq、AWS と Cerebras、Intel と SambaNova で見られたような、非集約推論アーキテクチャにおけるチップの組み合わせを容易にします。これらのアーキテクチャでは、計算集約型のプリフィル操作には一つのアクセラレータを、帯域幅集約型のデコード操作には別のアクセラレータを使用します。これが機能するためには、チップ同士が相互に接続されている必要があります。多くの AI チップビルダーはこれをイーサネット上で行っていますが、PCIe の方がより直接的です。
Scorpio X シリーズのチップとともに、Astera は 32 ラーンから 320 ラーンの PCIe 接続を備えたモデルを含む Scorpio P シリーズスイッチも拡大しています。これらのすべてのスイッチは、ネットワークファブリック全体の問題を検出・解決するのを支援するために設計されたハードウェア監視プラットフォームである「COSMOS」管理スイートと連携します。
Astera の刷新された Scorpio スイッチは現在サンプル供給中で、量産は 2026 年後半に本格化すると見込まれています。®
原文を表示
Astera Labs unveiled an alternative to Nvidia's NVSwitch for building rack-scale AI systems on Tuesday, claiming it will work with nearly any accelerator. The AI fabric switch, codenamed Scorpio X, crams 320 lanes of PCIe 6.0 connectivity into a single ASIC with 5.12 TB/s of bidirectional bandwidth. Historically, PCIe switches have been used in a variety of applications including scale-out compute fabrics. CPUs alone either didn't offer enough or fast enough lanes for all the GPUs, NICs, and storage required. So, rather than hanging everything off the CPU, a PCIe switch, often built into the NIC, was used to connect everything together. Astera contends that with a big enough switch, PCIe is a viable alternative to interconnects like NVLink, in the scale-up fabrics used to make dozens or more GPUs behave more like a single large one without needing to redesign their accelerators. However, Astera hasn't just built a bigger PCIe switch. Scorpio is equipped with many of the same in-network compute capabilities as Nvidia's NVSwitch, which help to accelerate collective communications. These communications are especially important for generative AI inference. Large language models have become rather chatty from a network standpoint as mixture-of-experts (MoE) architectures have caught on. MoE models are composed of multiple sub-models called experts. For each token generated, a different selection of experts, potentially running on different GPUs, may be used. By moving collective communications to the switch, the GPUs spend less time waiting for the network to catch up and more time churning out tokens. Astera has gone so far as to develop a multicast operation optimized for MoE inference that it calls Hypercast. "One of the limitations of the standard multicast is the number of groups you can actually support, as well as the dynamic nature of needing to change those groups on the fly for mixture-of-experts models," Ahmad Danesh, AVP of product management at Astera, told El Reg. Where Scorpio fits in the scale-up ecosystem While there are clear benefits to using PCIe as a chip-to-chip interconnect, Scorpio isn't exactly a replacement for Nvidia's NVSwitch chips. NVSwitch 6, announced at CES in January, offers nearly 3x the bandwidth at 14.4 TB/s. However, Astera doesn't need to compete with NVSwitch directly. In fact, Astera announced plans to extend support for NVLink Fusion, Nvidia's attempt to open its high-speed interconnect to the broader ecosystem, last spring. Instead, Scorpio is being positioned more as a vendor agnostic alternative. Technologies like NVLink Fusion or the emerging UALink protocol are gaining traction, but chips need to be designed around them. PCIe works with just about anything because it's already used to get data in and out of the accelerators. For example, if you wanted to stitch together 32 or more Nvidia RTX Pro 6000 Server cards, you'd need a PCIe switch, since those GPUs don't support NVLink at all. PCIe also makes it easier to mix and match chips for disaggregated inference architectures, like we've seen with Nvidia and Groq, AWS and Cerebras, or Intel and SambaNova. These architectures involve using one accelerator for compute heavy prefill operations and another for bandwidth intensive decode operations. For this to work, the chips have to be connected to one another. Many AI chip builders are doing this over Ethernet, but PCIe would be more direct. Alongside its Scorpio X family of chips, Astera is also expanding its Scorpio P-series switches with models ranging from 32 to 320 lanes of PCIe connectivity. All of these switches work with its COSMOS management suite, a hardware monitoring platform designed to help track down and resolve issues across the network fabric. Astera's refreshed Scorpio switches are currently sampling with production expected to ramp in the second half of 2026. ®
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み