アステラは静かに語り、大規模なスイッチを携える
Astera Labs は、Nvidia の NVSwitch に代わる PCIe 6.0 ベースの「Scorpio X」スイッチを発表し、MoE モデル向けの最適化機能により、広範なアクセラレータを統合した大規模 AI システム構築への新たな選択肢を提供した。
キーポイント
PCIe 6.0 ベースの高性能スイッチ「Scorpio X」の登場
320 ラーンの PCIe 6.0 コネクトivity と 5.12 TB/s の双方向帯域を単一 ASIC で実現し、Nvidia NVSwitch に代わる代替案として発表された。
MoE アーキテクチャ向け「Hypercast」機能の搭載
生成 AI 推論における混合専門家（MoE）モデルの動的なグループ切り替えに対応した最適化マルチキャスト機能をスイッチに実装し、GPU の待機時間を削減する。
Nvidia NVLink との競合・共存戦略
帯域幅では NVSwitch 6 に劣るものの、NVLink Fusion エコシステムへの対応を表明しており、特定のワークロードやコスト効率性を重視するユースケースでの採用を狙っている。
Scorpio は NVSwitch の代替ではなく補完
Scorpio は Nvidia の NVSwitch と直接競合するものではなく、NVLink Fusion や UALink といったプロトコルに依存しないベンダー非依存の代替手段として位置づけられています。
PCIe を活用した異種チップの柔軟な接続
PCIe は既にアクセラレータの標準インターフェースであるため、異なるメーカーや種類のチップを組み合わせた分散推論アーキテクチャの実装を容易にします。
マルチキャストと動的グループ切り替えの課題
従来のマルチキャストにはサポート可能なグループ数の制限があり、エキスパート混合モデル（MoE）のような環境でオンザフライでグループを変更する際に課題が生じます。
Scorpio Pシリーズスイッチの拡充
Asteraは32から320レーンまでのPCIe接続に対応するScorpio Pシリーズスイッチを拡大しています。
重要な引用
Astera contends that with a big enough switch, PCIe is a viable alternative to interconnects like NVLink... without needing to redesign their accelerators.
One of the limitations of the standard multicast is the number of groups you can actually support, as well as the dynamic nature of needing to change those groups on the fly for mixture-of-experts models.
"One of the limitations of the standard multicast is the number of groups you can actually support, as well as the dynamic nature of needing to change those groups on the fly for mixture-of-experts models."
"PCIe works with just about anything because it's already used to get data in and out of the accelerators."
Astera is also expanding its Scorpio P-series switches with models ranging from 32 to 320 lanes of PCIe connectivity.
All of these switches work with its COSMOS management suite, a hardware monitoring platform designed to help track down and resolve issues across the network fabric.
影響分析・編集コメントを表示
影響分析
この発表は、AI ハードウェア市場における Nvidia の NVLink 独占体制に対する最初の明確な対抗馬の登場を示唆しており、特に大規模モデル推論におけるネットワークボトルネック解消への新たなアプローチを提示します。業界全体として、ベンダーロックインからの脱却と、PCIe 標準を活用した柔軟でコスト効率の高いラックスケール AI システム構築が加速する可能性があります。
編集コメント
Nvidia の NVSwitch に代わる実用的な代替案として PCIe スイッチが台頭してきたことは、AI インフラ市場の民主化に向けた重要な転換点と言えます。特に MoE モデルの普及に伴い、ネットワーク層での最適化機能が競争力の鍵となることを示しています。
Astera Labs は火曜日、ラック規模の AI システム構築における Nvidia の NVSwitch に対する代替案を発表し、ほぼあらゆるアクセラレータと互換性があると主張しました。
コードネーム「Scorpio X」のこの AI ファブリックスイッチは、5.12 TB/s の双方向帯域幅を持つ単一の ASIC に、320 ラインの PCIe 6.0 コネクティビティを凝縮しています。
歴史的に、PCIe スイッチはスケールアウトコンピューティングファブリックを含む様々な用途で利用されてきました。CPU だけでは、必要なすべての GPU、NIC（ネットワークインターフェースカード）、ストレージに対して十分な数または速度のラインを提供できないためです。そのため、すべてを CPU に直接接続するのではなく、NIC に組み込まれることが多い PCIe スイッチを用いて相互接続を行ってきました。
Astera は、十分に大きなスイッチがあれば、PCIe は NVLink などのインターコネクトに対する実用的な代替手段となり得ると主張しています。これは、アクセラレータの再設計を必要とせずに数十個以上の GPU をあたかも単一の大型デバイスのように動作させるために用いられるスケールアップファブリック [scale-up fabrics] の文脈においてです。
しかし、Astera は単に大きな PCIe スイッチを作っただけではありません。Scorpio には、Nvidia の NVSwitch と同様に集合通信を加速する機能を持つ、多くのネットワーク内コンピューティング機能が搭載されています。
これらの通信は、生成 AI の推論において特に重要です。混合専門家（MoE）アーキテクチャが普及したことで、大規模言語モデルはネットワークの観点から非常に「話し好き」になっています。
MoE モデルは、エキスパートと呼ばれる複数のサブモデルで構成されています。生成される各トークンに対して、異なるエキスパートの組み合わせが使用されることがあり、これらは異なる GPU で実行される可能性があります。
集合通信をスイッチに移動させることで、GPU はネットワークの追いつき待ち時間を短縮し、トークンの生成に割く時間を増やすことができます。
Astera は、MoE 推論に最適化されたマルチキャスト操作を開発しており、これを「Hypercast」と呼んでいます。
"標準的なマルチキャストの一つの制限は、実際にサポートできるグループ数と、混合エキスパートモデルにおいてこれらのグループをその場で動的に変更する必要があるという性質です。"と、Astera の製品管理担当副社長である Ahmad Danesh 氏は *El Reg* に語りました。
スコアピオがスケールアップエコシステムで果たす役割
チップ間相互接続として PCIe を使用することには明確な利点がありますが、スコアピオは Nvidia の NVSwitch チップの完全な代替品というわけではありません。1 月に CES で発表された NVSwitch 6 は、14.4 TB/s の帯域幅を備え、ほぼ 3 倍の性能を提供します。
しかし、Astera が NVSwitch と直接競合する必要はありません。実際、Astera は昨春、Nvidia の高速相互接続をより広いエコシステムに開放しようとする試みである「NVLink Fusion」へのサポート拡張を発表しました 計画。
その代わり、Scorpio はベンダー非依存の代替手段としてより位置づけられています。NVLink Fusion や新興の UALink プロトコルなどの技術は注目を集めていますが、これらの技術に合わせたチップ設計が必要です。
PCIe は、アクセラレータへのデータ入出力にすでに使用されているため、ほぼあらゆる機器と動作します。例えば、32 枚以上の Nvidia RTX Pro 6000 Server カードを結合したい場合、それらの GPU は NVLink を全くサポートしていないため、PCIe スイッチが必要になります。
また、PCIe は、Nvidia と Groq、AWS と Cerebras、Intel と SambaNova で見られたような 非集約推論 アーキテクチャにおいて、チップを自由に組み合わせることを容易にします。
これらのアーキテクチャでは、計算集約型のプリフィル演算には 1 つのアクセラレータを、帯域幅集約型のデコード演算には別のアクセラレータを使用します。これが機能するためには、チップ同士が接続されている必要があります。多くの AI チップメーカーはイーサネットを通じてこれを行っていますが、PCIe の方がより直接的です。
- Amazon Web Services によるネットワークの消滅化計画の詳細
- 帯域幅を大量消費するユーザーへ朗報、Celestica の最新スイッチは 1.6 Tbps イーサネットポートを 64 基も備えている
- Google が TPUs を一部の顧客に販売、これらの顧客はまた大規模な G グループの GPU も好んでいる
- Meta、AWS Graviton コアを「数千万個」契約することで武装強化
Scorpio X シリーズチップとともに、Astera は 32 レーンから 320 レーンの PCIe 接続性を備えたモデルを含む、Scorpio P シリーズスイッチの展開も拡大しています。
これらすべてのスイッチは、ネットワークファブリック全体にわたる問題の特定と解決を支援するために設計されたハードウェア監視プラットフォームである COSMOS 管理スイートと連携して動作します。
Astera の刷新された Scorpio スイッチは現在サンプル供給中で、量産は 2026 年後半に本格化すると見込まれています。®
原文を表示
Astera Labs unveiled an alternative to Nvidia's NVSwitch for building rack-scale AI systems on Tuesday, claiming it will work with nearly any accelerator.
The AI fabric switch, codenamed Scorpio X, crams 320 lanes of PCIe 6.0 connectivity into a single ASIC with 5.12 TB/s of bidirectional bandwidth.
Historically, PCIe switches have been used in a variety of applications including scale-out compute fabrics. CPUs alone either didn't offer enough or fast enough lanes for all the GPUs, NICs, and storage required. So, rather than hanging everything off the CPU, a PCIe switch, often built into the NIC, was used to connect everything together.
Astera contends that with a big enough switch, PCIe is a viable alternative to interconnects like NVLink, in the scale-up fabrics used to make dozens or more GPUs behave more like a single large one without needing to redesign their accelerators.
However, Astera hasn't just built a bigger PCIe switch. Scorpio is equipped with many of the same in-network compute capabilities as Nvidia's NVSwitch, which help to accelerate collective communications.
These communications are especially important for generative AI inference. Large language models have become rather chatty from a network standpoint as mixture-of-experts (MoE) architectures have caught on.
MoE models are composed of multiple sub-models called experts. For each token generated, a different selection of experts, potentially running on different GPUs, may be used.
By moving collective communications to the switch, the GPUs spend less time waiting for the network to catch up and more time churning out tokens.
Astera has gone so far as to develop a multicast operation optimized for MoE inference that it calls Hypercast.
"One of the limitations of the standard multicast is the number of groups you can actually support, as well as the dynamic nature of needing to change those groups on the fly for mixture-of-experts models," Ahmad Danesh, AVP of product management at Astera, told *El Reg*.
Where Scorpio fits in the scale-up ecosystem
While there are clear benefits to using PCIe as a chip-to-chip interconnect, Scorpio isn't exactly a replacement for Nvidia's NVSwitch chips. NVSwitch 6, announced at CES in January, offers nearly 3x the bandwidth at 14.4 TB/s.
However, Astera doesn't need to compete with NVSwitch directly. In fact, Astera announced plans to extend support for NVLink Fusion, Nvidia's attempt to open its high-speed interconnect to the broader ecosystem, last spring.
Instead, Scorpio is being positioned more as a vendor agnostic alternative. Technologies like NVLink Fusion or the emerging UALink protocol are gaining traction, but chips need to be designed around them.
PCIe works with just about anything because it's already used to get data in and out of the accelerators. For example, if you wanted to stitch together 32 or more Nvidia RTX Pro 6000 Server cards, you'd need a PCIe switch, since those GPUs don't support NVLink at all.
PCIe also makes it easier to mix and match chips for disaggregated inference architectures, like we've seen with Nvidia and Groq, AWS and Cerebras, or Intel and SambaNova.
These architectures involve using one accelerator for compute heavy prefill operations and another for bandwidth intensive decode operations. For this to work, the chips have to be connected to one another. Many AI chip builders are doing this over Ethernet, but PCIe would be more direct.
- Inside Amazon Web Services' plan to make networking disappear
- Bandwidth hogs rejoice, Celestica's latest switch is bristling with 64 ports of 1.6 Tbps Ethernet
- Google to sell its TPUs to some customers, who also fancy big-G GPUs
- Meta Arms itself to the teeth by signing for 'tens of millions' of AWS Graviton cores
Alongside its Scorpio X family of chips, Astera is also expanding its Scorpio P-series switches with models ranging from 32 to 320 lanes of PCIe connectivity.
All of these switches work with its COSMOS management suite, a hardware monitoring platform designed to help track down and resolve issues across the network fabric.
Astera's refreshed Scorpio switches are currently sampling with production expected to ramp in the second half of 2026. ®
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み