推論が AI チップ新興企業に再び市場参入の機会をもたらす

AI の採用は、新しいモデルのトレーニングからそれらの提供へと焦点が移ることで転換点に達しています。Nvidia のパイの一部を分け合おうと競う AI スタートアップにとって、今がその時か永遠にないかの局面です。トレーニングと比較すると、推論（inference）ははるかに多様なワークロードであり、チップスタートアップが自分たちのニッチを切り開く機会を提供しています。バッチ処理による大規模な推論には、AI アシスタントやコードエージェントとは異なる計算、メモリ、帯域幅の組み合わせが必要です。このため、推論はますます異質化しており、その特定の側面は GPU や他のより専門的なハードウェアにより適している可能性があります。Nvidia が昨年 12 月に Groq を 200 億ドルで買収した事例がこれの良い例です。スタートアップの SRAM（静電容量メモリ）を多用するチップアーキテクチャにより、十分な数のチップがあれば、Groq の LPUs はどの GPU よりも高速にトークンを生成できました。しかし、限られた計算能力と陳腐化したチップ技術のため、それらを効率的にスケールさせることはできませんでした。Nvidia はこの問題を回避し、推論パイプラインの計算集約的なプリフィル（prefill）部分を自社の GPU に移動させながら、帯域幅制約のあるデコード（decode）演算を新しい LPUs 上で実行しました。 この組み合わせは Nvidia 固有のものではありません。GTC の翌週、AWS は独自の分離型計算プラットフォームを発表し、プリフィルには独自開発の Trainium アクセラレータを、デコードには Cerebras Systems の夕食皿サイズのウェーハスケールアクセラレータを使用しました。Intel もまたこの動きに参加し、GPU（おそらく昨年の北半球の秋に予告されたもの）をプリフィルに、AI チップスタートアップである SambaNova の新しい RDUs をデコードに使用するリファレンスデザインを発表しています。これまでのところ、AI チップスタートアップの勝利のほとんどは、方程式のデコード側にありました。SRAM は容量が特に大きいわけではありませんが、驚くほど高速です。したがって、十分な数のチップがあれば（Cerebras の場合は少なくとも大きな 1 つのチップがあれば）、デコード演算を加速するのに適していますが、チップスタートアップがこの領域に限定されているわけではありません。 今週、Lumai は光学的推論アクセラレータの詳細を発表しました。これは電子ではなく光を用いて、純粋なデジタルアーキテクチャの几分の一の電力で、機械学習ワークロードの中核をなす行列乗算演算を実行します。Lumai は、2029 年までに次世代の Iris Tetra システムが 10kW の電力予算内で AI パフォーマンスのエクサ OPS を達成すると期待しています。技術的にはチップはハイブリッド電光アーキテクチャを使用していますが、推論中に実行される計算の大部分はチップの光学テンソルコアによって処理されます。当初、同社はこのチップを、バッチ処理などの計算集約型推論ワークロードに対する GPU の代替品として位置付けています。長期的には、同社は光学的アクセラレータをプリフィルプロセッサとしても使用する計画です。アーキテクチャはまだ初期段階にありますが、Llama 3.1 8B や 70B などの数十億パラメータモデルを実行可能であり、英国のスタートアップはすでに評価のために新クラウド企業やハイパースケール企業に対してチップを公開しています。 ただし、すべての AI チップスタートアップがプリフィルとデコードに異なるチップを使用することに熱心なわけではありません。先週、Tenstorrent は RISC-V ベースの Galaxy Blackhole 計算プラットフォームを発表し、同社のジム・ケラー CEO が分離型推論方式を支持していないことは言うまでもありません。「業界のすべての企業が、アクセラレータを作るためのアクセラレータを作るために連携しています。CPU はコードを実行します。GPU は CPU を加速します。TPU は GPU を加速します。LPU は TPU を加速します。そしてその通りです。これにより複雑なソリューションが生まれますが、AI モデルや用途の変化との互換性は低いでしょう。Tenstorrent では、より一般的で単純なものが機能すると考えました」と彼は声明で述べています。®

推論が AI チップ新興企業に再び市場参入の機会をもたらす

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

調べる

選ぶ

サイト