推論が AI チップ新興企業に再び市場参入の機会をもたらす

AI の導入は、新しいモデルのトレーニングからそれらの提供へと焦点が移ることで転換点に達しています。Nvidia の市場シェアを巡って争っている AI スタートアップにとって、今がそのチャンスです。 トレーニングと比較すると、推論（inference）ははるかに多様なワークロードであり、これはチップスタートアップが独自のニッチを切り開く機会となります。大規模バッチの推論には、AI アシスタントやコードエージェントとは異なる計算、メモリ、帯域幅の組み合わせが必要です。 このため、推論はますます異種混合化しており、その一部の側面は GPU や他のより専門的なハードウェアにより適している可能性があります。 Nvidia が昨年 12 月に Groq を 200 億ドルで買収した事例（[acquihire](https://www.theregister.com/2025/12/31/groq_nvidia_analysis/)）は、その好例です。スタートアップの SRAM に依存するチップアーキテクチャにより、十分な台数を揃えれば、Groq の LPUs は GPU よりも高速にトークンを生成できました。しかし、限られた計算能力と陳腐化したチップ技術のため、効率的にスケールさせることはできませんでした。 Nvidia は [この問題を回避](https://www.theregister.com/2026/03/19/nvidia_lpx_deep_dive/) するために、推論パイプラインの計算集約的なプリフィル（prefill）部分を GPU に移動させつつ、帯域幅制約のあるデコード（decode）操作を新しい LPUs に維持しました。 この組み合わせは Nvidia に固有のものではありません。GTC の翌週、AWS は独自のアグリゲート型計算プラットフォームを発表し、事前処理（prefill）には独自の Trainium アクセラレータを、デコード（decode）には Cerebras Systems の Dinner-プレートサイズのウェーハスケール・アクセラレータを使用しました。 Intel もまたこの動きに参加しており、GPU を使用したリファレンスデザインを発表しました。おそらくこれは昨年の北半球の秋に示唆されたもので、事前処理には GPU を、AI チップスタートアップである SambaNova の新しい RDUs（Reconfigurable Dataflow Units）をデコードに使用するものです。 これまでに AI チップスタートアップが獲得した成果の多くは、方程式のデコード側におけるものです。SRAM は容量が大きくはありませんが、驚くほど高速です。したがって、十分な数のチップ、あるいは Cerebras の場合のように十分に大きなチップがあれば、デコード演算の加速に適していますが、チップスタートアップがこの方式に限定されているわけではありません。 今週、Lumai は光学推論アクセラレータの詳細を公開しました。これは電子ではなく光を用いて、純粋なデジタルアーキテクチャのほんの一部の電力で、機械学習ワークロードの中核である行列乗算演算を実行するものです。 Lumai は、2029 年までに次世代の Iris Tetra システムが 10kW の電力予算内で AI パフォーマンスの exaOPS（10^18 オペレーション/秒）を達成すると期待しています。 技術的には、チップはハイブリッド電気光学アーキテクチャを採用していますが、推論中に実行される計算の大部分は、チップ内の光学テンソルコアによって処理されます。 当初、同社はこのチップを、バッチ処理などの計算集約型推論ワークロードに対する GPU の代替品として位置付けています。長期的には、光学アクセラレータをプリフィル（prefill）プロセッサとしても活用する計画です。 アーキテクチャはまだ初期段階にありますが、Llama 3.1 8B や 70B といった数十億パラメータモデルを実行できるまでに発展しており、英国のスタートアップである同社はすでに評価のために、ネオクラウドやハイパースケール企業向けにチップを公開しています。 - バンド幅を大量消費するワークロードを持つ方々へ朗報です。Celestica の最新スイッチは 1.6 Tbps イーサネットポートを 64 基も備えています - Google は一部の顧客に対して TPUs を販売し、これらの顧客はまたビッグ G の GPU も好んでいます - Amazon のチップはもはやサイドディッシュではなく、200 億ドル規模のビジネスとなっています - Tenstorrent の Galaxy Blackhole AI サーバーがイベントホライズンを脱出しました とはいえ、すべての AI チップスタートアップがプリフェッチとデコードに異なるチップを使用することに熱心なわけではありません。先週、テンストーレン [unveiled](https://www.theregister.com/2026/04/28/tenstorrent_galaxy_blackhole_ai_servers_ga/) は RISC-V ベースの Galaxy Blackhole 計算プラットフォームを発表し、同社のジム・ケラー CEO が分散型推論方式を好まないことは言うまでもありません。 「業界のすべての企業が、アクセラレーターを加速するアクセラレーターを構築するために連携しています。CPU はコードを実行します。GPU は CPU を加速します。TPU は GPU を加速します。LPU は TPU を加速します。そしてその通りです。これにより複雑なソリューションが生み出されますが、AI モデルや用途の変化との互換性は低いでしょう。テンストーレンでは、より一般的で単純なものが機能すると考えました」と、同氏は [statement](https://tenstorrent.com/newsroom/tenstorrent-enables-ai-at-scale-with-industry-leading-performance) で述べています。®

推論が AI チップ新興企業に再び市場参入の機会をもたらす

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト