On AI Hardware (7 minute read)｜AI ハードウェアに関する考察（7 分読了）

現代の GPU 内部にある演算ユニットは、LLM（大規模言語モデル）推論の多くの時間を待機状態に費やしています。 H100 は膨大なテンソル処理能力を持ち、精度やスパース性をカウントするかどうかによって異なりますが、そのスループットは毎秒 2〜4 ペタフロップス（PFLOP/s）のオーダーです。しかし、自己回帰的デコード（autoregressive decode）においては、ボトルネックとなるのは通常乗算演算ではありません。バッチサイズが低から中程度のデコードでは、新しいトークンごとにシステムはアクティブなモデル重みを読み込み、蓄積された状態に対してアテンション（attention）を計算する必要があり、GPU の HBM（ハイバンド幅メモリ）帯域幅（H100 SXM 版では約 3.35 TB/s）には限界があります。メモリから取得したバイトあたり数百回の有用な演算を実行しない限り、テンソルコアは完全に稼働し続けることができません。 ¹ 正確な比率は精度や会計基準に依存しますが、重要な点は安定しています。現代の GPU は、HBM から読み出せるバイトあたり数百単位の計算リソースを備えています。自己回帰的デコードはこの閾値を大幅に下回っています。 この問題は GPU の世代を超えて継続しています。デコードフェーズにおけるピークテンソル処理能力は、外部メモリ帯域幅よりも速く成長しているため、演算強度（operational intensity）のギャップは解消されていません。むしろ拡大する一方です。 これが現在、最も興味深い AI ハードウェア市場の背景にある基本的な事実です。この分野の企業にとって有益な問いは、どの部分でメモリ問題を解決しようとしているか、そしてその解決策が NVIDIA と正面から競合することを回避できるかどうかです。市場は、その制約にどこを攻撃するかによって整理されつつあります：チップ内部、サービングエンジン内部、キャッシュ階層内部、あるいは物理パッケージおよびラック内部です。 ## 断片的なチップの景観 [Groq ↗](https://groq.com/) は HBM を全く搭載しないチップを開発し、代わりにオンチップ SRAM（プロセッサダイに直接組み込まれたメモリで、DRAM よりもはるかに高速ですが密度が低いため、単位面積あたりの容量は大幅に少なくなります）を置き換えました。実行モデル全体が決定的でした。コンパイラはすべてのサイクルを静的にスケジューリングし、キャッシュも動的スケジューリングも存在しません。大規模なモデルを保持するには多くのチップが必要になりますが、HBM を待つ必要はありません。NVIDIA との Groq の提携により競争の枠組みが変化しました：SRAM 型推論はもはやスタートアップへの賭けだけでなく、NVIDIA 自身のプラットフォームロードマップの一部となっています。その結果、Groq 3 LPX 推論アクセラレータが開発され、メイン GPU と並んで NVIDIA の [Vera Rubin ↗](https://nvidianews.nvidia.com/news/nvidia-vera-rubin-platform) プラットフォームに統合されました。 [Cerebras ↗](https://cerebras.ai/) は、H100 デバイスの面積の 50 倍以上に及ぶ単一のチップをシリコンウェーハ全体にわたって構築し、オンチップ SRAM を 44 GB、内部メモリ帯域幅を 21 PB/s 搭載しています。同じ基本理念ですが、実現メカニズムは異なります。同社は 2026 年 5 月に上場しました。 [MatX ↗](https://matx.com/) は、トランスフォーマー推論のアクセスパターンに最適化されたスクラッチパッドメモリ（ハードウェア管理型キャッシュではなくソフトウェア管理型の高速メモリ）を中心に構築を進めています。[d-Matrix ↗](https://www.d-matrix.ai/) は、演算をメモリ配列自体内に移動させるインメモリーコンピューティングを実現しています。 これらすべては、データが存在する場所と演算が行われる場所との間のギャップを縮小または解消しようとする異なる試みです。 ## 推論エンジン 不完全なハードウェアであっても、ソフトウェアによってボトルネックを迂回することが可能です。これに基づいて、有用な簡易的な屋根線（roofline）ヒューリスティックが導き出されます。粗い屋根線ヒューリスティックによれば、デコード時のバッチサイズはおよそ 300×(Ntotal/Nactive) に比例してスケーリングします。ここで、300 という値は現在のハードウェアにおけるピーク演算能力とメモリ帯域幅の比を反映したものです。密結合モデルの場合、これは約 300 トークンに相当します。一方、DeepSeek ↗ (https://www.deepseek.com/) スタイルの MoE（Mixture of Experts）では、1 トークンあたり総パラメータ数 700B のうち約 37B がアクティブとなるため、近似バッチサイズは約 6,000 に近づきます。実際には、真の値は精度、KV キャッシュの圧力、並列化戦略、レイテンシ目標、およびサービングスタックによって変動しますが、重要なのは方向性です。この点より下では帯域幅が制限要因となり、上では計算能力が次第に制限要因となります。大まかなハードウェアレベルでは、システムは数十ミリ秒オーダーのサイクルで動作していると考えることができます。これは HBM（High Bandwidth Memory）をストリーミングするのにかかる時間とほぼ同等であり、各サイクルでアクティブなシーケンスごとに 1 つ新しいトークンを生成します。 これに基づいて生じるスケジューリング問題は、レイテンシ目標を満たしつつスループットを最大化するために、リクエストをこれらのサイクルにどのように詰め込むかという点にあります。プリフィル（Prefill）は通常計算集約型であり、デコード（Decode）は通常メモリ帯域幅に敏感です。これらはハードウェアから異なる要求を持ち、効率的に混合することは困難です。 [RadixArk ↗](https://www.radixark.com/) と [Inferact ↗](https://inferact.ai/) は、この分野に最近参入しました。RadixArk は SGLang ↗](https://github.com/sgl-project/sglang) チームであり、推論（inference）のために SGLang 上に商用インフラを構築し、強化学習（RL）トレーニングのために Miles ↗](https://github.com/radixark/miles) を開発しています。Inferact は vLLM ↗](https://github.com/vllm-project/vllm) チームであり、vLLM を用いて同様の取り組みを行っています。両者ともカリフォルニア大学バークレー校のプロジェクトで広く展開されており、現在は企業として互いに競い合っています。 なぜこれが興味深いのでしょうか？それは問題が複合化しているからです。新しいモデルアーキテクチャや新しいハードウェアプラットフォームが登場するたびに、最適化の範囲（optimization surface）が変化します。Roofline-aware scheduling に深い専門知識を蓄えたチームは、ハードウェアが多様化し、ワークロードが多様化するにつれて問題がより困難になるため、成長する優位性を獲得します。より目立たない質問は、この市場が一つの支配的なエンジンに集約されるのか、それとも内部フォーク、マネージドサービス、オープンソースのデフォルト設定 across 断片化されるのかという点です。RadixArk は Miles を通じてある程度の差別化を図っており、これにより強化学習トレーニングという第二の領域を獲得しています。しかし、推論における直接対決は熾烈なものとなるでしょう。 ## KV cache インフラストラクチャ メモリ問題は重みの読み出しよりも深い問題を含んでいます。推論中、コンテキスト内のすべての過去トークンに対する保存されたアテンション状態である KV キャッシュ（KV cache）も読み出されます。重みは固定されていますが、KV キャッシュはコンテキスト長とバッチサイズに比例して線形に増加します。 大規模なトランスフォーマーモデルにおいて、すべての層、KV ヘッド、ヘッド次元、および精度を考慮すると、1 トークンあたりの KV キャッシュは容易に数百 KB に達します。約 100B のアクティブパラメータを持ち、トークンあたり総 KV フットプリントが約 500 KB のモデルの場合、200,000 トークンで KV キャッシュは 100 GB に達し、重みのフットプリントと一致します。これより少ない場合は、主に重み読み出しに対して支払っている状態です。これを超えると KV キャッシュが支配的となり、コストは直線的に上昇します。これは、200K トークンなどの閾値を過ぎた際に長文コンテキストの価格設定が段階的に上がるという、妥当な技術的理由の一つですが、価格設定には製品セグメンテーションやキャパシティプランニングも反映されています。 [Reiner Pope の講義 ↗](https://www.dwarkesh.com/p/reiner-pope) からの興味深い観察として、メモリ階層がこれにどのようにマッピングされるかがあります。各階層の「排水時間」（容量を帯域幅で割った値）が、その自然な保持期間を設定します。HBM は約 20 ミリ秒で排水され、DDR は数秒、Flash は約 1 分、スピンドルディスクは約 1 時間で排水されます。アイドル状態の会話で KV キャッシュを保持している場合、HBM を独占するのではなく、この階層を下に移動させるべきです。 [TensorMesh ↗](https://www.tensormesh.ai/) はこれを基盤に構築を進めています。彼らのオープンソースプロジェクト [LMCache ↗](https://github.com/lmcache/lmcache) は、KV キャッシュを GPU、CPU RAM、NVMe、S3 にわたって保存するため、再利用可能な KV 状態は最初から再計算されるのではなく、呼び戻されます。私の推測では、これは大規模なスタンドアロンプラットフォームとして残るよりも、サービングエンジンに吸収される可能性が高いですが、その間 LMCache は、まだエンジンが直接引き受けようとしていない作業を遂行しています。 ## パッケージングと相互接続 チップおよびサーバーレベルでメモリとスケジューリングを限界まで押し上げると、制約はパッケージ、基板、そして最終的にはラックへと外側へ移行します。 CoWoS（TSMC の先進的なパッケージング技術であり、インターポーザ上で GPU デイスを HBM スタックに物理的に接続するもの）は、真の供給ボトルネックとなっています。72-GPU システムから 500+ GPU のスケールアップドメインへの移行は、単なるネットワークの問題ではありません。コネクタ密度、ケーブルの曲げ半径、電力供給、液体冷却、HBM アタッチ歩留まりといった問題に直面します。これらの問題は機械工学および材料科学の領域であり、チップ企業が得意とする分野から実質的な距離を生み出しています。 考えるべき並行事例は、すべての先進ファブが依存するリソグラフィ装置を製造する ASML です。同社は競合他社と競合することなく、すべてのチップ設計者を支援しています。パッケージングや相互接続のボトルネックを突破した企業は、ASML のような市場ポジションに立つ可能性があります。ただし、独占性は低くなるでしょう：ここでの価値は、EUV リソグラフィがシステム・オブ・システムとして単一企業に集中するのとは異なり、TSMC、基板ベンダー、光相互接続サプライヤー、ODM の間で分散される可能性が高いです。 ## The picture 市場はメモリに関する問題のスタックへと変化しています。チップは重みを計算ユニットに近い位置に保とうとします。サービング・エンジンは帯域幅を回避してバッチ処理とスケジューリングを試みます。KV キャッシュ・システムは、アテンション状態を HBM に放置するのではなく、階層を通じて移動させようとします。パッケージングと相互接続は、ラックがより一つのマシンのように動作するように目指しています。 [LMCache ↗](https://github.com/lmcache/lmcache) は、オープンソースプロジェクト TensorMesh の基盤となっているものであり、同社がスタンドアロン版の販売を試みている最中にもかかわらず、主要なサービング・エンジンやランタイムに取り込まれ始めています。おそらくこれがテンプレートとなるでしょう。有用なプリミティブは統合され、スタンドアロンのラッパーは別の役割を見つける必要があります。 そして、Transformer アーキテクチャが固定機能シリコンに焼き付けるのに十分確立されたと賭ける全く異なる種類の賭けをしているのが [Etched ↗](https://www.etched.com/) です。もし彼らが正しければ、すべてのトランジスタがまさに正しいことを実行します。しかし間違っていれば、汎用アクセラレータの場合よりもはるかに少ない余地しか残されません。そして現在、NVIDIA の Rubin プラットフォームが Groq 買収を通じて独自の SRAM ベースの推論アクセラレータ（SRAM-based inference accelerator）を含んでいるため、Etched はもはやレガシー GPU とだけ競合しているわけではありません。 主要な対抗勢力はアルゴリズムの進歩です。ハードウェアの変化は緩やかですが、サービング技術やモデルアーキテクチャは急速に進化します。推測的デコーディング（speculative decoding）、KV キャッシュ圧縮（KV-cache compression）、スパース性（sparsity）、蒸留（distillation）、ネイティブ低ビットモデル（native low-bit models）はいずれも、有用なトークンあたりに必要なメモリアクセス量を削減し、これらの技術がきれいにスケーリングすれば、一部の特殊なハードウェアアプローチに対する必要性を弱めます。しかし、それらが根本的な制約を取り除くわけではありません。その形状を変えるだけです。低精度化はパラメータあたりのバイト数を減らしますが、ネイティブ低ビット演算（native low-bit arithmetic）への需要を生み出します。推測的デコーディングは重みの読み出しを分散させますが、ドラフトモデルの採用率に依存し、KV キャッシュへの負荷はそのまま残ります。スパース性はアクティブなパラメータ数を減らしますが、ルーティングと相互接続の複雑さを増大させます。目標は移動しており、そのため持続可能なハードウェア企業には、ボトルネックがシフトしても有用であり続けるアーキテクチャが必要です。 私は、各レイヤーにおいて持続可能な企業が構築されると信じています。しかし、これらの企業が独立したまま存続できるかどうかは、まだ明確ではありません。AI インフラストラクチャにおける最も有用なプリミティブ（基本構成要素）は、サービングエンジン、クラウド、研究所、あるいは NVIDIA 自体によってすぐに吸収されてしまう傾向があります。難しいのは、ボトルネックが重要であることを証明することではなく、スタックの他のどこでも内部化できない制御ポイントを所有することです。 翻訳全文

AI ハードウェアに関する考察（7 分読了）

背景や根拠まで確認しますか？

調べる

選ぶ

サイト