2023-2031 年のモデルサイズスケーリング

トークン生成速度は、関連する HBM（高帯域幅メモリ）を読み込む速度によって制約されます。これは主に重みと KV キャッシュです。モデルが非常に大きく、単一のパスで重みを走査する際に HBM の半分を超えるデータを読み込む必要がある場合、スケールアップシステム内では並列読み込みが行われ、パイプラインには N 個のそのようなシステムが使用されます。このとき、推測デコーディングを含まないトークン生成にかかる時間は、少なくとも HBM スタックの半分以上を読み込む時間×N になります。特定のトークン生成速度を目標とする場合、これはパイプラインステージ数に制約を与え、それがモデルの総パラメータ数にも制約をもたらします。しかし、事前学習計算リソースが十分でない場合、モデルはこの制約よりも小さく留まることになります（与えられたアクティブパラメータ数におけるスパース性が低いほど、トークン生成速度は高くなるため）。したがって、両方の要因を考慮する必要があります。 これらの考慮事項を積み重ねることで、2023年から2031年の各年において実現可能なモデルサイズが導き出されます。パラメータ数は、2026年には8倍のスパース性（なおもオーバーンラックに制約され、1.3e27 FLOPsで訓練）で10Tから始まり、2028年には30倍のスパース性（利用可能な事前学習計算リソースに対してキバーラックが十分である）で240Tへ、そして2031年には30倍のスパース性（8倍のキバー・ファインマンスケールアップシステムで提供され、2.2e29 FLOPsで訓練）で1.4京（quadrillion）へと拡大します。2027年からは十分な事前学習データの不足によりモデルサイズがさらに膨らみ、2031年のモデルは無限のトレーニングデータが存在した場合に予測されるものよりも4倍大きくなければなりません。これらの推定には多くの仮定が含まれており、それらは随時明記していきます。 HBMスタックを完全に読み込むまでの時間 H100は、各計算ダイあたり5スタックの8-Hi HBM3（DRAMダイあたり2 GB、スタックあたり0.8 TB/s）を搭載し、完全読み込みに20 ms要します。H200は、各計算ダイあたり6スタックの12-Hi HBM3 [[1]](#fn-iN4rjTQjQfPTCYb5o-1) を搭載し、読み込みに30 ms要します。B200/GB200は、各計算ダイあたり4スタックの8-Hi HBM3E（DRAMダイあたり3 GB、スタックあたり1.0 TB/s）を搭載し、読み込みに24 ms要します。GB300は、4スタックの12-Hi HBM3を搭載し、読み込みに36 ms要します。2026年の非ウルトラ・ルービンチップは、各計算ダイあたり4スタックの12-Hi HBM4（DRAMダイあたり3 GB、スタックあたり2.75 TB/s [[2]](#fn-iN4rjTQjQfPTCYb5o-2)）を搭載し、読み込みに13 ms要します。 Rubin Ultra はおそらく HBM4E の 12-Hi スacks を使用します [[3]](#fn-iN4rjTQjQfPTCYb5o-3) (DRAM ダイあたり 4 GB、ピン数 2048、ピンあたり 14-16 Gbps。これはスタックあたり 3.6-4.0 TB/s に相当 [[4]](#fn-iN4rjTQjQfPTCYb5o-4))。読み込みには 12-13 ms かかります。HBM4E がピンあたり 16 Gbps で安定して達成されている現状を維持しつつ、スタックが 16-Hi になった場合、2028 年の初年度 Feynman では計算用ダイあたり 2 つのスタックを使用する可能性があります [[5]](#fn-iN4rjTQjQfPTCYb5o-5)。これにより完全な読み込みに 16 ms を要します。2029 年の HBM5（おそらく Feynman の 2 年目に採用される）は、ピン数 4096 を使用し、ピンあたり 8 Gbps から始まる可能性があります。ただし、非 Ultra Rubin の HBM4 に関する状況から判断すると、11 Gbps に基準を合わせるべきでしょう。これによりスタックあたり 5.6 TB/s が得られます。DRAM ダイあたり 5 GB で 16-Hi スacks とした場合、読み込みには 14 ms かかります。 したがって、H100 および H200 はそれぞれ 20 ms と 30 ms、GB200 および GB300 はそれぞれ 24 ms と 36 ms、Rubin と Rubin Ultra はともに 13 ms、初年度および 2 年目の Feynman はそれぞれ 16 ms と 14 ms です。 ## 80 トークン/秒未満の最大パイプライン GB300 の HBM スタックを完全に読み切るには、非 Ultra Rubin の場合と比較してほぼ 3 倍の時間がかかります。このような違いは、最大規模モデルを収容する能力を持つスケールアップシステムの台数に関する経験則が、HBM に敏感に依存していることを示唆しています。 具体例として、[トークン生成速度](https://artificialanalysis.ai/#speed) をリクエストあたり 80 トークン/秒（HBM の読み込みのみによる制約であり、実際にはさらに低い速度、おそらく 60 トークン/秒になる）に設定し、[推測的デコーディング](https://inferencex.semianalysis.com/)（または [マルチトークン予測，MTP](https://arxiv.org/abs/2606.12370)）によって生成が 3 倍高速化されると仮定します。この場合、あらゆるリクエストに対して 37.5 ミリ秒ごとにいくつかのトークンを生成・受け入れる必要があります。 パイプラインで GB200 Oberon のラック 3 つを使用し、全 HBM の半分が重み（ウェイト）をホストしていると仮定しましょう。あるラックのもう半分の KV キャッシュは、重みを通過する各パスで実際にすべて読み込まれるわけではありません。なぜなら、パイプラインの現在のフェーズでは 3 つのリクエストのうち 1 つだけがアクティブであり、残りの 2 つは他のラックで処理されているからです。したがって、この構成ではパイプラインステージが HBM の 67%（重み用 50%、KV キャッシュ用 17%）のみを読み込みます。理想的には、これは GB200 のフル HBM スタックを読む時間の 67% に相当し、24 ミリ秒ではなく 16 ミリ秒で済みます。3 つのラックからなる全体のパイプラインを通過するには、リクエストあたり 72 ミリ秒（HBM の読み込みのみ）ではなく 48 ミリ秒で済みます。 N ラックのパイプラインをトラバースするリクエストは、すべてのラックのすべてのウェイトを読み取るために待機します（これは N 個のフル HBM スタックを読み取る時間の半分がかかります）。また、各ラックで KV キャッシュの 1/N を読み取る様子を目撃します（全体として単一の HBM スタックを読み取る時間の半分がかかります）。したがって、GB200 でパイプラインを 37.5 ミリ秒以内に完了させたい場合、パイプラインの長さに関係なく 12 ミリ秒が KV キャッシュの読み取りに費やされ、残りの 25.5 ミリ秒でウェイトの読み取りに使用できます。これはパイプラインステージごとに 12 ミリ秒かかるため、最大で 2 ステージとなります。つまり、75 ミリ秒を 24 ミリ秒で割ると N+1 の上限値が得られます。 この結果、上記の仮定に基づくパイプラインは、**最大で H100 サーバー 2 台、H200 サーバー 1 台、GB200 Oberon ラック 2 基、GB300 Oberon ラック 1 基、Rubin または Rubin Ultra ラック 4 基（いずれも Oberon または Kyber）、初年度 Feynman を搭載した 8x Kyber システム 3 基、または 2 年度 Feynman を搭載した 8x Kyber システム 4 基**を使用可能です。 [Rubin Ultra では 12-Hi HBM スタック、Feynman では計算ダイあたり 2 つの HBM スタック、ラックあたり 576 の計算ダイ](https://www.lesswrong.com/posts/fdCaCDfstHxyPmB9h/vladimir_nesov-s-shortform?commentId=h9LzsJDpmAJvrriBK) を仮定すると、スケールアップシステムあたりの**総 HBM 容量は、H100 サーバーで 640 GB、H200 で 1.1 TB、GB200 Oberon で 14 TB、GB300 および Rubin Oberon ラックで 20 TB、Rubin Ultra Kyber で 110 TB、初年度 Feynman チップを搭載した 8x Kyber システムで 590 TB、2 年度 Feynman チップを搭載した 8x Kyber システムで 740 TB**となります。 HBM キャパシティの半分を FP4 重みに使用し、システムリリースから 1 年後に構築が十分に完了すると仮定すると、リクエストあたり最大 80 トークン/秒（MTP による 3 倍高速化あり）で提供可能な最大のモデルの総パラメータ数に対する上限は以下のようになります。パイプラインによる FP4 パラメータ数の制約は、2023 年の H100 で 1.3T、2024 年の H200 で 1.1T、2025 年の GB200 Oberon で 27T、2026 年の GB300 Oberon で 20T、2027 年の Rubin Oberon ラックで 83T、2028 年の Rubin Ultra Kyber ラックで 442T、2029 年の初年度 Feynman チップを搭載した 8x Kyber システムで 1.7 クワドリリオン、2030 年の 2 年目 Feynman チップを搭載した 8x Kyber システムで 2.9 クワドリリオンです。 非常に大規模モデルにおいて FP8 での提供が重要になる場合、スケールアップシステムによって可能となる総パラメータ数は半分になります。もちろん、これはネットワークや計算オーバーヘッド（マスキングできないもの）を無視しているため、実際には 80 トークン/秒で提供可能なモデルサイズに対する過大評価です。ネットワークを完全に無視していない主な理由は、エキスパート並列処理が異なるスケールアップシステム間ではなく、あくまでスケールアップシステム内でのみ行われる必要があるからです。これは例えば [DeepSeek-V3](https://arxiv.org/abs/2412.19437)（[セクション 3.4.2](https://arxiv.org/pdf/2412.19437v2#page=19) を参照）には適用されませんが、その結果生じる設計上の制約は、おそらく最大規模のモデルに対して持続可能ではないでしょう。 ## プリトレーニング計算量 Nvidia の Rubin における FP8 への明確な賭け、すなわち FP8 から BF16 への性能比が 4.4（前世代チップでは 2 であった）に基づき、最大規模のモデルも FP8 で事前学習されると仮定します。また、FLOP/s の利用率を 40% とした上で、3 か月の事前学習期間を想定します。 2023 年の基準は [GPT-4 の噂で、20K〜25K 台の A100 で事前学習](https://newsletter.semianalysis.com/p/100000-h100-clusters-power-network)（IT 電力 20 MW）です。計算チップあたり 0.3e15 BF16 FLOP/s（FP8 なし）で、上記の仮定のもと 2.1e25 FLOPs に相当します。2024 年モデル（2023 年後半または 2024 年初頭に学習）では、H100 が 32K 台（[Microsoft のグーディヤーサイト](https://newsletter.semianalysis.com/i/178649945/microsoft-and-openai-training-clusters-from-a-fraction-of-a-building-to-the-worlds-largest-facility)で建設中の 1 つの建物）、IT 電力 50 MW、計算チップあたり 2e15 FP8 FLOP/s、総 FLOPs は 2e26 です。2025 年では [H100 が 100K 台、150 MW](https://newsletter.semianalysis.com/p/100000-h100-clusters-power-network)、FLOPs は 6e26 です。2026 年モデルでは [H100 が 200K 台または Trainium 2 Ultra が 300K 台、いずれも IT 電力 300 MW](https://www.lesswrong.com/posts/WjaGAA4xCAXeFpyWm/my-picture-of-the-present-in-ai?commentId=4f3hAJ4GghabQLqNy)、FLOPs は 1.3e27 です。 2025 年後半の事前トレーニング計算量が 300MW という数値は、2025 年末時点での各 AI 企業の第 1 者（自社）総計算リソースが 1-2GW に相当することを意味し、これは 2026 年末には 3-4GW となり、[2027 年末には 10GW に達する](https://www.youtube.com/watch?v=mDG_Hx3BSUE&t=4330s)と予測されます。したがって、2027 年モデルについては、事前トレーニング計算量を 1GW と推定しており、これは H100 では実現できませんが、B200/GB200 または Trainium 2 Ultra などの新世代チップであれば可能でしょう。GB200/GB300 Oberon ラック（ラックあたり 72 パッケージ、パッケージあたり 2 つの計算ダイ）の IT 電力は [140-180kW](https://newsletter.semianalysis.com/i/174558674/nvidia-oberon-rack-architecture-upgrade-vr-nvl144-cpx-vr-nvl144-vr-cpx) と推定され、これにネットワーク機器のオーバーヘッドとしてさらに 10% が加わる可能性があります。この計算により、IT 電力 1GW あたりで 730-930 個の計算ダイが稼働可能となり、具体的な例としては OpenAI の Abilene サイトがあり、そこには 800K 個の計算ダイが設置されています。Blackwell ダイは 2.5e15 FP8 FLOP/s（秒あたりの浮動小数点演算回数）の性能を持ち、上記の仮定に基づけば、2027 年モデルの総計算量は約 6e27 FLOPs に達します。 2028 年のモデルは、AI 企業が保有する総ファーストパーティ計算リソース 10 GW のうち 3 GW を事前トレーニングに使用する可能性があります。これは依然として Blackwell アーキテクチャである可能性があり、演算量は約 2e28 FLOPs（Floating Point Operations）となります。 2028-2030 年の計算リソースについては、SemiAnalysis の推計に基づき [グローバル AI 計算リソースの推定値](https://www.lesswrong.com/posts/fdCaCDfstHxyPmB9h/vladimir_nesov-s-shortform?commentId=xERmNJsHGfMCoFnBN) にアンカー（基準点）を設けます。これにより、2027 年末に 10 GW で開始し、2028 年に 17 GW、2029 年に 28 GW、2030 年に 40 GW と増加する AI 企業が利用可能な総ファーストパーティ計算リソースの推定値が得られます。このシナリオは、2029 年のモデルには事前トレーニングに 5 GW の計算リソースが必要であることを示唆しています（これは 2028 年末に利用可能な 17 GW の約 3 分の 1 に相当します）。おそらく Blackwell アーキテクチャではもはや対応できず、Rubin アーキテクチャである必要があります。17 GW のうち最大 13 GW が Rubin 計算リソースですが、実際にはそれより少ない可能性があり、Oberon ラックに収容されているのはおそらく 5-6 GW に過ぎないでしょう。 [1 ラックあたり 225 kW](https://newsletter.semianalysis.com/i/174558674/nvidia-oberon-rack-architecture-upgrade-vr-nvl144-cpx-vr-nvl144-vr-cpx)（ネットワークオーバーヘッドとして最大 10% の追加を考慮）と仮定すると、1 GW あたり約 58 万個の計算ダイ（Compute Die）が必要となります。各計算ダイあたりの演算速度が FP8 フォーマットで 8.75e15 FLOP/s である場合、2029 年のモデルには 5 GW の計算リソースにより約 8e28 FLOPs が提供されます。 2029 年末時点で、2028 年製の Rubin Ultra Kyber ラックは 7 GW を有し、2029 年製のより新しい初年度 Feynman 8x Kyber システムの 11 GW が既存の最大規模モデルを処理可能であり、第一世代の計算リソースは合計 28 GW です。したがって、Rubin のうち約 7 GW を事前学習に割り当てることができ、これは 1e29 FLOPs に相当します。 2030 年末には、第一世代の計算リソースが 40 GW に達し、2 年目の Feynman 構築完了後は大規模な 8x Kyber スケールアップシステムも不再稀缺となるため、初年度 Feynman の計算リソース 11 GW を事前学習に充てられる可能性があります。事前学習に必要な FLOPs を推定するには、IT（情報技術）電力の総量と、Feynman 用計算ダイあたりの FP8 フロップス/秒の推定値が必要です。 Rubin よりも 30% 高い電力消費を想定し、TSMC の N3P から A16 への移行を考慮すると、[計算ダイあたり 14e15 FP8 FLOPs と推測しています](https://www.lesswrong.com/posts/fdCaCDfstHxyPmB9h/vladimir_nesov-s-shortform?commentId=xERmNJsHGfMCoFnBN)。電力消費が 30% 増となる場合、GW あたりの Feynman 計算ダイ数は約 45 万個となります。これにより、2031 年モデルの事前学習は 2.2e29 FLOPs で実行可能となります。 ## 事前学習計算リソースからの有効パラメータ数 ユニークな事前学習データは最大 200T トークン（その半分程度がテキストデータ）あると仮定します。[2025 年 1 月の論文](https://arxiv.org/abs/2501.12370)によると、MoE モデルのスパース率が 8 倍の場合、デンスモデルと比較してアクティブパラメータあたりのトークン数における計算最適比は 3 倍高く、スパース率が 30 倍の場合は 6 倍高くなります。詳細は [Figure 11 および Figure 12 の左側](https://arxiv.org/pdf/2501.12370v3#page=28)をご参照ください。[2024 年 7 月の Llama 3 405B レポート](https://arxiv.org/abs/2407.21783)によると、デンスモデルの計算最適比は約 4e25 FLOPs でパラメータあたり 40 トークンです。詳細は [Figure 2 および Figure 3](https://arxiv.org/pdf/2407.21783v3#page=8) をご参照ください。これらの基準点を組み合わせると、それぞれ 120 と 240 トークン/パラメータとなります。[2026 年 5 月の論文](https://arxiv.org/abs/2605.01640)は、ユニークなデータの不足分を反復エポック数と計算最適数を上回るアクティブパラメータ数の増加に均等に配分すべきであると、漠然と示唆していると考えられます。 2023年モデルの場合、2.1e25 FLOPs（浮動小数点演算回数）を要求するには、約8倍のスパース性（sparsity）と20兆トークンのトレーニングデータを用いて、170B（1,700億）のアクティブパラメータが必要です。FP4（4ビット浮動小数点）形式で、H100サーバー2台からなる当時のスケールアップシステムにおける制約は、総パラメータ数1.3T（1兆3千億）で8倍スパース性と完全に一致します。GPT-4に関する噂では総パラメータ数が1.8Tとされていますが、当時RLVR（Reinforcement Learning from Verifiable Rewards：検証可能な報酬からの強化学習）や長期推論は懸念事項ではありませんでした。 2024年モデルの場合、2e26 FLOPsを要求するには、約8倍のスパース性と64兆トークンのトレーニングデータを用いて530B（5,300億）のアクティブパラメータが必要となり、これは総パラメータ数で4.2T（4兆2千億）に相当します。これはFP4形式であっても、H100サーバー2台由来の総パラメータ数1.3Tや、H200サーバー1台由来の総パラメータ数1.1Tという上限を大幅に超えるものです。したがって、2024年モデルは利用可能なスケールアップシステムの制約を強く受け、計算最適化された規模よりも遥かに小さくなるか、あるいは低速かつ高コストになるかのいずれかとなります。 6e26 FLOPs で訓練された 2025 年モデルは、約 8 倍のスパース性（110T のトレーニングトークンを使用）で 900B のアクティブパラメータを必要とし、これは合計 7.2T のパラメータを意味します。これは、GB200 Oberon ラック 2 基からなる NVFP4 パラメータの上限である 27T を十分に下回る範囲です。GPT-4.5 はおそらくこの規模にありましたが、それをサポートする GB200 Oberon ラックが存在する前にリリースされました。B200 NVL8 が十分な数で利用可能だった場合、これを収容するには 5 サーバーが必要となり、パイプラインの 1 ラップあたり HBM の読み込みに 68 ms かかります（各サーバーが 1.53 TB で 5 台分のうち 47% が重みであり、残りの 53% の KV キャッシュの 1/5 をパイプラインの 1 パスで読み込むことになります）。MTP による 3 倍のブーストがあったとしても、最大でも 44 トークン/s です。GPT-4.5 が実際にはもっと高速だった場合（GB200 NVL72 が妥当に利用可能になる前）、それは実はより小型だった可能性があります。なぜか、安価にサポートできる GB200 Oberon ラックがさらに増えた後でも、RLVR を伴ってリリースされませんでした。 1.3e27 FLOPs で訓練された 2026 年モデルは、約 8 倍のスパース性（160T のトレーニングトークンを使用）で 1.3T のアクティブパラメータを必要とし、これは合計 10T のパラメータとなります。これは、当時のスケールアップシステムにおけるパイプライン制約である、GB200 Oberon ラック 2 基からの 27T FP4 パラメータ、または GB300 Oberon ラック 1 基からの 20T FP4 パラメータのいずれかの制約を十分に下回ります。これは NVFP4 で GB200 Oberon ラック 1 基にも収まり、GB200 Oberon ラック 2 基を使用すれば FP8 も利用可能です。もし 8 倍のスパース性で十分であれば、2026 年の最大規模モデルはスケールアップシステムによって制約されません。 2027年モデルにおいて、約8倍のスパース性を仮定した場合、事前学習に必要な6e27 FLOPsを賄うには、350Tトークンのトレーニングデータに対して2.9Tのアクティブパラメータが必要となります。これは、実際に利用可能なユニークデータの推定量である200Tトークンと比較して1.75倍に相当します。不足分をより多くのアクティブパラメータと、より多くの反復エポック（学習サイクル）の間で均等に配分すると、アクティブパラメータは1.32倍必要となり、合計3.8Tとなります（これは200Tのユニークトークンを1.32エポックにわたって訓練した場合に相当）。一方、総パラメータ数は30Tです。これは、4基のRubin Oberonラックからなるパイプラインによる制約である83Tの総パラメータ数よりもはるかに低い水準です。AI企業がより高いスパース性を採用して総パラメータ数を増やすか、あるいはより短いパイプラインによって大幅な速度向上を図るかについては不明ですが、2027年において30倍のスパース性は依然として達成不可能な領域にあります [[5]](#fn-iN4rjTQjQfPTCYb5o-5) 。 2028 年のモデルは、4 ラックの Rubin Ultra Kyber をパイプライン構成で提供する場合、驚異的な 442T NVFP4 パラメータに制約されます。したがって、30 倍のスパーシティ（疎性）を目標とする場合、2e28 FLOPs の計算には 3.7T のアクティブパラメータと 900T のトレーニングトークンが必要です（このスパーシティにおいて 1 パラメータあたり 240 トークンが計算最適であると仮定）。これは固有データにおいて 4.5 倍の不足であり、これを補うにはアクティブパラメータを 2.1 倍多くし、2.1 エポック繰り返して訓練するモデルが必要です。したがって、2028 年のモデルは 7.9T のアクティブパラメータと（30 倍スパーシティで）合計 240T を持つ可能性があり、4 ラックの Rubin Ultra Kyber では余裕が十分に残るため、より少ないラック数で使用され、トークン生成速度も向上します。2028 年のモデルにおけるアクティブな制約は、スケールアップシステムが小さすぎるという点ではなく、事前学習計算量が不足している点にあります。 2029 年のモデルは 8e28 FLOPs で事前学習を行い、30 倍スパーシティでは 7.4T のアクティブパラメータと 1,800T のトレーニングトークンを要求します。固有データが 200T トークンである場合、これは 8.5 倍の不足となるため、モデルは代わりに 22T のアクティブパラメータと合計 650T を持ち、200T の固有トークンを用いて 2.9 エポック訓練する必要があります。このモデルを 4 ラックの Rubin Ultra Kyber パイプラインで提供することはもはやできず、1 年目に Feynman チップを採用した 8x Kyber システム 3 つのパイプラインからの制約が、1.7 京 NVFP4 パラメータというはるかに高い制約を設定します。したがって、2029 年の 650T パラメータモデルは、FP8 で 8x Kyber システム 2 つ（3 つの代わりに）で提供可能であり、NVFP4 を使用する場合は 1〜2 システムの 8x Kyber でより高速・低コストに提供可能です。 2030 年のモデルは 1e29 FLOPs で事前学習を行うが、30 倍のスパース性（sparsity）と無限のデータを仮定すると、8.3T のアクティブパラメータと 2,000T のトレーニングトークンを必要とする。これは 10 倍の不足である。したがって、このモデルは代わりに 26T のアクティブパラメータを必要とし、30 倍のスパース性において合計 790T のパラメータ（pretrained）となり、200T の固有トークンを 3.1 エポック繰り返して事前学習を行う必要がある。これは、最初の年の Feynman システム（NVFP4 でモデルが HBM の 67% を占有するため、おそらく最初の年の Feynman システム 1 つでは不十分となる）であっても、2029 年のモデルよりもわずかに過酷である程度に過ぎない。一方、パイプラインで 4 システムからなる 2.9 兆 NVFP4 パラメータの制約を持つ 2 年目の Feynman システムを使用する場合、NVFP4 では 1 つ、FP8 では 2 つあれば十分であり、このモデルは 30 倍のスパース性でもハードウェアの制約を受けない。 最後に、2.2e29 FLOPs で事前学習を行う 2031 年のモデルは、30 倍のスパース性と無限のデータを仮定すると、12T のアクティブパラメータと 3,000T のトレーニングトークンを必要とする。これは 15 倍の不足である。したがって、このモデルは代わりに 48T のアクティブパラメータを必要とし、30 倍のスパース性において合計 1.4 兆のパラメータ（pretrained）となり、200T の固有トークンを 3.9 エポック繰り返して学習を行う必要がある。Feynman システム以降のシステムについては推定を行っていないが、最初の年の Feynman チップを 8x Kyber と組み合わせたパイプラインで 3 システム構成であれば、NVFP4 でこのモデルを提供するのに十分である（制約は 1.7 兆パラメータ）。また、2 年目の Feynman システムを 4 つつなげたパイプラインであれば FP8 でもこのモデルを提供可能であり、これは 1 年前のハードウェア上で提供された場合でも、30 倍のスパース性において制約を受けないことを意味する。 2028 年以降、制約となるのは事前学習計算量である 全体として、2024年はモデルがスケールアップシステムによって最も制約された年であり、計算資源を最適に活用して事前学習されたモデルでさえも、8倍のスパース性がある場合でも提供することが不可能でした。2023年および2025年から2026年には、計算資源を最適に活用した事前学習済みモデルが、8倍のスパース性を備えていればスケールアップシステムのパイプラインに収容可能となります。状況は2027年にわずかに改善し、Rubinにおけるより高速なHBM4により長いパイプラインが実用的となり、短いパイプラインもさらに高速化されます。 そして、2028年にRubin Ultra Kyberラックの構築が十分に完了すれば、30倍のスパース性を持つ計算資源最適事前学習済みモデルでさえ提供が可能となります。これは、無制限のデータがあれば必要となるよりも4倍大きくなる必要があるかもしれない事前学習データの不足にもかかわらず、2031年までこの状況は続きます。 - H200は2023年にリリースされ、2024年のHBM3Eがその完全な仕様へと成長する前でした。したがって、NvidiaがH200でHBM3Eと主張しているものは、H100でも使用されているHBM3の仕様を持っており、主な違いはスタックが12層積み重ねられており、それが6つある点です。 ↩︎ - RubinにおけるHBM4の帯域幅は、JEDEC規格が要求する2.0 TB/sよりもはるかに高いものです。ピンあたり8 Gbpsではなく、ピンあたり約10.8 Gbpsで、ピン数は2048本です。 ↩︎ - H200 の状況とは異なり、これは DRAM ダイあたり 3 GB の HBM4 ではなく、DRAM ダイあたり 4 GB という意味での実際の HBM4E です。1 年早く登場しているにもかかわらずです。これは、Nvidia が 16-Hi（16 層）と予想されていた際にパッケージあたり 1024 GB（HBM を 16 スacks 積載）を公表したのに対し、HBM4 は 16-Hi スacks であればパッケージあたり 768 GB となる予定だったためです。↩︎ - サムスンと SK ハイニックスは、12-Hi スacks で 3.6〜4.0 TB/s の帯域幅を達成できる可能性があります。一方、HBM4E 向けの 16-Hi スacks は現在開発中です（つまり、この帯域幅は 2028 年のハイエンド HBM4E だけでなく、2027 年の Rubin Ultra にも関連する可能性があります）。サンプルに関するニュースは確たる証拠とはなり得ませんが、重要なのは高歩留まりで実現可能な性能（量産準備完了）であり、サンプルの入手可能性は歩留まりに弱くしか依存しないためです。そのため、私はやや低い方の数値である 3.6 TB/s（ピンあたり 14 Gbps）にも一定の信憑性があると見ています。↩︎ - トークン/パラメータあたりの計算最適化が 30 倍のスパースシティで 240 の場合、アクティブパラメータは 2T、トレーニングトークンは 490T となり、固有データの不足分は 2.45 です。したがって、モデルはアクティブパラメータを 1.56 倍多く必要とし、これは 3.2T を意味します。つまり、30 倍のスパースシティで総パラメータ数は 96T となり、83T という制約を超えてしまいます。↩︎

2023-2031 年のモデルサイズスケーリング

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

関連記事

調べる

選ぶ

サイト