OpenAI の新チップ「Jalapeño」が Nvidia GPU の欠点を克服する設計へ

記事の3ポイント

1. 1

   Nvidia GPU の推理における根本的欠陥

   記事は Nvidia GPU が大バッチ処理に最適化された設計であり、小バッチの推理では遅延隠蔽が機能せず性能が理論値の 10% に留まると指摘する。

2. 2

   OpenAI Jalapeño の革新的なアーキテクチャ

   Jalapeño は L2 キャッシュを排除し、SM 内に直接制御可能なメモリ階層を採用することで、遅延と帯域幅のボトルネックを解消した設計となっている。

3. 3

   ネットワークとシステム全体の最適化

   RoCE や DPU の問題を回避するため、CIPU の eRDMA を採用して TTFT（First Token Time）を 40% 削減し、計算サーバーの削減を実現した。