OpenAI、推論用チップ「Jalapeño」のベンチ結果を公開し高性能を示す

火曜日に開催された Hot Chips 会議で、OpenAI は自社開発の「Jalapeño（ハラペーニョ）」チップについて詳細を公開し、同システムに関する初のベンチマーク結果も発表しました。Semianalysis が提供する InferenceX ベンチマークでのテストでは、Jalapeño は現在利用可能な最先端推論用プロセッサと比較して、ユーザーあたりのトークン生成数と 1 キロワットあたりのスループットの両方で上回る性能を示しました。

OpenAI のハードウェア責任者である Richard Ho 氏はプレス通話でこう述べています。「結論として、この結果は最先端技術に対する非常に大きな性能向上を示しています。Jalapeño は電力単位あたりでより多くの AI ワークロードを処理でき、かつ応答も迅速に返します。多数の顧客に対応する際にも非常に効率的でありながら、低遅延を実現できるのです」。

なお、今回の比較対象は Nvidia の Blackwell システムですが、Jalapeño が本格展開される頃には競合他社も大幅に進化している可能性があります。Ho 氏は、Jalapeño は 2026 年末に「ごく小規模な量」で導入され、より本格的な展開は 2027 年になると推測しています。

昨年の 10 月に初めて発表された Jalapeño は、OpenAI と Broadcom が緊密に協力して開発を進めたもので、OpenAI 自社のモデルも開発プロセスに貢献しました。同社は今後は、Jalipeño を多世代にわたるプラットフォームとして位置づけ、AI プロダクト、モデル、チップ、メモリを一体的に開発していく計画です。

このフルスタックアプローチにより、OpenAI は推論プロセス全体の中で摩擦を生じやすい特定のフェーズに直接取り組むことができました。特に「Jalapeño」は、処理におけるプレフィル（prefill）および通信フェーズでの遅延を最小化するように設計されており、OpenAI によるとこれらがボトルネックとなることが多いといいます。

同社はブログ記事で、「データ転送と通信の遅延を最小限に抑えるよう『Jalapeño』を設計しました」と述べています。「つまり、生成時に使用される KV キャッシュを含むモデル状態を明示的に配置・保持し、各推論フェーズに応じて計算、メモリ、ネットワークのリソースを最適に組み合わせることで、システムが稼働できるようにしています」。

*当記事内のリンクを通じてご購入いただいた場合、私たちは少額のコミッションを受け取る場合があります。これは編集の独立性には影響しません。

ラッセル・ブラブランドは 2012 年以来テック業界を取材しており、プラットフォームポリシーや新興技術に焦点を当てています。以前は The Verge や Rest of World で勤務し、Wired、The Awl、MIT Technology Review などにも寄稿しています。問い合わせ先は russell.brandom@techcrunch.com または Signal（412-401-5489）です。

プロフィールを見る