OpenAI、独自推論チップ「Jalapeño」の初結果を発表し業界最高水準の速度と効率を達成

Jalapeñoの発表以来、OpenAIは同チップおよびその周辺システムの実証テストを続けてきました。その結果、顕著な性能向上が確認されました。Jalapeñoは、電力あたりの処理能力（スループット）を高めつつ、応答速度も大幅に短縮しています。従来のハードウェアでは両立が難しい「高いスループット」と「低いレイテンシ」の両方を、単一のアーキテクチャで実現できるのが特徴です。

顧客にとっては、より高速なレスポンス、反応性の高いエージェント、需要増加に伴う安定したアクセスが可能になります。OpenAIの使命は、汎用人工知能（AGI）が人類全体に恩恵をもたらすことですが、今回の性能向上により、能力の高いAIをより手頃な価格で、広く利用可能にする一助となります。

OpenAI のモデルも、Jalapeñoの開発を加速しました。以前の世代のモデルがチームによるチップ設計と立ち上げを支援し、最新のモデルは最適化やプログラミングのプロセスをさらに高速化しています。

Jalapeñoの性能は、GPT‑OSS 120B、DeepSeek R1、Kimi K2.5 1T acrossで確認されています。これは、OpenAI内部および外部で開発されたモデル両方に対して、このアーキテクチャが機能することを示しています。

これら3つのモデルすべてにおいて、Jalapeñoはピークスループット時、ワットあたりのAI処理量が比較システムより1.5〜1.9倍多く、エンドツーエンドのレイテンシは1.7〜3.6倍低減しました。また、対話型のワークロードにおいては、性能が2.1〜4.1倍向上しています。

Jalapeñoは、広範なフルスタックにおける優位性を示す証拠でもあります。OpenAIは、モデル、製品、サービングソフトウェア、チップ、メモリ、ネットワーク、システムを一体として設計できます。そして、実際のワークロードから得た知見を活用して、スタックのあらゆる層を改善しています。

Jalapeñoは、測定可能な結果を持つ自社製シリコンであり、多世代にわたるプラットフォームの始まりです。今後数ヶ月でJalapeñoの生産能力を拡大し、顧客により高速で、より高性能で、より効率的な製品を提供していきます。

Jalapeñoの性能評価方法について

私たちは、ユーザー体験を同等に保った状態で性能を評価します。具体的には、各システムが単位電力あたりどれだけの有用なAI処理を完了できるかを測定し、同時に顧客や対話型エージェントが必要とするレイテンシ要件を満たしているかを確認します。

これは特に、エージェントにとって重要です。エージェントは多くのステップを連続して実行する必要があり、遅延が発生するとタスク全体に悪影響が蓄積してしまうからです。

Jalapeño の実戦でのパフォーマンスを理解するため、SemiAnalysis が提供するパブリックベンチマーク「InferenceX」でテストを行いました。これは AI リクエストの処理プロセス全体を測定するものです。Jalapeño を、高スループットなサービスから高い双方向性・低遅延用途に至るまで、動作範囲全体で主要な商用 AI システムと比較しました。その結果、Jalapeño はスループット、電力効率、そして遅延のバランスにおいて最も優れた組み合わせを示しました。

性能はチップ単位の値として報告されることもありますが、より有用な指標は「単位電力あたりの性能」だと考えます。

Jalapeño は前回の最良記録との差を広げる

ユーザーあたりにより多くのトークンを生成

キロワットあたりで高いスループットを実現

対象とした 3 つのパブリックモデルすべてにおいて、Jalapeño は動作範囲全体で「電力あたりの性能」と「遅延」のバランスが優れており、パレート最適フロンティアに位置づけられます。システム間を公平に比較するため、各アクセラレータの公表されたチップ定格電力値を用いて結果を正規化しました。Jalapeño の定格は 700 ワットですが、テストしたワークロードにおける実測持続電力は 550 ワット以下でした。

Jalapeñoは、GPT‑OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tといった大規模モデルにおいて高いパフォーマンスを発揮しました。特にテストした中で最大の公開モデルであるKimiでは、比較システムに対してワットあたりのピーク性能が約1.5倍高く、エンドツーエンドのレイテンシは3.4倍低いという結果となりました。内部テストでは、最先端のOpenAIモデルにおいてもJalapeñoの優位性がさらに拡大しており、ワークロードが大きくなり要求が高まるほど、このアーキテクチャの価値が増していくことが示唆されています。

単一チップ内で速度と効率を追求する設計

Jalapeñoは、現代および将来の言語モデル、特にインタラクティブなエージェントをサービスすることを主目的とした場合、どのようなハードウェアを構築すべきかという問いから設計が始まりました。その性能向上は、実際の言語モデルのワークロードを中心に、チップ、メモリ、ネットワーク、ソフトウェア、ラック規模のシステムを一貫して設計した結果です。

言語モデルの推論には、ボトルネックが異なる複数の明確なフェーズが存在します。プロンプトを処理する「prefill」フェーズは計算集約型ですが、トークンごとに応答を生成する「decode」フェーズは、よりメモリ帯域幅に制約されます。また、データがコア間やチップ間で移動する際に通信による遅延が発生し、一部の処理ユニットが待機状態になることもあります。あるフェーズで優れたシステムでも、データの待ち時間やリソース間のモデル状態の転送中にその優位性を失う可能性があります。

Jalapeño はデータ移動と通信遅延を最小限に抑えるために設計されました。これにより、応答生成時に使用される KV キャッシュを含むモデル状態を明示的に配置し、ローカルに保持しながら、各推論フェーズに対して適切な計算・メモリ・ネットワークの組み合わせをシステムが自動的に活性化できます。ネットワークはこのアーキテクチャにおいて不可欠な要素です。その広大なドメインにより、すべてのワークロードを単一の接続されたシステム内に維持でき、データ移動を最小化するとともに、リクエスト全体を最初から最後まで高速かつ効率的に保つことが可能になります。その結果、変化するモデルアーキテクチャに対応し、プレフィルとデコードの両方で優れた性能を発揮し、それらのバランスが変化しても柔軟に適応できる、バランスのとれた汎用アクセラレータが実現しました。これはエージェント型ワークロードを特徴づける重要な機能です。

AI を活用してチップを設計し、AI がプログラムできるように設計した

Jalapeño の開発において AI は直接的な役割を果たしました。実装の探索や設計・測定・検証ループの短縮、モデルワークロードへの継続的な反復を通じて、チームは初期設計からテープアウトまでわずか 9 ヶ月で完了させることができました。また、AI はチップの算術回路の最適化にも貢献し、スケジュール通りにより多くの計算性能をチップ内に収めることを可能にしました。

Jalapeñoは、人間とAIの両方にとって明確で予測可能なプログラミングターゲットとして設計されました。エンジニアは、ローカルテンソル、明示的な通信、予測可能な同期を通じて作業を記述できます。その後、AIはこの作業がシステム全体にどのようにマッピングされ、配置され、スケジューリングされ、調整されるかを最適化します。この明確で予測可能な構造により、AIは従来困難とされてきた並列プログラミングの問題に取り組むための扱いやすい手段を得ます。

新しいモデルファミリーごとに新たなカーネルやモデル固有の最適化が必要となるのは依然として事実です。CodexとGPT‑Astraを活用したチームは、Jalapeñoの当初の生産計画に含まれていなかった3つのオープンウェイトモデルを、わずか2ヶ月で高性能な状態に引き上げました。これはアーキテクチャの柔軟性と、AIがプログラミング支援においてどれほど迅速に機能するかを示すものです。特定のGPT‑OSSアテンションブロックやMixture-of-Expertsブロックにおいては、AIが生成した実装が既存の人間による専門家の実装よりも1.5倍から1.8倍高速でした。これらの数値は特定ブロックに限ったものですが、強力な新たな開発ループの可能性を示唆しています。

効率的で超高速な推論への道

AI インフラが価値を持つ理由は、それが実現する実世界での有用な作業にあります。同じ電力とハードウェアからより多くの有用な作業を生み出すことで、Jalapeño はより多くの人々の需要に応えつつ、成功した結果を提供するためのコストを下げることができます。OpenAI にとっては、これにより有用な作業と収益の成長が提供コストを上回るようになり、運営レバレッジが向上します。また、より優れたモデルやプロダクト、インフラへの継続的な投資と、その広範な採用を後押しすることにもつながります。

推論速度の向上は、さらなる高速なイテレーションと新たなユースケースの実現を可能にします。

Jalapeño は、効率的で低遅延な推論においてこれまで不可能だったことを実現可能にしました：

• 従来はファストモードでのみ利用できた効率レベルで動作する「超高速モード」推論
• 従来はバッチ処理モードでのみ利用できた効率レベルで動作する「ファストモード」推論
• バッチ処理モードにおける推論効率のさらなる向上

Jalapeño は、年内に OpenAI の計算インフラ内で展開を開始する予定です。これは多世代ロードマップの第 1 世代であり、第 2 世代は開発の深部にあり、第 3 世代も形になりつつあります。各世代では、得られた知見を基盤とし、効率と速度の両方をさらに進化させていきます。

増大する AI への需要に応えるには、あらゆる利用可能なソースからの計算リソースが必要です。私たちは、トレーニングおよび推論ワークロードの両方において、NVIDIA やその他のパートナー製のアクセラレーターを広範に展開し続ける方針です。私たちのミッションは、汎用人工知能が人類全体に恩恵をもたらすことを保証することにあります。

本格的な展開に向けて、私たちは生産品の資格認定を継続し、ソフトウェアの成熟化を進め、Jalapeño を大規模に運用する準備を整え、より多くのモデルでの性能検証を行っています。これまでの結果は、システム全体を一貫して設計することによって何が実現できるかを示しています。より反応が良く、能力が高く、自律的な AI を、より多くの人へ、より効率的に届けることが可能になるのです。

付録

Jalapeño は GPT‑OSS 120B でパレートフロンティアを達成

*THROUGHPUT-per-kW FRONTIERInferenceX · GPT‑OSS‑120B · nominal 8k/1k · STP · package TDP: Jalapeño 700 W; GB200 1,200 W*

Jalapeño は GPT‑OSS のあらゆる運用ポイントで首位を維持

*PEAK AND MATCHED THROUGHPUTInferenceX · GPT‑OSS‑120B · nominal 8k/1k · STP · package TDP: Jalapeño 700 W; GB200 1,200 W*

高いピーク混合 TPS / kW

≈1.9 倍

85,448 vs. 44,960 mixed / kW

低いエンドツーエンドのレイテンシ

≈1.7 倍

1.03 秒 vs. 1.80 秒

低い最小 TBT

≈2.7 倍

0.69 vs. 1.87 ms

(1,459 vs. 535 tok/s/user)

以前の TBT でより高いスループット

≈53.7 倍

22,935 vs. 427 mixed / kW

(at 535.28 tok/s/user)

Jalapeño は DeepSeek R1 670B でもパレートフロンティアを達成

*THROUGHPUT-per-kW FRONTIERInferenceX · DeepSeek R1 MXFP4 · nominal 8k/1k · STP · package TDP: Jalapeño 700 W; GB300 1,400 W*

Jalapeño は DeepSeek R1 のあらゆる運用ポイントで首位を維持

*PEAK AND MATCHED THROUGHPUTInferenceX · DeepSeek R1 MXFP4 · nominal 8k/1k · STP · package TDP: Jalapeño 700 W; GB300 1,400 W*

高いピーク混合 TPS / kW

≈1.7 倍

19,641 vs. 11,781 mixed / kW

低いエンドツーエンドのレイテンシ

≈3.6 倍

1.65 秒 vs. 5.99 秒

低い最小 TBT

≈4.1 倍

1.43 ms と 5.90 ms の比較

(700 トークン/秒/ユーザー vs. 169 トークン/秒/ユーザー)

以前の TBT（Time to First Token）におけるスループットの向上

約 104.3 倍

12,258 vs. 118 mixed / kW

(169.41 トークン/秒/ユーザー時)

Jalapeño は Kimi K2.5 1T でパレートフロンティアに到達

*スループット/kW フロンティアInferenceX · Kimi K2.5 MXFP4 · ノミナル 8k/1k · STP · パッケージ TDP: Jalapeño 700 W; GB300 1,400 W*

Jalapeño は Kimi K2.5 の全動作点で首位を維持

*ピークおよびマッチドスループットInferenceX · Kimi K2.5 MXFP4 · ノミナル 8k/1k · STP · パッケージ TDP: Jalapeño 700 W; GB300 1,400 W*

混合 TPS/kW のピーク値向上

約 1.5 倍

18,195 vs. 11,862 mixed / kW

エンドツーエンドのレイテンシ低減

約 3.4 倍

1.56 s vs. 5.31 s

最小 TBT の短縮

約 3.8 倍

1.44 ms vs. 5.48 ms

(694 vs. 182 トークン/秒/ユーザー)

以前の TBT におけるスループット向上

約 56.1 倍

6,744 vs. 120 mixed / kW

(182.46 トークン/秒/ユーザー時)