NVIDIA Vera CPU が AI ファクトリーの処理能力を向上させ、エージェント型ワークロードの加速を実現
NVIDIA は新開発の「Vera CPU」を発表し、AI ファクトリー全体の処理スループットを向上させることで、自律的なエージェント型ワークロードの実行速度を大幅に加速させると発表した。
キーポイント
Vera CPU の発表と目的
NVIDIA が新開発した「Vera CPU」を発表し、AI ファクトリー全体の処理能力を強化する基盤技術として位置づけた。
エージェント型ワークロードの加速
自律的なエージェント（Agentic Workloads）の実行速度を大幅に向上させることを主目的とし、複雑な推論タスクへの対応力を高める。
AI ファクトリーのスループット向上
単なる処理速度の向上だけでなく、AI ファクトリー全体のデータフローとスループットを最適化し、インフラ効率を最大化する。
重要な引用
NVIDIA は新開発の「Vera CPU」を発表し、AI ファクトリー全体の処理スループットを引き上げることで、自律的なエージェント型ワークロードの実行速度を大幅に加速させることを明らかにした。
影響分析・編集コメントを表示
影響分析
本発表は、生成 AI の次の段階である自律型エージェント（Agentic AI）の実装において、計算リソースのボトルネックを解消する重要な技術的転換点となります。特に大規模な推論タスクや複雑な意思決定プロセスを要するワークロードにおいて、NVIDIA が提供するハードウェア基盤がその性能を劇的に向上させることで、産業応用のスピード感が加速すると予想されます。
編集コメント
「Vera CPU」という名称は、既存のアーキテクチャ（Grace, Hopper など）との整合性や具体的な仕様について、今後の詳細な技術解説が待たれる注目すべき発表です。エージェント型 AI の実用化において、CPU と GPU の協調設計がどのように進化するかを注視する必要があります。
エージェント型システムは、推論、ツール使用、コード実行、検索、オーケストレーション、結果処理を組み合わせた多段階ワークフローを通じて、モデルの推論を行動に変換します。これらのシステムが AI ファクトリー全体でスケールするにつれて、パフォーマンスは GPU による加速だけでなく、モデルステップ間で行われる CPU の作業にも依存します。
エージェント型システムの作成から展開に至るまで、CPU は GPU リソースと AI ファクトリー全体が最適なパフォーマンスを発揮することを保証します。CPU は推論、応答時間、学習のクリティカルパス上に位置しており、モデルステップ間の作業（サンドボックス評価、ツール呼び出し、コード実行、データ処理、KV キャッシュ調整、結果処理）を実行するためです。
エージェント型 AI において、最も重要な CPU メトリクスの一つは、ソケット全体に負荷がかかった状態でのコアあたりの持続性能です。ソケットには並行するサンドボックス、ツール、シミュレーション、オーケストレーションタスク、データサービスが詰め込まれているかもしれませんが、各エージェントや RL（強化学習）ワークフローは、次のステップを開始する前に完了しなければならない逐次ステップに依存しています。コア数が増えることでワークフロー間の並列性が高まりますが、各ワークフローがどの程度迅速に進み、トークンを生成し、モデルを更新し、次のターンを提供するかは、より高速なコアによって決定されます。
CPU 側の処理が遅延すると、GPU ファームは以下の3つの主要な点で影響を受けます：
- RL は1サイクルあたりに得られる有用な評価数が減少し、トレーニングまでの時間（time-to-train）が過大に算出されることになります。
- ファームが個々のユーザーに対応するまでに要する時間が長くなります。
- KV キャッシュが削除され、ファームウェアはキャッシュされたコンテキストによる計算コストの削減効果を失います。
以下のセクションでは、NVIDIA Vera がこれらの 3 つの課題にどのように取り組むか、また NVIDIA Vera CPU の設計がファームウェアのパフォーマンスを最大化する方法について探ります。
Vera CPU はより賢く効率的なエージェントを実現する
強化学習（RL）は、GPU と CPU の間に継続的な対話型フィードバックループを導入することで、計算パラダイムを変革します。データが単にアクセラレータへストリーミングされる AI 学習 と異なり、RL は経験データの能動的な生成を要求します。このデータ生成フェーズは、環境ロールアウトやシミュレーションと呼ばれることが多く、逐次的でロジックベースの処理に大きく依存しています。
image*図 1. RL 学習のクリティカルパスにおける Vera CPU の役割*
これらの高度に並列化されたロールアウトフェーズでプロセッサがストールすると、全体の学習パイプラインに影響を及ぼします。プロセッサが遅い場合、1 秒あたりに完了する環境ステップ数が減少し、モデルの方針更新（勾配として知られる）の品質が低下します。
これらの勾配は、ニューラルネットワークに対してポリシーをどのように改善すべきかを正確に指示する数学的な命令として機能します。強化学習（RL）では、これらは CPU 環境によって生成されるフィードバックや報酬といったトレーニング信号に完全に依存しています。困難な問題は逐次的に深くなるため、CPU のコアあたりの性能が、トレーニングウィンドウ内で評価を完了できる環境の数に影響を与えます。例えば、ベースラインの CPU では評価の 45% しか完了できず、GPU が実行可能なフィードバックを待機することになります。
image*図 2. Vera CPU のコアは 1.8 倍高速となり、より多くの RL フィードバックを実現*
スケールにおいて 最大シングルスレッド CPU である Vera CPU は、フルソケット負荷下での持続的なコアあたりの性能を最大化することで、このボトルネックを解決します。コアが 1.8 倍高速であるため、Vera CPU は同じウィンドウ内で最大 85% の評価を完了できます。より多くの RL フィードバックを提供することで、Vera CPU は豊かで高品質なトレーニングシグナルをもたらします。これにより、GPU はより正確な勾配を計算できるようになり、収束までの時間を短縮し、より賢いモデルを生み出します。
この改善は、RL やエージェント実行において支配的な逐次的で分岐の多い CPU 作業のために設計された NVIDIA Olympus コアによって達成されます。表 1 は、Vera CPU の機能と RL ワークロードへの影響を概説しています。
Vera CPU の機能RL への影響
ニューラル分岐予測器
Python、シミュレータ、報酬ロジック、およびツールにおける複雑な制御フローをパイプラインが通過し続けるように維持します。
10 幅デコードフロントエンド
各サイクルでより多くの命令を実行ユニットに供給し、CPU のスループットを向上させます。
深いアウト・オブ・オーダー実行
長時間のレイテンシを要する演算の周りで進捗を生み出し、不規則な強化学習 (RL) ワークロードにおけるストールを削減します。
NVIDIA スパショナルマルチスレッディング
数千の並列環境にスケールしても、コアあたりのパフォーマンスを高い水準で維持します。
*表 1. RL パフォーマンスとスケーラビリティを向上させる主要な Vera CPU の機能*
Vera CPU は GPU 時間あたりにより多くのユーザーに対応可能
オフライン学習からライブの対話型エージェント展開へ移行すると、主な最適化指標は純粋なスループットから、厳格で予測可能なレイテンシへと変化します。これらの環境では、AI エージェントが自律的に動作し、一連のアクションを実行することで複雑なユーザークエリを解決します。
このシーケンスの各ステップでは、モデルが継続する前に、ツール呼び出しの実行、コードの実行、テストのコンパイル、またはデータ照会を行う必要があります。
image*図 3. Vera CPU はより高速なエージェント応答を実現*
スケールにおいてこの応答性を維持するためには、平均レイテンシが低いだけでは不十分です。ソケットに多数の並行サンドボックス、サービス、データ処理タスクが負荷されている場合でも、エージェントは予測可能なレイテンシを必要とします。
Vera CPU は、図 2 に示されるように、その負荷されたレイテンシペナルティを低減するために設計されています。Vera CPU は、88 の Olympus コアを持つモノリス型計算ダイを採用することで、マルチチップレット CPU デザインで一般的に見られるパフォーマンスの崖（performance cliffs）を回避します。これは、ワークロードがチップレット間やサブ NUMA ドメインにまたがることを防ぐためです。これにより、複雑なチップレット間のコアからコアへのホップが不要になります。
image*図 4. Vera CPU は x86 CPU と比較して、より高い帯域幅をより低いレイテンシで提供します*
大規模な統一キャッシュと NVIDIA スケーラブル・コヒーレンシー・ファブリック（SCF）を組み合わせることで、データはシステム全体にわたってより均一に移動します。この意図的かつエージェント指向の実装により、Vera CPU は x86 CPU と比較してピーク負荷レイテンシを 40% 低減し、予測可能なファブリックを実現しています。これによりテールレイテンシが削減され、ツールの応答が厳密にスケジュール通りに保たれることが保証されます。
レイテンシだけでなく、エージェントには大規模なメモリ帯域幅も必要です。数千の並行するサンドボックス、ツール呼び出し、検索操作、データベースクエリ、データ処理タスクは、各エージェントの状態、コンテキスト、出力をコアに近接させたまま、大規模で不規則なデータセットを移動する必要があります。Vera CPU は、省電力な LPDDR5x を採用し、合計メモリ帯域幅として最大 1.2 TB/s、コアあたり最大 14 GB/s を実現します。これは、従来のデータセンター CPU の半分以下の消費電力で、コアあたりのメモリ帯域幅を 3 倍以上に向上させたものであり、すべてのコアがアクティブな状態でもエージェントのスループットを維持するのに役立ちます。
その結果、ハードウェアのボトルネックによってユーザーエクスペリエンスを阻害されることなく、厳格なサービスレベル契約（SLA）を維持できる、非常にレスポンシブなエージェント型 AI パイプラインが実現されました。
エージェント推論における CPU の最適化と GPU 計算リソースの最大化
エージェント推論では、GPU は一度きりの連続した処理ではなく、複数のステップに分かれて動作します。1 つのセッションには、CPU 側でのツール呼び出し、コード実行、検索、データベースクエリ、またはサンドボックス評価によって区切られた多数のモデルステップが含まれる可能性があります。完全に稼働しているデータセンターでは、GPU はこれらのギャップの間も待機しません。CPU が作業を行っている間、新しいリクエストと新しいアクティブなコンテキストを引き受けます。リクエストが蓄積するにつれて、元のトレースの KV キャッシュ（Key-Value Cache）をその場で保持することがより困難になります。
image*図 5. 遅いツール呼び出しはキャッシュの排除を引き起こし、高コストな再計算を招く*
CPU の処理が遅くなると、GPU の計算ステップ間のギャップが広がります。これにより、システムが他のユーザー（作業の実行準備ができているユーザー）のために GPU メモリに空きを作る必要が生じ、元の要求の KV キャッシュを GPU メモリから排除する可能性が高まります。ツール呼び出しが完了した際、GPU はキャッシュされた状態から再開するのではなく、以前のシーケンスを大きな入力プロンプトとして再処理することで、その前のコンテキストを再構築する必要が生じる可能性があります。
Vera CPU は、トレースの CPU 側部分を圧縮するのに役立ちます。ツール実行の高速化、負荷下でのコアあたりのパフォーマンス強化、高いメモリ帯域幅、予測可能なレイテンシにより、エージェントが GPU ステップ間で待つ時間が短縮されます。これにより、KV キャッシュが_eviction_（退去）圧力にさらされる期間が短くなり、より多くのアクティブなコンテキストが HBM 内に保持され、高コストな再計算による以前の状態の再構築が必要なくなるためです。
その結果、GPU の時間は文脈の再構築ではなく、有用なトークン生成により多く費やされるようになり、飽和状態のエージェントシステムにおいて CPU パフォーマンスは GPU 効率に直接寄与するようになります。
AI ファクトリーの未来を加速する
Vera CPU は、エージェント型 AI ファクトリーにとって最も重要な CPU 機能を統合しています。すなわち、持続的なコアあたりのパフォーマンス、負荷下での予測可能な低レイテンシ、大規模なメモリ帯域幅、そしてスケールにおける効率的なデータ転送です。エージェント型 AI が拡大するにつれ、CPU はもはや背景のインフラストラクチャではありません。それは AI ファクトリーの処理能力、応答性、および GPU 効率を直接駆動する要因となっています。ストールの削減、再計算の制限、負荷下でのシステム全体の生産性維持を通じて、NVIDIA Vera CPU は次世代のエージェント型 AI ファクトリー全体にわたるパフォーマンス最大化のために設計されています。
これらの機能が実際の性能にどう反映されるかを確認するには、Vera CPU や NVIDIA Vera Rubin NVL72 について詳しく学ぶか、Phoronix による Vera CPU ベンチマーク を参照してください。
*相対性能は測定データに基づくものであり、変更される可能性があります。NVIDIA Vera CPU の LPDDR5X パフォーマンスは、最新の x86 CPU をベースラインとして比較しています。*
原文を表示
Agentic systems turn model reasoning into action through multi-step workflows that combine inference, tool use, code execution, retrieval, orchestration, and result handling. As these systems scale across the AI factory, performance depends not only on GPU acceleration, but also on the CPU work that happens between model steps.
Across the creation and deployment of an agentic system, the CPU ensures GPU resources and the entire AI factory deliver optimal performance. The CPU is on the critical path for reasoning, response time, and learning because it executes the work between model steps: sandboxed evaluations, tool calls, code execution, data processing, KV-cache coordination, and result handling.
For agentic AI, one of the most important CPU metrics is sustained per-core performance under full socket load. The socket may be packed with concurrent sandboxes, tools, simulations, orchestration tasks, and data services, but each agent or RL workflow still depends on sequential steps that must be finished before the next step can begin. More cores increase parallelism across workflows; faster cores determine how quickly each workflow advances, generating tokens, updating models, or serving the next turn.
If CPU-side execution slows, the GPU fleet suffers in three key ways:
- RL receives fewer useful evaluations per cycle, leading to an inflated time-to-train.
- The fleet takes longer to serve individual users.
- KV-cache is evicted, and the fleet loses the compute savings of the cached context.
The following sections explore how NVIDIA Vera tackles these three challenges and how the NVIDIA Vera CPU design maximizes fleet performance.
Vera CPUs yield smarter and more efficient agents
RL alters the compute paradigm by introducing a continuous, interactive feedback loop between the GPU and CPU. Unlike AI training where data is simply streamed to accelerators, RL demands active generation of experience data. This data generation phase, often referred to as environment rollouts or simulations, heavily relies on sequential, logic-based processing.
When the processor stalls during these highly parallelized rollout phases, the entire training pipeline suffers. A slower processor means fewer environment steps are completed per second, degrading the quality of the model’s policy updates, known as gradients.
These gradients act as the mathematical instructions sent to the neural network to tell it exactly how to improve its policy. In RL, they rely entirely on training signals, such as feedback and rewards generated by these CPU environments. Because hard problems are sequentially deep, CPU per-core performance affects how many environments can complete evaluations within the training window. For example, a baseline CPU might only complete 45% of its evaluations, leaving the GPU waiting for actionable feedback.
As a max single-threaded CPU at scale, the Vera CPU solves this bottleneck by maximizing sustained per-core performance under full-socket load. With cores that are 1.8x faster, Vera CPU can complete up to 85% of those evaluations in the same window. Delivering more RL feedback, Vera CPU provides a richer, higher-quality training signal. This enables the GPU to compute more accurate gradients, accelerating time to convergence and yielding smarter models.
This improvement is achieved with the NVIDIA Olympus core, designed for the sequential, branch-heavy CPU work that dominates RL and agent execution. Table 1, outlines the Vera CPU features and influence on the RL workload.
Vera CPUs help serve more users per GPU hour
Moving from offline training to live, interactive agentic deployments shifts the primary optimization metric from pure throughput to strict, predictable latency. In these environments, an AI agent operates autonomously to solve complex user queries by executing a chain of actions.
Each step in this sequence requires launching a tool call, running code, compiling a test, or querying data before the model can continue.
To maintain this responsiveness at scale, low average latency isn’t sufficient. Agents require predictable latency when the socket is loaded with many concurrent sandboxes, services, and data processing tasks.
The Vera CPU is designed to reduce that loaded latency penalty, as shown in Figure 2. Vera CPU avoids the performance cliffs common in multi-chiplet CPU designs, where workloads can spill across chiplets or sub-NUMA domains, by using a monolithic compute die for its 88 Olympus cores. This avoids complex cross-chiplet core-to-core hops.
Coupled with a large unified cache and NVIDIA Scalable Coherency Fabric (SCF), data moves more uniformly across the system. This deliberate, agentic-focused implementation enables Vera CPU to achieve 40% lower peak loaded latency compared to x86 CPU. This predictable fabric helps reduce tail latency, ensuring that tool responses stay strictly on schedule.
Beyond latency, agents need massive memory bandwidth. Thousands of concurrent sandboxes, tool calls, retrieval operations, database queries, and data-processing tasks must move large, irregular datasets while keeping each agent’s state, context, and outputs close to the cores. The Vera CPU uses power-efficient LPDDR5x delivering up to 1.2 TB/s total memory bandwidth and up to 14 GB/s per core. This is more than 3x the per-core memory bandwidth at less than half the power of traditional data center CPUs—helping agents sustain throughput when every core is active.
The result is a highly responsive agentic AI pipeline capable of maintaining strict service level agreements (SLAs) without hardware bottlenecks impeding the user experience.
Vera CPUs maximize GPU compute per session
In agentic inference, the GPU doesn’t work in one uninterrupted pass. A single session may include many model steps separated by CPU-side tool calls, code execution, retrieval, database queries, or sandboxed evaluation. In a fully subscribed datacenter, the GPU does not wait through those gaps. While the CPU is working, it takes on new requests and new active contexts. As the requests accumulate, the original trace’s KV cache becomes more challenging to preserve in place.
A slower CPU increases the gap between GPU compute steps. This makes it more likely that the system will need to evict the original request’s KV cache from the GPU memory to make room for other users whose work is ready to run. When the tool call completes, the GPU may need to rebuild that prior context by reprocessing the earlier sequence as a large input prompt rather than resuming from a cached state.
The Vera CPUs help compress the CPU-side portion of the trace. Faster tool execution, stronger per-core performance under load, high memory bandwidth, and predictable latency reduce how long agents wait between GPU steps. This shortens the window in which the KV cache is exposed to eviction pressure, keeps more active context residents in HBM, and reduces the need to reconstruct prior states through expensive recompute.
The result is that more of the GPU’s time goes to useful token generation instead of rebuilding context, making CPU performance a direct contributor to GPU efficiency in saturated agentic systems.
Accelerating the future of AI factories
Vera CPU brings together the CPU capabilities that matter most for agentic AI factories: sustained per-core performance, predictable low latency under load, massive memory bandwidth, and efficient data movement at scale. As agentic AI scales, the CPU is no longer background infrastructure. It is a direct driver of AI factory throughput, responsiveness, and GPU efficiency. By reducing stalls, limiting recomputation, and helping the entire system stay productive under load, NVIDIA Vera CPU is built to maximize performance across next-generation agentic AI factories.
To see how these capabilities translate to real-world performance, learn more about the Vera CPU, NVIDIA Vera Rubin NVL72, and the Vera CPU benchmarking by Phoronix.
*Relative performance based on measured data, and subject to change. NVIDIA Vera CPU with LPDDR5X performance baselined to the latest x86 CPU. *
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み