NVIDIA、BlueField で Agentic AI ファクトリを拡張
NVIDIA は、Agentic AI の台頭によるインフラ負荷に対応するため、BlueField-4 DPUs と Vera BlueField-4 STX ストレージプロセッサを用いた極限の共設計（Extreme Co-Design）アプローチを提案し、GPU/CPU の生産性向上とコスト削減を実現する。
キーポイント
Agentic AI によるインフラパターンの転換
1 つのリクエストで複数のモデル呼び出しやツール実行が発生する Agentic AI は、従来の単発推論とは異なり、データ移動と管理の複雑さを劇的に増加させ、インフラ自体が推論の一部となることを要求している。
BlueField プラットフォームによるオフロードと加速
NVIDIA BlueField-4 DPUs と Vera BlueField-4 STX ストレージプロセッサは、ネットワーク、ストレージ、セキュリティなどのインフラ処理をホスト CPU から切り離し、データパス内で直接実行することで遅延を削減する。
DOCA ソフトウェアによる柔軟な制御
NVIDIA DOCA ソフトウェアは、これらの専用プロセッサ上でネットワーク、ストレージ、セキュリティ、テレメトリなどのサービスを開発・運用するためのプログラム可能な基盤を提供し、AI ファクトリ全体の最適化を可能にする。
具体的な生産性向上とコスト削減効果
このアプローチにより、GPU 利用率の向上、予測可能なレイテンシの確保、 stronger なアイソレーションが実現され、トークンあたりのコスト低下やワットあたりのトークン数増加といった実用的な成果をもたらす。
インフラストラクチャの推論パイプラインへの統合
Agentic AI では、データ移動、コンテキスト保持、ポリシー実行などにより、ネットワークやストレージなどのインフラが推論プロセスの一部として機能するようになり、従来の「隣接」から「一部」へと役割が変化しています。
KV キャッシュ管理の重要性と課題
LLM の推論継続には KV キャッシュの保存・取得が不可欠ですが、GPU メモリ制約下でのキャッシュ移動や再計算はレイテンシやコストに直結するため、インフラデータパスにおける効率的な管理が求められます。
BlueField による AI ファクトリの OS 化
NVIDIA BlueField は、推論を遅延させずホスト CPU リソースを消費することなく、データパスの接続、セキュリティ、分離、加速を実現する専用インフラプロセッサとして機能し、AI ファクトリ全体のオペレーティングシステムを支えます。
重要な引用
Agentic AI changes the infrastructure pattern for AI factories.
BlueField offloads infrastructure work from host CPUs, accelerates data movement, enforces policy inline, and enables context reuse.
These capabilities help deliver production outcomes such as higher GPU utilization, more predictable latency, stronger isolation, lower cost per token, and more tokens per watt.
Agentic AI extends inference beyond model execution into a distributed workflow spanning GPUs, CPUs, memory, networking, storage, and security.
Infrastructure is now part of the inference pipeline.
BlueField was co-designed to balance these resources so infrastructure traffic can be processed where it arrives.
影響分析・編集コメントを表示
影響分析
この記事は、単なるハードウェアの性能向上ではなく、Agentic AI という新しいワークロードに対応するためにインフラ設計そのものを根本から再構築する必要性を示しています。NVIDIA が提供する専用プロセッサとソフトウェアスタックの統合により、大規模な AI ファクトリにおけるスケーラビリティとコスト効率の限界を突破する具体的な道筋が提示されており、業界全体が「推論とインフラ管理の分離」から「密結合による最適化」へとパラダイムシフトする重要な転換点と言えます。
編集コメント
Agentic AI の普及に伴い、従来の汎用 CPU 中心のインフラでは処理が追いつかなくなるという課題に対し、専用プロセッサによるハードウェアレベルでの解決策を提示した点は非常に示唆に富んでいます。NVIDIA が自社のハードウェアとソフトウェアスタック（DOCA）を統合して「AI ファクトリ」全体の最適化を目指す戦略は、今後大規模モデル運用におけるコスト競争力を左右する重要な要素となるでしょう。
Agentic AI は、AI ファクトリーのインフラパターンを根本から変えています。1 つのリクエストに対して、最終的な回答が出力されるまでに、多数のモデル呼び出しやツール呼び出し、メモリ参照、ポリシーチェック、ストレージアクセス、ネットワーク転送が発生します。複数のエージェントが同時に実行され、ステップ間やユーザー、ツール、サービス、セッション間でコンテキストを引き継ぐようになると、インフラはデータを高速で移動・保護・取得・再利用できるようになる必要があります。そうしなければ、GPU や CPU の生産性を維持できません。
NVIDIA BlueField プラットフォームは、AI ファクトリーのデータパスに専用かつプログラム可能なインフラ処理機能をもたらします。BlueField はホスト CPU からのインフラ負荷をオフロードし、データの移動を加速し、ポリシーをインラインで適用し、コンテキストの再利用を可能にします。これらの機能により、GPU の利用率向上、予測可能なレイテンシの実現、強力な分離性の確保、トークンあたりのコスト削減、ワットあたりのトークン数増加といった、実運用での成果が実現されます。
AI ファクトリー向けに、専用設計のインフラとストレージプロセッサを NVIDIA DOCA ソフトウェアと組み合わせることで、強力な基盤を構築します。NVIDIA BlueField-4 DPUs は、ホスト CPU からネットワーク、ストレージ、セキュリティ、テレメトリ、制御プレーンなどのサービスをオフロード・加速・分離し、GPU と CPU の計算システム間でのデータ転送も高速化します。また、NVIDIA Vera BlueField-4 STX ストレージプロセッサ は、AI ファクトリー全体でコンテキストメモリ、高性能ストレージインフラ、そしてセキュアなデータサービスを実現する新たなデータプラットフォームを駆動します。
これらのプロセッサにおいて、NVIDIA DOCA はネットワーク、ストレージ、セキュリティ、テレメトリ、ライフサイクル管理にわたるサービスの構築と運用を支えるソフトウェア基盤を提供します。AI ファクトリー向けの NVIDIA Vera Rubin プラットフォームや、より広範な NVIDIA DSX アーキテクチャにおいて、BlueField はインフラを加速し、DOCA はデータセンター全体でこれらのサービスを展開するためのプログラム可能なソフトウェアモデルを提供します。
本記事では、エージェント型 AI と長文コンテキスト推論が新たなインフラ要件を生み出す背景と、BlueField-4、Vera BlueField-4 STX、そして DOCA が、AI ファクトリーのデータパス全体にわたるインフラサービスのオフロード・加速・分離を通じて、それらの課題をどのように解決するかについて解説します。
エージェント型 AI がインフラを推論の一部に組み込む
エージェント型 AI は、単なるモデルの実行を超え、GPU、CPU、メモリ、ネットワーク、ストレージ、セキュリティにまたがる分散ワークフローへと拡張されます。AI ファクトリー全体でデータを移動し、文脈を保持し、ポリシーを適用し、サービスを調整する各ステップが推論パイプラインの一部となり、インフラのデータ経路そのものが推論プロセスに組み込まれることになります。
GPU はモデル推論を実行してトークンを生成しますが、CPU はツールの実行、検索結果の処理、プロンプトの準備、出力の検証、そして次の推論ステップとの調整を通じて、エージェントランタイムをオーケストレーションします。また、推論がターンを超えて継続できるよう、文脈を保持・取得する機能もインフラに不可欠です。
特に KV キャッシュ（Key-Value Cache）の保持と取得は重要です。プリフェッチ段階で LLM は中間のアテンション状態を保存する KV キャッシュデータを生成します。プロンプトや会話、そしてエージェントワークフローが複雑化するにつれ、推論ステップ間でのキャッシュ状態の永続化や、リクエスト間での再利用が必要になってきます。GPU メモリが逼迫した状況では、システムは KV キャッシュの退避と再計算、コンテキスト長の制限、あるいは別のメモリ階層への状態移動を行わざるを得ません。これらはレイテンシ、スループット、コストの間でトレードオフを生み出します。つまり、KV キャッシュもインフラデータ経路の一部となり、推論を遅滞させることなく、移動・配置・保護・取得が求められるのです。
その結果、インフラは推論の隣接要素ではなくなり、推論パイプラインの一部へと変貌しました。ネットワーク、ストレージ、セキュリティ、テレメトリ、コントロールプレーンサービス、そしてコンテキストメモリ管理といった機能は、エージェントのトラフィックを処理する際、GPU による推論を遅延させたり、エージェント実行に必要なホスト CPU リソースを奪ったりすることなく動作する必要があります。
BlueField が AI ファクトリーの OS を支える
エージェント推論には、高速で安全かつプログラム可能なインフラデータパスが不可欠です。BlueField はそのデータパスを支える専用インフラプロセッサとして、AI ファクトリー全体にわたる接続、セキュリティ強化、分離、そして各種サービスの加速を実現します。
BlueField-4 は Rubin GPU と NVIDIA Vera CPU の間でデータ処理ユニット（DPU）として機能し、Vera 搭載の BlueField-4 STX ストレージプロセッサは NVIDIA CMX を介してコンテキストメモリと AI ネイティブストレージを管理します。これらの役割を通じて、BlueField は高速ネットワーク、組み込みインフラ計算機能、ローカルメモリ、PCIe 接続、インラインアクセラレーション、分離機能、そして DOCA プログラマビリティを統合し、協調する AI ファクトリーデータパスを構築しています。
BlueField-4 DPU は、最大 800 Gb/s のイーサネットまたは InfiniBand 接続、64 コアの NVIDIA Grace CPU、高帯域幅 LPDDR5X メモリ、PCIe Gen6、ならびにネットワーク、ストレージ、セキュリティ、データ転送のためのインラインアクセラレーションと DOCA ソフトウェアプラットフォームを統合しています。
BlueField-3 と比較すると、ネットワーク帯域幅は 2 倍になり、計算性能は最大 6 倍、メモリ容量は 4 倍、メモリ帯域幅も 3 倍以上に向上しています。
BlueField-4 のストレージプロセッサ（STX）は、NVIDIA Vera CPU、ConnectX-9 SuperNIC、1.6 Tb/s の Spectrum-X イーサネット接続、高性能な NVMe ストレージアクセス、データ転送の高速化、シリコンレベルでのセキュリティ、そして DOCA によるプログラマビリティを統合したものです。
DOCA は BlueField インフラ処理ドメインをプログラム可能にし、ライブラリやマイクロサービスを通じて加速されたインフラサービスを構築・展開するためのソフトウェア基盤を提供します。これにより、開発者、運用担当者、ISV（独立系ベンダー）は、KV キャッシュの再利用、テナント分離、ストレージメタデータ、輻輳制御、安全なプロビジョニング、そして新しいエージェント型ランタイムパターンなど、要件が変化する状況に合わせて、BlueField や ConnectX を活用したサービスを統一的に作成・運用できるようになります。
BlueField のシステムレベルでの機能
ネットワークの相互操作性を高めるには、組み込み計算能力、メモリ帯域幅、PCIe、アクセラレーション、ソフトウェアがすべて同じ速度でトラフィックを処理できる必要があります。追加された計算性能も、十分なメモリ容量、I/O 帯域幅、そしてプログラム可能なサービスが備わっていなければ、スループットの向上にはつながりません。BlueField はこれらのリソースをバランスよく調整するために共同設計されており、インフラトラフィックは発生した場所で即座に処理できるようになっています。
高速接続により、AI ファクトリーのデータパスには AI ワークロード、ストレージ、セキュリティ、制御トラフィックが統合されます。Bluefield の組み込み計算機能と省電力な LPDDR5X メモリは、処理対象のデータ（キュー、ポリシー、メタデータ、テレメトリ、KV キャッシュ配置など）にサービスロジックと状態を近接させることで、効率的な運用を実現します。また、PCIe Gen6、VirtIO、DOCA SNAP によるストレージ仮想化を活用することで、ホストは Bluefield のアクセラレーションをサポートする標準的なネットワークおよびストレージデバイスモデルを利用でき、ホスト CPU の負荷を大幅に削減できます。
エージェントリクエストが AI ファクトリー内を移動する際、パケットによって運ばれ、RDMA 転送やストレージコマンドの発行、ポリシーチェック、メタデータ検索、テレメトリイベントの発生を引き起こします。Bluefield はこれらに関連するフロー制御、データ転送、ストレージアクセス、暗号化、整合性確認、ポリシー強制執行をアクセラレートし、インフラストラクチャサービスがエージェントトラフィックに追いつきながら、ホスト CPU リソースを消費することなく運用できるようにします。
DOCA はこのハードウェア基盤を、AI ファクトリー向けにプログラム可能なサービスへと変換します。具体的には以下の機能を提供します：
- DOCA Host-Based Networking (HBN): サーバーサイドの Layer 3 ルーティングをサポートし、Bluefield が BGP ルーターとして動作することで、スケーラブルなマルチテナント設計を可能にします。
- BlueField ASTRA: ConnectX-9 と連携し、Spectrum-X のゼロトラスト・マルチテナントベアメタルデプロイメントを実現。Bluefield は複数のインフラストラクチャ平面全体で管理制御ポイントとして機能します。
- DOCA Memos: 計算ノードとストレージノード間で KV キャッシュの管理と共有を支援し、長期コンテキストやエージェント推論において文脈の再利用を可能にします。
DOCA セキュリティサービスは、ゼロトラストアクセスのサポート、ポリシー適用、ランタイム可視化、および分離機能を提供し、AI ファクトリー全体におけるデータ、推論処理、エージェントを保護します。
これらの機能を組み合わせることで、ネットワーク、ストレージ、セキュリティ、コンテキスト管理、制御サービスをデータパスに近接配置でき、ホスト CPU リソースとの競合を防ぐことができます。これにより、BlueField は GPU 利用率の向上、推論レイテンシの低減、マルチテナント環境での分離強化、トークンあたりのコスト削減、そしてワットあたりのトークン数増加を実現します。
Vera Rubin AI ファクトリーにおける BlueField-4 の活用
極限までの共設計（エクストリーム・コデザイン）とは、AI ファクトリーを相互依存するシステムとして設計することを意味します。各コンポーネントには明確な役割が定義されており、それらが互いに補完し合うことで、本番環境のワークロード下でもスループット、対話性、分離性、トークン効率を維持できるプラットフォームを実現しています。
Vera Rubin プラットフォームは、高スループット推論、高密度な CPU 実行処理、大規模なコンテキストメモリ、そして安全なデータ転送を必要とするエージェント型 AI ワークロード向けに構築されています。このプラットフォーム内では、Rubin GPU が計算加速を担当し、Vera CPU はツール呼び出し、オーケストレーション、データ転送をサポートします。スケールアップ通信には NVLink を利用し、ConnectX-9 と Spectrum-X がスケールアウトネットワークを担います。BlueField は、計算、ネットワーク、ストレージ、セキュリティにまたわるこのシステム全体で機能します（図 1）。
image*図 1. BlueField-4 がインフラストラクチャ OS を駆動し、統合された計算ユニットとして機能する Vera Rubin AI ファクトリー*
GPU コンピューティング：Rubin GPU のセキュリティ強化と高速化
GPU の性能は、アクセラレーターに作業、データ、そして安全な接続を途切れることなく供給できるシステム全体の能力にかかっています。BlueField-4 は GPU 計算トレイ内でインフラプロセッサとして動作し、フロントエンド（南北方向）のネットワーク処理、ホスト CPU のオフロード、データの安全なアクセス、管理機能、観測性、そしてインフラストラクチャの分離を実現します。これらのサービスをオフロードして分離することで、BlueField は GPU 計算がホスト CPU のオーバーヘッドや可変的なアクセス制御、あるいは管理トラフィックによってボトルネックに陥るのを防ぎます。
南北方向の経路は GPU にとって極めて重要です。ここにはユーザーからのリクエスト、取得されたデータ、コンテキスト、ストレージトラフィック、そして管理サービスが Rubin 計算層へと流入するからです。BlueField-4 はこのフロントエンド経路を拡張し強化するとともに、ホスト CPU のサイクルを消費する前に、関連するネットワーク、ストレージ、セキュリティ、テレメトリの処理をインラインで実行します。より高いフロントエンド帯域幅と低いホスト CPU 競合は、GPU へのデータとコンテキストの可用性を高め、AI ファクトリー全体において予測可能な推論レイテンシの実現と、ユーザーあたりのトークン生成速度向上を支えます。
CPU 実行：Vera エージェントワークロードからのインフラ分離
エージェント型 AI や強化学習の普及により、CPU の性能に対する需要が高まっています。なぜなら、AI エージェントはツールの呼び出し実行やコードの実行、データ閲覧・照会、入力変換、出力解析、結果評価、そしてワークフローの調整など、多岐にわたる処理を行うからです。
Vera CPU は、コアあたりの高性能と並列処理能力、さらに省電力なメモリ帯域幅を兼ね備え、AI ファクトリー規模での CPU 実行層を支えます。一方、BlueField-4 は Vera CPU のワークロードを取り囲むインフラ処理層として機能し、フロントエンドのネットワーク、ストレージアクセス、セキュリティと分離、プロビジョニング、ポリシー管理、テレメトリ、そして運用管理を担います。
この役割分担が重要なのは、エージェント型 CPU ワークロードが推論ループ内部で動作しているからです。もしインフラサービスがホスト CPU のサイクルを消費したり、スケジューリングの揺らぎ（ジッター）を加えたりすれば、GPU 計算リソースが利用可能な状況であっても、ツールの実行やデータ取得、検証が遅れてしまう恐れがあります。BlueField はネットワーク、ストレージ、セキュリティ、制御プレーンサービスなどを DPU ドメイン内で処理することで、Vera CPU がエージェントの実行に集中し、インフラ関連の作業に時間を割かなくて済むようにします。
AI ネイティブなストレージとコンテキストメモリ
エージェント型 AI は、コンテキストを能動的なインフラデータへと変換します。多段階の対話を行うエージェントや、長い文脈での推論、検索強化型のワークフロー、マルチエージェントシステムは、再利用可能な推論結果（KV キャッシュを含む）を生み出します。これらは、推論が停止することなく保存・共有・保護・取得できる必要があります。
NVIDIA の CMX（Context Memory eXtension）は、GPU メモリとスケーラブルな共有ストレージの間に位置する、共有可能で拡張性が高く、電力効率に優れた AI ネイティブな記憶階層プラットフォームです。このプラットフォームでは、Vera BlueField-4 STX ストレージプロセッサを活用し、KV キャッシュ（Key-Value Cache）に最適化されたイーサネット接続のフラッシュ階層を実現しています。Vera CPU、ConnectX-9 ネットワーク、そして DOCA Memos を統合したこのプロセッサが、その中核を担っています。
ストレージプロセッサは、KV の入出力処理、メタデータ管理、データの配置、セキュリティ、制御オペレーションなどを実行します。これらはすべて、ストレージとネットワークの経路に近い場所で実行されます。従来のフラッシュをブロックストレージとして提示するのではなく、CMX は KV メタデータを追跡し、キューを管理し、キャッシュの呼び出しや事前準備（プレステージング）をサポートします。さらにテナントごとのポリシー適用やデータ保護も担います。こうした制御処理が多く、レイテンシに敏感なオペレーションをストレージプロセッサ内に配置することで、コンテキストが膨大になってもシステム間の応答性を維持できます。
DOCA Memos を活用すれば、CMX は AI 計算ノードと CMX データノードの間で KV キャッシュの管理・共有が可能になります。これにより、受動的な記憶階層ではなく、能動的に動作するコンテキストメモリデータパスへと進化します。KV キャッシュを再利用することで、事前生成（prefill）の繰り返しやコンテキストの再計算、GPU のアイドル時間、そして不要なデータ転送を削減できます。その結果、長いコンテキストやエージェントワークロードにおけるトークン生成速度と電力効率が向上します。
データ・推論・エージェントのためのインシリコン保護
エージェント型 AI は、セキュリティモデルそのものを変革します。なぜなら、AI ファクトリー内ではエージェントがデータ、モデル、ツール、コンテキストメモリ、推論サービスに繰り返しアクセスするからです。最終的な回答を生成する前には、機密情報や規制対象となるデータを処理したり、モデルの状態、埋め込み表現、KV キャッシュを操作したりします。このため、データそのものも、推論プロセスも、そしてエージェントの振る舞い自体がセキュリティの攻撃対象（サーフェス）の一部となります。
AI ファクトリーのセキュリティは、ホスト上のソフトウェアだけに頼ってはいけません。ホストに常驻するセキュリティ制御機能は、保護すべきワークロードと同じリソースと信頼境界を共有するため、もしホストが侵害された場合、それら自体も改ざんや回避の対象となり得ます。BlueField はセキュリティ処理をシリコン内部へ移し、ホストのワークロード領域の外側に配置します。これにより制御境界を強化しつつ、AI 作業のために CPU や GPU のリソースを温存できます。
マルチテナント型の AI ファクトリーにおいて、このアーキテクチャはデータパスを遅延させることなくインラインでの保護を実現します。BlueField は、テナントの分離、ネットワークポリシーの適用、安全なアクセス制御、ランタイム検知、暗号化、そして計算・ストレージ・推論インフラ全体にわたるテレメトリを提供する、信頼できるインフラ上の管理ポイントとなります。DOCA はさらに、ゼロトラストデータアクセス、推論保護、エージェントの振る舞い可視化、ネットワークレベルでの分離を実現するためのプログラム可能なサービスを通じてこのモデルを拡張します。これにより、エージェント型ワークロードがスケールしても、モデルやデータセット、コンテキストメモリ、ランタイム上の相互作用を守ることができます。
Learn more
エージェント型 AI は、推論パイプラインの一部としてインフラストラクチャを構成するようになり、AI ファクトリは GPU や CPU の速度、コンテキストメモリの容量を低下させることなく、データを移動・保護・取得・再利用する必要があります。BlueField は、ネットワーク、ストレージ、セキュリティ、テレメトリ、そしてコンテキストサービスにおけるインフラ処理を加速します。一方、DOCA によりこれらのサービスがプログラム可能となり、データセンター全体での展開が可能になります。
これら BlueField-4、Vera BlueField-4 STX、そして DOCA を組み合わせることで、AI ファクトリは相互運用性、分離性の向上、GPU の利用率拡大、トークンあたりのコスト削減、ワットあたりのトークン数増加を実現できます。
はじめに
NVIDIA DOCA をダウンロードし、最新リリースをインストールして サンプル をビルドすれば、BlueField によるネットワーク・ストレージの高速化、セキュリティ強化、テレメトリ機能、ライフサイクル管理のためのプログラミングが開始できます。
原文を表示
Agentic AI changes the infrastructure pattern for AI factories. One request can trigger many model calls, tool calls, memory lookups, policy checks, storage accesses, and network transfers before a final answer is produced. As more agents run at once and carry context across steps, users, tools, services, and sessions, infrastructure must move, protect, retrieve, and reuse data fast enough to keep GPUs and CPUs productive.
The NVIDIA BlueField platform brings dedicated, programmable infrastructure processing in the AI factory data path. BlueField offloads infrastructure work from host CPUs, accelerates data movement, enforces policy inline, and enables context reuse. These capabilities help deliver production outcomes such as higher GPU utilization, more predictable latency, stronger isolation, lower cost per token, and more tokens per watt.
It combines purpose-built infrastructure and storage processors with NVIDIA DOCA software for AI factories. NVIDIA BlueField-4 DPUs offload, accelerate, and isolate networking, storage, security, telemetry, and control-plane services from host CPUs while accelerating data movement across GPU compute and CPU compute systems. NVIDIA Vera BlueField-4 STX storage processors power a new class of data platforms for context memory, high-performance storage infrastructure, and secure data services across AI factories.
Across these processors, NVIDIA DOCA provides the software foundation for building and operating these services across networking, storage, security, telemetry, and lifecycle management. In the NVIDIA Vera Rubin platform and the broader NVIDIA DSX architecture for AI factories, BlueField provides accelerated infrastructure while DOCA provides the programmable software model for deploying those services across the data center.
This post explains how agentic AI and long-context inference drive new infrastructure demands, and how BlueField-4, Vera BlueField-4 STX, and DOCA address them by offloading, accelerating, and isolating infrastructure services across the AI factory data path.
Agentic AI makes infrastructure part of inference
Agentic AI extends inference beyond model execution into a distributed workflow spanning GPUs, CPUs, memory, networking, storage, and security. Each step depends on moving data, preserving context, enforcing policy, and coordinating services across the AI factory, making the infrastructure data path part of the inference pipeline.
GPUs execute model inference and generate tokens, while CPUs orchestrate the agent runtime by executing tools, processing retrieval results, preparing prompts, validating outputs, and coordinating subsequent reasoning steps. The infrastructure must also preserve and retrieve the context that enables reasoning to continue across turns.
Preserving and retrieving context is especially important for KV cache. During prefill, an LLM creates KV cache data that stores intermediate attention state. As prompts, conversations, and agent workflows grow, cache state must increasingly persist across reasoning steps and be reused across requests. When GPU memory becomes constrained, systems evict and recompute KV cache, limit context length, or move state into another memory tier, introducing trade-offs in latency, throughput, or cost. This makes KV cache part of the infrastructure data path, where it must be moved, placed, protected, and retrieved without slowing inference.
As a result, infrastructure is no longer adjacent to inference. Infrastructure is now part of the inference pipeline. Networking, storage, security, telemetry, control-plane services, and context-memory management must process agent traffic without delaying GPU inference or consuming host CPU resources required for agent execution.
BlueField powers the operating system of the AI factory
Agentic inference depends on a fast, secure, and programmable infrastructure data path. BlueField provides the dedicated infrastructure processor for that path, connecting, securing, isolating, and accelerating services across the AI factory.
BlueField-4 operates as the data processing unit (DPU) across Rubin GPUs and NVIDIA Vera CPUs, while the Vera BlueField-4 STX Storage Processor serves NVIDIA CMX for context memory and AI-native storage. Across these roles, BlueField combines high-speed networking, embedded infrastructure compute, local memory, PCIe connectivity, inline acceleration, isolation, and DOCA programmability into a coordinated AI factory data path.
The BlueField-4 DPU integrates up to 800 Gb/s Ethernet or InfiniBand connectivity, a 64-core NVIDIA Grace CPU, high-bandwidth LPDDR5X memory, PCIe Gen6, inline acceleration for networking, storage, security, and data movement, and the DOCA software platform.
Compared with BlueField-3, it doubles networking bandwidth, delivers up to 6x more compute performance, 4x memory capacity, and more than 3x memory bandwidth.
The BlueField-4 STX Storage Processor combines the NVIDIA Vera CPU, NVIDIA ConnectX-9 SuperNIC, up to 1.6 Tb/s of Spectrum-X Ethernet connectivity, high-performance NVMe storage access, accelerated data movement, in-silicon security, and DOCA programmability.
DOCA makes the BlueField infrastructure-processing domain programmable and provides the software foundation for building and deploying accelerated infrastructure services through libraries and microservices. It gives developers, operators, and ISVs a consistent way to create and operate BlueField and ConnectX-accelerated services as requirements shift across KV-cache reuse, tenant isolation, storage metadata, congestion control, secure provisioning, and new agentic runtime patterns.
System-level capabilities of BlueField
Networking improves interactivity only if embedded compute, memory bandwidth, PCIe, acceleration, and software can process traffic at the same pace. Additional compute improves throughput only if it has sufficient memory capacity, I/O bandwidth, and programmable services. BlueField was co-designed to balance these resources so infrastructure traffic can be processed where it arrives.
High-speed connectivity brings AI workload, storage, security, and control traffic into the AI factory data path. Bluefield’s embedded compute and power-efficient LPDDR5X memory keep service logic and state close to the data being processed, including queues, policies, metadata, telemetry, and KV-cache placement. PCIe Gen6, VirtIO, and DOCA SNAP storage virtualization enable hosts to use standard host-visible network and storage device models backed by BlueField acceleration to reduce host CPU overhead.
As agent requests move through the AI factory, they are carried by packets and trigger RDMA transfers, storage commands, policy checks, metadata lookups, and telemetry events. BlueField accelerates the associated flow steering, data movement, storage access, encryption, integrity, and policy enforcement so infrastructure services can keep pace with agent traffic without consuming host CPU resources.
DOCA turns this hardware foundation into programmable services for the AI factory, including:
- DOCA Host-Based Networking (HBN): Supports server-side Layer 3 routing, with BlueField acting as a BGP router for scalable multi-tenant designs.
- BlueField ASTRA: Enables Spectrum-X zero-trust, multi-tenant bare-metal deployments, with BlueField acting as the managed control point across multiple infrastructure planes with ConnectX-9.
- DOCA Memos: Helps manage and share KV cache across compute and storage nodes so context can be reused across long-context and agentic inference.
- DOCA security services: Support zero-trust access, policy enforcement, runtime visibility, and isolation to protect data, inference, and agents across the AI factory.
Together, these capabilities keep networking, storage, security, context management, and control services close to the data path instead of competing for host CPU resources. This helps BlueField improve GPU utilization, reduce inference latency, strengthen multi-tenant isolation, lower cost per token, and increase tokens per watt.
BlueField-4 across the Vera Rubin AI factory
Extreme co-design means the AI factory is engineered as an interdependent system. Each component has a defined role that complements the others, enabling the platform to sustain throughput, interactivity, isolation, and token efficiency under production workloads.
The Vera Rubin platform is built for agentic AI workloads that require high-throughput inference, dense CPU execution, large-scale context memory, and secure data movement. Within this platform, Rubin GPUs provide accelerated compute, and Vera CPUs support tool calls, orchestration, and data movement. NVLink provides scale-up communication, while the ConnectX-9 and Spectrum-X support scale-out networking. BlueField operates across this entire system, spanning compute, networking, storage, and security (Figure 1).
GPU compute: Securing and accelerating Rubin GPUs
GPU performance depends on the full system’s ability to keep accelerators supplied with work, data, and secure connectivity. BlueField-4 operates as an infrastructure processor in the GPU compute tray. It supports frontend (north-south) networking, host CPU offload, secure data access, management, observability, and infrastructure isolation. By offloading and isolating these services, BlueField helps keep GPU compute from being gated by host CPU overhead, variable access controls, or management traffic.
The north-south path is critical for GPUs, because it brings user requests, retrieved data, context, storage traffic, and management services into the Rubin compute layer. BlueField-4 expands and secures that frontend path, while inline infrastructure processing handles the associated networking, storage, security, and telemetry work before it consumes host CPU cycles. Higher frontend bandwidth and lower host CPU contention help improve data and context availability to GPUs, supporting more predictable inference latency and higher tokens per second per user across the AI factory.
CPU execution: Isolating infrastructure from Vera agentic workloads
Agentic AI and reinforcement learning increase demand for CPU performance because agents execute tool calls, run code, browse or query data, transform inputs, parse outputs, evaluate results, and orchestrate workflows. The Vera CPU combines high per-core performance, concurrency, and power-efficient memory bandwidth to run this CPU execution layer at AI factory scale. BlueField-4 provides the infrastructure-processing layer around Vera CPU workloads, handling front-end networking, storage access, security and isolation, provisioning, policy, telemetry, and management.
This separation matters because agentic CPU workloads sit inside the reasoning loop. If infrastructure services consume host CPU cycles or add scheduling jitter, tool execution, retrieval, and validation can slow down even when GPU compute is available. BlueField processes networking, storage, security, and control-plane services in the DPU domain, enabling Vera CPUs to spend more time on agent execution and less time on infrastructure work.
AI-native storage and context memory
Agentic AI turns context into active infrastructure data. Multi-turn agents, long-context reasoning, retrieval-augmented workflows, and multi-agent systems generate reusable inference, including KV cache, that must be stored, shared, protected, and retrieved without stalling inference.
The NVIDIA CMX context memory storage platform creates a shareable, scalable, and power-efficient AI-native storage tier for inference context between GPU memory and scalable shared storage. It delivers an Ethernet-attached flash tier optimized for KV cache using the Vera BlueField-4 STX storage processor, which combines Vera CPU, ConnectX-9 networking, and DOCA Memos.
The storage processor runs KV I/O, metadata management, data placement, security, and control operations close to the storage and network path. Instead of presenting flash as block storage, it tracks KV metadata, manages queues, supports cache recall and pre-staging, enforces tenant policy, and handles data protection. Placing these control-heavy, latency-sensitive operations in the storage processor helps preserve interactivity as context grows.
With DOCA Memos, CMX can manage and share KV cache across AI compute and CMX data nodes, making it an active context-memory data path rather than a passive storage tier. KV-cache reuse reduces repeated prefill, context recomputation, GPU idle time, and unnecessary data movement, improving tokens per second and power efficiency for long-context and agentic workloads.
In-silicon protection for data, inference, and agents
Agentic AI changes the security model because agents repeatedly access data, models, tools, context memory, and inference services across AI factories. They may process proprietary or regulated data, model state, embeddings, and KV cache before producing a final answer. This makes data, inference, and agent behavior part of the security surface.
Security for AI factories can’t rely solely on host software. Host-resident security controls share resources and trust boundaries with the workloads they protect, which can expose them to tampering or evasion if the host is compromised. BlueField moves security processing in-silicon and outside the host workload domain, strengthening the control boundary while preserving CPU and GPU resources for AI work.
For multi-tenant AI factories, this enables inline protection without slowing the data path. BlueField provides a trusted infrastructure control point for tenant isolation, network policy enforcement, secure access, runtime detection, encryption, and telemetry across compute, storage, and inference infrastructure. DOCA extends this model through programmable services for zero-trust data access, inference protection, agent behavior visibility, and network-level isolation, helping protect models, datasets, context memory, and runtime interactions as agentic workloads scale.
Learn more
Agentic AI makes infrastructure part of the inference pipeline, requiring AI factories to move, protect, retrieve, and reuse data without slowing GPUs, CPUs, or context memory. BlueField provides accelerated infrastructure processing for networking, storage, security, telemetry, and context services, while DOCA makes those services programmable and deployable across the data center. Together, BlueField-4, Vera BlueField-4 STX, and DOCA help AI factories improve interactivity, isolation, GPU utilization, cost per token, and tokens per watt.
Get started
Download NVIDIA DOCA, install the latest release, and build the samples to start programming BlueField for accelerated networking, storage, security, telemetry, and lifecycle management.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み