速度を落とさないハードウェア基盤の AI セキュリティ

AI は組織の運用方法を変革し、前例のない生産性とイノベーションを推進しています。しかし、データプライバシーや主権への懸念、そして推論中や AI モデルとの対話中にデータをどのように保護するかといった課題が、AI の導入を妨げる要因となっています。NVIDIA Confidential Computing (CC) は、アジェンティック AI の時代にあらゆるモデルを安全にスケールさせるために設計された、セキュリティとパフォーマンスを両立したソリューションです。 CC は、推論が実行されている最中のエンタープライズデータや独自モデルの重み、そしてモデル自体そのものを保護します。本稿では CC の概要を紹介し、CC を有効にしても推論のパフォーマンスは非対応のソリューションと比較してほぼ同等（最大 98%）であることを示すベンチマーク結果を提示します。 ## データ、コード、モデルの整合性 CC は、シリコンから相互接続、システムソフトウェアに至るまでを一貫したセキュリティレイヤーとして提供します。その仕組みは以下の通りです。 ![Diagram illustrating the Confidential Computing security layer, highlighting its integration across silicon, interconnect, and system software to ensure data and code integrity and confidentiality.](https://developer-blogs.nvidia.com/wp-content/uploads/2026/07/image1.webp) *Figure 1. Confidential Computing provides data and code integrity and confidentiality* ## ハードウェアに根ざした信頼の基盤 NVIDIA Blackwell GPU（NVIDIA RTX PRO 6000、HGX B200、HGX B300 など）は、ハードウェアレベルで CC（機密コンピューティング）機能を備えて設計されています。特に HGX B200 と HGX B300 は、最大 8 枚の GPU にまたがる機密コンピューティングをサポートし、NVIDIA NVLink を介した暗号化も可能です。 シリコンレベルでは、GPU が製造時に融合（ファージョン）された秘密署名鍵を保持しています。この鍵は一度もソフトウェアやファームウェア、ホストシステムに露出することはありません。これが「アテステーションチェーン」の基盤となります。 ## アテステーション：実行前の検証 機密ワークロードが機密情報を受け取る前には、必ずリモートアテステーションを経由します。NVIDIA リモートアテステーションサービス（NRAS）は、GPU のハードウェアレポートと CPU TEE 測定値（AMD SEV-SNP または Intel TDX）を組み合わせた署名付き証拠バンドルを、「既知の正当な参照整合性マニフェスト（RIM）」と比較検証します。 CVM（機密仮想マシン）が検証済みで改ざんされていない状態であることが確認された後、モデル復号鍵などの機密情報を CVM 内に展開できます。アテステーションによるハンドシェイクは通常、起動時の一度きりのイベントです。ワークロードが実行中になった後は、個々の推論リクエストに対してアテステーションが追加の遅延を引き起こすことはありません。 ![Diagram showing the attestation process, where the NVIDIA Remote Attestation Service (NRAS) verifies the hardware report and CPU TEE measurements against a reference integrity manifest to validate the Trusted Execution Environment before secrets are deployed.](https://developer-blogs.nvidia.com/wp-content/uploads/2026/07/image-1-1-625x267.png) 図 2：アテステーションサービスは、遠隔から信頼済み実行環境（Trusted Execution Environment）のアイデンティティ、設定、完全性を検証し、暗号化証明を発行します。 ## 機密コンピューティングにおける AI 推論パフォーマンスの最適化 Blackwell GPU 上で機密コンピューティング（CC）を導入すると、AI 推論のパフォーマンスへの影響は主に以下の 2 つの要因から生じます。 - **安全なワークロード提出のレイテンシ**: 推論処理においては、この提出時の遅延がボトルネックになることが多く、暗号化やカーネル起動に伴うオーバーヘッドが原因です。特に小さな単位での処理ほど影響を受けやすくなります。1 つの GPU ワーク起動で処理する作業量を増やすことで、安全な起動に伴うオーバーヘッドの影響を軽減できます。 - **ホストからデバイスへの CPU から GPU への帯域幅低下**: 入力データを GPU に転送することに依存度の高いワークロードの場合、GPU を最大限に活用するために必要な帯域幅が、CC モードで利用可能な暗号化転送の帯域幅を超えていないかが性能を左右します。 機密コンピューティング下でも推論パフォーマンスを最適化する技術として、以下のような革新があります。 - **CC 対応オートチューナ計時**: FlashInfer は CC モードにおいてイベントタイマーに代わり、GPU のグローバルタイマーレジスタを使用します。これにより、オートチューナーはカーネル候補を正確に比較し、各形状に対して最速の実装を選択できるようになります。 - **非同期 D2H コピーワーカー**: SGLang は、ステップごとのトークン読み取り処理をスケジューラのクリティカルパスから外します。これにより、計算と転送のオーバーラップが回復します。CC モードでは cudaMemcpyAsync を使用しても、ホストからデバイスへの転送やその逆方向の転送が事実上同期化されてしまうことが多いためです。 SGLang は、プリフィルと混合バッチ処理における CUDA グラフ再生機能を追加し、CC モードで増幅されるカーネル起動オーバーヘッドを削減しました。これにより、ピースワイズな CUDA グラフサポートが実現されています。 NVIDIA は引き続き、推論フレームワークの上位コミュニティとの連携を強化し、これらのフレームワークがパフォーマンス最適化された状態を保証するよう取り組んでいます。 CC モードにおける推論性能を、主要な指標別に測定しました。以下にテスト環境と測定結果の詳細を示します。 ## ベンチマーク結果 *テストしたすべてのワークロード構成において、CC モードを有効にしても、定常状態の推論時におけるスループットや出力トークンあたりの処理時間へのオーバーヘッドは最小限でした。* 以下の表は、Blackwell Ultra (HGX B300) 上で Qwen/Qwen3.5-397B-A17B-FP8 モデルを動作させた際の、CC のスループット、TTFT（Time To First Token）、TPOT（Time Per Output Token）のオーバーヘッドを要約したものです。 ## 機密コンピューティングにおける相対パフォーマンス | **並列処理数** | **ISL/OSL = 1024 / 1024** | | **ISL/OSL = 8192 / 1024** | | | --- | --- | --- | --- | --- | | **並列処理数** | **スループット/GPU (tok/s)** | **中央値 TPOT (ms)** | **スループット/GPU (tok/s)** | **中央値 TPOT (ms)** | | **並列処理数** | **OFF 比 Δ%** | **OFF 比 Δ%** | **OFF 比 Δ%** | **OFF 比 Δ%** | | **4** | -2.0% | -1.6% | -3.5% | -3.6% | | **8** | -2.6% | -2.4% | -2.8% | -2.9% | | **16** | -5.3% | -4.9% | -2.8% | -3.0% | | **32** | -6.3% | -7.8% | -1.0% | -0.9% | | **64** | -6.2% | -6.8% | -2.3% | -2.4% | | **128** | -7.5% | -8.1% | -3.5% | -3.5% | | **256** | -4.6% | -4.1% | -3.6% | -3.7% | 表 1：NVIDIA 暗号化コンピューティング（Confidential Computing）有効時の相対的なパフォーマンスへの影響 ## テスト環境 **ベンチマーク**: FP8 精度での Qwen 3.5 397B-A17B モデル **環境**: GPU パススルー機能付きの仮想マシン **ベースライン**: 暗号化コンピューティング無効 **実験設定**: 暗号化コンピューティング有効 それ以外の条件はすべて同一に保っています。 ## ハードウェア構成 Blackwell Ultra を搭載した HGX B300。 ## ソフトウェアスタック | **コンポーネント** | **バージョン / 詳細** | | --- | --- | | **プラットフォーム** | Intel TDX | | **ホスト OS** | Ubuntu 25.10 | | **ホストカーネル** | 6.17.0-20-generic | | **ゲスト OS** | Ubuntu 24.04.4 LTS | | **ゲストカーネル** | 6.8.0-124-generic | | **ゲスト vCPU** | 256 | | **ゲスト NUMA** | 2 ノード | | **NVIDIA ドライバ** | 595.71.05 | | **VBIOS** | FW 1.4.x [97.10.64.00.0C] | | **GPU 電力制限** | 1100.00 | | **CUDA** | 13.2 | | **SGlang** | [docker.io/lmsysorg/sglang:v0.5.12-cu130](http://docker.io/lmsysorg/sglang:v0.5.12-cu130)PRs: [28251](https://github.com/sgl-project/sglang/pull/28251) (SGLang) and [3638](https://github.com/flashinfer-ai/flashinfer/pull/3638) (FlashInfer) | | **NCCL** | v2.28.9-1 | | **OpenSSL** | 3.6.0 | | **オーケストレーション** | Docker Container + NVIDIA Container Toolkit | 表 2 テスト環境のソフトウェア構成 注：この [ドキュメント](https://docs.nvidia.com/cc-deployment-guide-tdx.pdf) に記載されている CPU の電力設定と vCPU ピン留め設定に従ってください。 ## ワークロードパラメータ 各構成は、実際の企業向け推論ワークロードを代表する幅広い条件でテストされました： **入力/出力トークン長：** 8192/1024, 1024/1024 **バッチサイズ：** 4, 8, 16, 32, 64, 128, 256 の並行リクエスト。 **推論フレームワーク（モード）：** SGLang (Server) **ベースライン：** –enable-symm-mem を使用しない場合 ## 収集した指標 - **GPU あたり出力スループット（トークン/秒/GPU）** - **最初のトークンまでの中央値時間（TTFT）**：リクエスト送信から最初のトークン生成までの遅延（ミリ秒） - **出力トークンあたりの中央値時間（TPOT）**：定常状態のストリーミングにおけるトークン生成ごとの遅延（ミリ秒） ## 今後の方向性 ハードウェアレベルのセキュリティである CC は、機密性の高い AI ワークロードを保護しつつ、本番環境で必要なパフォーマンスも維持します。 CC は、最小限のパフォーマンスオーバーヘッドで、本番推論ワークロードに対するより強固なセキュリティ基盤を提供します。SGLang 上で Qwen 3.5 を使用した評価では、並行レベルや入力シーケンス長、出力シーケンス長のさまざまな組み合わせにおいてこの結果が確認されました。これにより、組織はパフォーマンスを犠牲にすることなく、AI ワークロードとデータを保護し、規制への準拠を実現できることが証明されています。 Blackwell 上で CC を活用して AI ワークロードを保護するには、NVIDIA とパートナーと共に以下のリソースをご覧ください。 ## リソース [NVIDIA Confidential Computing Documentation](http://developer.nvidia.com/confidential-computing) [NVIDIA Blackwell Architecture Whitepaper](http://resources.nvidia.com/en-us-blackwell-architecture) [NVIDIA GPU Operator and Container Toolkit](http://docs.nvidia.com/datacenter/cloud-native/) [NVIDIA Remote Attestation Service (NRAS)](http://developer.nvidia.com/docs/security/attestation-sdk) [NIST SP 800-207 Zero Trust Architecture](http://csrc.nist.gov/publications/detail/sp/800-207/final) [HIPAA Security Rule (HHS)](http://hhs.gov/hipaa/for-professionals/security) [GDPR Article 32 — Security of Processing](http://gdpr.eu/article-32-security-of-processing) ## 執筆者について

速度を落とさないハードウェア基盤の AI セキュリティ

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト