NVIDIAの極端なハードウェア・ソフトウェア協調設計がSarvam AIの主権モデルに大規模な推論向上をもたらした方法

グローバルなAI導入が加速する中、開発者は現実世界のレイテンシとコスト要件を満たす大規模言語モデル（LLM）のパフォーマンスを提供するという、増大する課題に直面しています。特に会話型や音声ベースのAIエージェントにおいて、数百億のパラメータを持つモデルを本番環境で実行するには、高いスループット、低レイテンシ、予測可能なサービスレベルパフォーマンスが求められます。主権的AIモデルをゼロから構築するスタートアップにとって、これらの課題は、モデルの規模と精度をインフラ効率とバランスさせながら、データ主権とコスト管理も維持する必要性によって、さらに増幅されます。 インドのベンガルールに拠点を置く生成AIスタートアップ、Sarvam AIは、同国の多様な人口にサービスを提供し、約20言語をサポートし、モデル開発とデータガバナンスを完全にインドの主権的管理下に置く、大規模で多言語、マルチモーダルな基盤モデルの構築に着手しました。主力モデルであるSovereign 30Bモデルの厳格なレイテンシ目標を達成し、推論効率を向上させるため、Sarvam AIはNVIDIAと連携し、ハードウェアとソフトウェアの最適化を共同設計しました。 この協業により、NVIDIA Blackwell上での推論パフォーマンスは、ベースラインのNVIDIA H100 GPUと比較して4倍の高速化を達成し、次世代NVIDIA Blackwellアーキテクチャへの展開の道筋を確立しました。エンドツーエンドのパフォーマンス向上は、NVIDIA H100 SXM GPU上でのカーネルおよびスケジューリング最適化によって2倍の高速化が実現されたことに加え、Blackwellの強力なコンピュート能力とNVFP4重み量子化を組み合わせることで、さらに2倍の高速化が達成されました。より高いインタラクティブ性のポイントでは、さらに大きな2.8倍のパフォーマンス向上が見られました。 NVIDIAエンジニアは、Sarvam AIが3B、30B、100Bの基盤モデルを構築し、NVIDIA NeMoフレームワークやNVIDIA NeMo-RLを含むNVIDIA Nemotronライブラリを使用してトレーニングされた、新しい主権的基盤モデルファミリーを最適化するのを支援しました。これらのモデルは、22のインド言語、英語、数学、コードをサポートしています。これらは、開発者チームがデータからデプロイメントまでのNVIDIAのフルスタックAIプラットフォームを活用して、最先端のパフォーマンスとローカライズされたAI機能を実現できる方法を示しています。 この記事では、共同エンジニアリングの取り組みを詳しく説明し、インドで最大規模で導入されているNVIDIA GPUであるNVIDIA H100で達成された高速化のベンチマークを共有します。また、これらのワークロードがNVIDIA Blackwellアーキテクチャにどのように適応されつつあるかについての早期の展望も提供します。 MoEによる多言語主権AIのスケーラビリティ実現 主権的規模の知性を高効率で提供するため、Sarvam AIモデルは、深い推論と言語的密度に合わせて調整された、高度な異種混合エキスパート（MoE）アーキテクチャを採用しています。これらのモデルは、NVIDIA NeMoフレームワークとNVIDIA Megatron-LMを使用して、3B、30B、100Bの規模でゼロから事前学習されました。さらに、Nemo-RLは、長文脈推論を含むこれらのモデルの学習後ワークフローに使用されました。 Sarvam 30Bは、128のエキスパートとトップ6ルーティング戦略を備えた19層の深さ（1層密＋18層MoE）を利用し、グループ化クエリ注意（GQA）に依存してメモリ帯域幅と生成品質のバランスを取っています。 Sarvam 100Bはこの設計を32層（1層密＋31層MoE）にスケールアップし、128のエキスパート上でトップ8ルーティングを採用し、MoE FFN隠れ層サイズを2048と大きくしています。さらに、100Bモデルは、DeepSeek-V3と同様に、マルチヘッド潜在注意（MLA）を採用し、Key-Value（KV）キャッシュを積極的に圧縮することで、標準的な注意機構のメモリペナルティなしに大規模なコンテキストウィンドウを可能にしています。 両モデルは、専用のエキスパートが共通の特徴を処理し、ルーティングされたエキスパートが専門的なタスクに取り組む、共有エキスパート設計を特徴としています。高いアクティブパラメータ数（トップ6/トップ8ルーティング経由）と複雑なメモリアクセスパターンのこの組み合わせは、独特なサービング上の課題を生み出し、以下に詳述するNVIDIA HopperおよびNVIDIA Blackwell GPU上での深いカーネル最適化を必要としました。 パフォーマンスの課題：NVIDIA H100上のSLAとベースライン構成 Sarvam 30Bモデルの最適化は、単なる生の速度だけでなく、厳格なレイテンシ制約下での密度最大化に関するものでした。このモデルがサービスを提供するアプリケーション（音声対音声エージェント）のために、以下のサービスレベル契約（SLA）を確立しました： 初回トークンまでの時間（TTFT）のP95（95パーセンタイル）： < 1000 ms トークン間レイテンシ（ITL）のP95（95パーセンタイル）： < 15 ms 推論パフォーマンステストにおけるP95（95パーセンタイル）はレイテンシを測定し、サービスされたリクエストの95％がこの閾値より速く完了し、最も遅い5％はそれ以上かかることを示します。これはユーザーエクスペリエンスとシステム安定性を評価するための重要なテールレイテンシ指標であり、負荷下でもほとんどのユーザーが特定の遅延以上に直面しないことを保証します。エンジニアリングの目標は、これらのP95目標を侵害することなく、推論サーバーのトークンスループット（同時にサービスされるリクエスト）を最大化することでした。 初期パフォーマンス分析のために、Sarvam AIとNVIDIAのチームは、初期性能分析にSGLang推論エンジンを選択しました。KVキャッシュを線形バッファとして扱う標準的なサービングフレームワークとは異なり、SGLangはRadixAttentionを実装しています。これはKVキャッシュを基数木として管理するメカニズムです。これはSarvam 30Bアーキテクチャにとって重要でした。RadixAttentionは自動プレフィックス共有を可能にし、共有エキスパートコンテキストとシステムプロンプトを一度計算して同時リクエスト間で再利用できるようにします。さらに、SGLangのCache-Aware Schedulerはこれらの共有プレフィックスのヒット率を最大化し、プリフィルフェーズでの冗長なメモリ操作を大幅に削減します。 Sarvam AIとNVIDIAのチームは、平均入力シーケンス長（ISL）3,584トークン、出力シーケンス長（OSL）128トークンという特徴を持つ本番トラフィックプロファイルをモデル化しました。内部シミュレーションデータに基づき、MoE層の異なるメモリとコンピュート要件のバランスを取るように設計された特定の並列化戦略で、2つのNVIDIA H100 SXM GPU上にモデルをデプロイしました： エキスパート重みのためのエキスパート並列処理（EP=2）。この構成はGrouped GEMMカーネルを利用してコンピュート密度を最大化し、大規模なエキスパート重みがHBMに常駐することを保証し、エキスパートルーティングのコストを削減します。 –enable-dp-attentionを伴う注意重みのためのデータ並列処理（DP=2）。これにより、注意計算を並列バッチ間で並列化でき、プリフィルフェーズの総合スループットを大幅に向上させました。 この構成は堅牢な機能的なベースラインを提供しましたが、プロファイリングにより、高並行性でサブ秒のTTFTを満たすには、より深い最適化が必要であることが明らかになりました。これが、以下に詳述する特定のカーネルと精度戦略につながりました。 プロファイリングからパフォーマンスへ：MoEボトルネックの解消 シミュレーションデータは、32から64リクエストの並行性範囲がSLA要件を満たす最良の機会を提供することを示していました。この並行性範囲でトークンスループットを制限する正確なボトルネックを特定するため、NVIDIAとSarvam AIのチームは、32リクエストの並行性でプリフィルフェーズとデコードフェーズの両方の実行トレースをキャプチャするためにNVIDIA Nsight Systemsを利用しました。その後、トレースを処理して、単一のトランスフォーマー層内のすべてのカーネルのマイクロ秒レベルのレイテンシ寄与を抽出しました。 プロファイリングにより、重い汎用行列乗算（GEMM）操作（エキスパートと注意）は良好に実行されている一方で、非計算集約的な操作、具体的にはMoEルーティングロジックと位置埋め込み計算において、重大なレイテンシのバブルが存在することが明らかになりました。これらの操作は、カーネル起動オーバーヘッドと冗長なメモリ読み込みに悩まされていました。 ![図1. プリフィルフェーズの時間経過に伴うSMアクティビティとカーネル実行を示すNsysプロファイラのタイムライン。赤いボックスは、層内で最もコストの高いカーネル（QK正規化、注意、MoEエキスパート計算）を示しています。](https://developer-blogs.nvidia.com/wp-content/uploads/2026/02/Sarvam-fig-1-png.webp)

NVIDIAの極端なハードウェア・ソフトウェア協調設計がSarvam AIの主権モデルに大規模な推論向上をもたらした方法

背景や根拠まで確認しますか？

調べる

選ぶ

サイト