#tensorrt のAIニュース

7件の記事

NVIDIA TensorRT を用いた複数 GPU での AI 推論のスケーリングとマルチデバイス推論サポートの紹介

NVIDIA は、TensorRT の新機能であるマルチデバイス推論サポートを活用し、複数の GPU にわたって AI 推論を効率的にスケーリングする手法を発表した。これにより大規模モデルの実行性能が向上する。

NVIDIA は、TensorRT を活用して FP8 チェックポイントを高性能な推論エンジンへ変換する手法を公開した。これにより、AI モデルの推論速度と効率性が向上する。

NVIDIA は、訓練済み AI モデルを実環境へ展開する際のボトルネック解消法を提示し、モデルのエクスポートや最適化プロセスにおける課題解決策を解説している。

NVIDIAのBlackwellプラットフォームが、金融取引向け大規模言語モデルの推論性能でSTAC-AIベンチマーク記録を達成した。同技術は大量の非構造化データを分析し、金融取引の意思決定を支援する。

NVIDIAがTensorRT LLM AutoDeployを発表し、大規模言語モデルの推論最適化とデプロイを自動化するツールを提供。AI開発の効率化を目指す。

Stability AIとNVIDIAは、TensorRTで最適化したStable Diffusion 3.5モデルを公開した。これにより、NVIDIA RTX GPU上で最大2.3倍の高速生成とVRAM使用量の40%削減を実現し、幅広いGPUでの商用・非商用利用が可能となった。

Stability AIがNVIDIAと協力し、Stable Diffusion 3.5モデルをTensorRTで最適化した。これにより、NVIDIA RTX GPUでの画像生成速度が最大2.3倍向上し、VRAM使用量が40%削減された。