モデル量子化：NVIDIA TensorRT で FP8 チェックポイントを高性能推論エンジンに変換する方法

NVIDIA は、TensorRT を活用して FP8 チェックポイントを高性能な推論エンジンへ変換する手法を公開した。これにより、AI モデルの推論速度と効率性が向上する。