inferenceoptimizer

NVIDIA TensorRT是一款高性能深度学习推理SDK，可优化推理性能、加速各种工作负载，并支持大型语言模型推理。