NVIDIA Developer Blog
1 个来源使长时间运行的 NVIDIA TensorRT 引擎构建在 Python 或 C++ 中可观察和可取消
NVIDIA TensorRT 引擎构建可能需要几秒到几分钟,特别是对于大型强类型模型、深度策略搜索以及全新 GPU SKU 上的冷计时缓存。本文讨论了如何在 Python 或 C++ 中使这些构建过程可观察和可取消,以改善开发者体验。
NVIDIA TensorRT 引擎构建可能需要几秒到几分钟,特别是对于大型强类型模型、深度策略搜索以及全新 GPU SKU 上的冷计时缓存。本文讨论了如何在 Python 或 C++ 中使这些构建过程可观察和可取消,以改善开发者体验。
主报道
主报道来源