我們十分高興地宣布,Torch-TensorRT 1.1.0 版本正式發布!
軟件版本
PyTorch 1.11
CUDA 11.3(在 x86_64 上,默認設置下,兼容的 PyTorch Build 支持較新版本的 CUDA 11)
cuDNN 8.2.4.15
TensorRT 8.2.4.2
由于最近 JetPack 的升級和其發布流程的變化,Torch-TRTv1.1.0 版本不支持Jetson(Jetpack 5.0DP 或其他)。將在中期版本(Torch-TensorRT1.1.x)同時支持 Jetpack 5.0DP 和 TensorRT 8.4。
重要變更
HF BERT性能
算子和性能的進一步優化使 HF BERT 的性能比 V1.1 版本提升了 40%
更多的算子
18 個新的 aten 算子轉換器提高了 TensorRT 的模型覆蓋范圍和性能
查看全部 250+ 個算子
Triton 后端支持
21.12 版本以上的 Triton 現已支持 Torch-TensorRT
將在不久后提供工作流程教程
調試工具
上下文管理器現在允許使用更簡潔清晰的調試工作流程
不支持的算子已降級為警告,建議使用上下文管理器進行調查
API 變更
max_batch_size 和 strict_types 由于在 TRT 中不被遵守已被刪除
所有與 Torch-TensorRT 相關的 Bug 都應被歸入新的 “MachineLearning – TorchTRT” nvbugs 模塊。
原文標題:Torch-TensorRT 1.1.0 版本正式發布
文章出處:【微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。
-
軟件
+關注
關注
69文章
4929瀏覽量
87409 -
pytorch
+關注
關注
2文章
808瀏覽量
13202
原文標題:Torch-TensorRT 1.1.0 版本正式發布
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論