作者：武卓博士 英特爾 AI 布道師

在《英特爾銳炫 顯卡+ oneAPI 和 OpenVINO 實現英特爾 視頻 AI 計算盒訓推一體-上篇》一文中，我們詳細介紹基于英特爾 獨立顯卡搭建 YOLOv7 模型的訓練環境，并完成了 YOLOv7 模型訓練，獲得了最佳精度的模型權重：

本文將繼續介紹使用 OpenVINO 優化并部署已訓練好的 YOLOv7 模型。

使用 OpenVINO 優化并部署

訓練好的YOLOv7 模型

我們可以進一步使用 OpenVINO 來優化經過訓練的 YOLOv7 模型，并將其部署到多個英特爾 硬件平臺，包括英特爾CPU、集成顯卡和獨立顯卡等。整個部署過程可以通過以下步驟來實現：

檢查來自訓練模型的推理結果

訓練好的模型，推理效果究竟如何？可使用如下命令查看推理效果：

python -W ignore detect.py --weights ./ runs/train/yolov7_tiny_pothole_fixed_res/weights/best.pt --conf 0.25 --img-size 640 --source ../pothole_dataset/images/test/G0026953.jpg

向右滑動查看完整代碼

同時，可以利用如下命令打印出推理結果圖：

from PIL import Image
# visualize prediction result
Image.open('runs/detect/exp5/G0026953.jpg')

向右滑動查看完整代碼

推理結果如下圖所示：

將模型導出為 ONNX 格式

使用如下命令將訓練好的模型導出為 ONNX 格式：

python -W ignore export.py --weights ./ runs/train/yolov7_tiny_pothole_fixed_res/weights/best.pt --grid

向右滑動查看完整代碼

將模型轉換為 OpenVINO IR 格式

使用 model conversion API 將模型轉為 OpenVINOIR 格式：

from openvino.tools import mo
from openvino.runtime import serialize


model = mo.convert_model('model_trained/best.onnx')
# serialize model for saving IR
serialize(model, 'model_trained/best.xml')

向右滑動查看完整代碼

利用 OpenVINO runtime

在獨立顯卡上運行推理

使用以下命令在英特爾GPU上使用 OpenVINO Runtime 運行推理，因為我的機器上有一個集成 GPU，所以 OpenVINO 的運行時設備名稱需要設置為“GPU.1”。

from openvino.runtime import Core
core = Core()
# read converted model
model = core.read_model('model_trained/best.xml')
# load model on CPU device
compiled_model = core.compile_model(model, 'GPU.1')

向右滑動查看完整代碼

利用 226-yolov7-optimization 中定義的前處理及后處理函數，我們可以將 OpenVINO 推理結果可視化，如下圖所示：

完整的YOLOv7推理代碼已開源到（請復制鏈接到瀏覽器）：

https://github.com/openvinotoolkit/openvino_notebooks/notebooks/226-yolov7-optimization.ipynb

歡迎開發者自行下載使用。

總結

到此，基于英特爾?視頻 AI 計算盒打造一個從模型訓練到優化部署的AI 訓推一體流水線(Train & Inference pipeline)的完整過程已介紹完畢，所有代碼已開源到（請復制鏈接到瀏覽器）：

https://github.com/zhuo-yoyowz/training-deployment-dGPU

歡迎大家將上述代碼克隆到本機并使用，遇到問題也歡迎到我的 GitHub Repo 上留言。

關于英特爾 OpenVINO 開源工具套件的詳細資料，包括其中我們提供的三百多個經驗證并優化的預訓練模型的詳細資料。

除此之外，為了方便大家了解并快速掌握 OpenVINO 的使用，我們還提供了一系列開源的 Jupyter notebook demo。運行這些 notebook，就能快速了解在不同場景下如何利用 OpenVINO 實現一系列、包括計算機視覺、語音及自然語言處理任務。OpenVINO notebooks的資源可以在 Github 這里下載安裝（請復制鏈接到瀏覽器）：

https://github.com/openvinotoolkit/openvino_notebooks

審核編輯：湯梓紅