01

簡介

《在英特爾開發者套件上用OpenVINO加速YOLOv8-seg實例分割模型》介紹了在英特爾者開發套件上使用 OpenVINO開發套件部署并測評 YOLOv8-Seg 的實例分割模型，本文將介紹在英特爾開發者套件上使用 OpenVINO2023.0 加速 YOLOv8-Pose 姿態估計（Pose Estimation）模型。

請先下載本文的范例代碼倉，并搭建好 YOLOv8 的OpenVINO 推理程序開發環境：

git clone

https://gitee.com/ppovnuc/yolov8_openvino.git

02

導出 YOLOv8-Pose 姿態估計 OpenVINO IR 模型

YOLOv8-Pose 的姿態估計模型有5種，在 COCOKeypoints 數據集完成訓練，如下表所示。

COCOKeypoints 數據集請見：

http://cocodataset.org/

首先使用命令：

 yolo export model=yolov8n-pose.pt format=onnx

向右滑動查看完整代碼

完成 yolov8n-pose.onnx 模型導出，如下圖所示：

然后使用命令：

mo -m yolov8n-pose.onnx --compress_to_fp16

向右滑動查看完整代碼

優化并導出 FP16 精度的 OpenVINO IR 格式模型，如下圖所示：

03

用 benchmark_app 測試 yolov8 姿態估計模型的推理計算性能

benchmark_app 是 OpenVINO工具套件自帶的 AI 模型推理計算性能測試工具，可以指定在不同的計算設備上，在同步或異步模式下，測試出不帶前后處理的純 AI 模型推理計算性能。

使用命令：

benchmark_app -m yolov8n-pose.xml -d GPU

向右滑動查看完整代碼

獲得 yolov8n-pose.xml 模型在英特爾開發者套件的集成顯卡上的異步推理計算性能，如下圖所示：

04

使用 OpenVINO Python API編寫 YOLOv8-Pose 姿態估計模型推理程序

用 Netron 打開 yolov8n-seg.onnx 可以看到模型的輸入和輸出：

輸入節點名字：“images”；數據：float32[1,3,640,640]

輸出節點1的名字：“output0”；數據：float32 [1,56,8400]，其中“8400”是指 YOLOv8 的3個檢測頭在 imgsz=640 時，有640/8=80,640/16=40,640/32=20,80x80+40x40+20x20=8400個輸出單元格；“56”指 “Person” 類的中心坐標 cx,cy,w,h+“Person” 類的置信分數+“Person” 類的17個關鍵點([17,3]) = 56。

基于 OpenVINO Python API 的 YOLOv8 實例分割模型范例程序 yolov8_pose_ov_sync_infer_demo.py 的核心源代碼，如下所示：

# 實例化Core對象
core = Core() 
# 載入并編譯模型
net = core.compile_model(f'{MODEL_NAME}.xml', device_name="GPU")
# 獲得模型輸出節點
output_node = net.outputs[0] 
ir = net.create_infer_request()
cap = cv2.VideoCapture("store-aisle-detection.mp4")
while True:
  start = time.time()
  ret, frame = cap.read()
  if not ret:
    break
  [height, width, _] = frame.shape
  length = max((height, width))
  image = np.zeros((length, length, 3), np.uint8)
  image[0:height, 0:width] = frame
  scale = length / 640
  blob = cv2.dnn.blobFromImage(image, scalefactor=1 / 255, size=(640, 640), swapRB=True)
  # 基于OpenVINO實現推理計算
  outputs = ir.infer(blob)[output_node]
  outputs = np.array([cv2.transpose(outputs[0])])
  rows = outputs.shape[1]
  # Postprocess
  boxes = []
  scores = []
  preds_kpts = []
  for i in range(rows):
    classes_scores = outputs[0][i][4]
    key_points = outputs[0][i][5:]
    if classes_scores >= 0.5:
      box = [
        outputs[0][i][0] - (0.5 * outputs[0][i][2]), outputs[0][i][1] - (0.5 * outputs[0][i][3]),
        outputs[0][i][2], outputs[0][i][3]]
      boxes.append(box)
      scores.append(classes_scores)
      preds_kpts.append(key_points)
  result_boxes = cv2.dnn.NMSBoxes(boxes, scores, 0.25, 0.45, 0.5)
  detections = []
  for i in range(len(result_boxes)):
    index = result_boxes[i]
    box = boxes[index]
    pred_kpts = preds_kpts[index]
    detection = {
      'class_id': 0,
      'class_name': 'person',
      'confidence': scores[index],
      'box': box,
      'scale': scale}
    detections.append(detection)
    print(box[0] * scale, box[1] * scale, scale)
    draw_bounding_box(frame, 0, scores[index], round(box[0] * scale), round(box[1] * scale),
             round((box[0] + box[2]) * scale), round((box[1] + box[3]) * scale))
    draw_key_points(frame, pred_kpts, 0.2, scale)

向右滑動查看完整代碼

運行結果，如下圖所示：

05

結論

英特爾開發者套件借助 N5105 處理器的集成顯卡（24個執行單元）和 OpenVINO2023.0 ，可以在 YOLOv8-Pose 的姿態估計模型上獲得相當不錯的性能。通過異步處理和 AsyncInferQueue ，還能進一步提升計算設備的利用率，提高 AI 推理程序的吞吐量。