前言

英特爾公司發(fā)行的模型部署工具 OpenVINO 模型部署套件，可以實(shí)現(xiàn)在不同系統(tǒng)環(huán)境下運(yùn)行，且發(fā)布的 OpenVINO 2023 最新版目前已經(jīng)支持 MacOS 系統(tǒng)并同時(shí)支持在蘋(píng)果 M 系列芯片上部署模型。在該項(xiàng)目中，我們將向大家展示如何在 MacOS 系統(tǒng)、M2芯片的 Macbook Air 電腦上，展示使用 OpenVINO C++ API 部署深度學(xué)習(xí)模型。

1. OpenVINO

英特爾發(fā)行版 OpenVINO 工具套件基于 oneAPI 而開(kāi)發(fā)，可以加快高性能計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)視覺(jué)應(yīng)用開(kāi)發(fā)速度工具套件，適用于從邊緣到云的各種英特爾平臺(tái)上，幫助用戶(hù)更快地將更準(zhǔn)確地真實(shí)世界結(jié)果部署到生產(chǎn)系統(tǒng)中。通過(guò)簡(jiǎn)化的開(kāi)發(fā)工作流程，OpenVINO 可賦能開(kāi)發(fā)者在現(xiàn)實(shí)世界中部署高性能應(yīng)用程序和算法。

OpenVINO 2023.2 于 2023 年 11 月 16 日發(fā)布，該工具包帶來(lái)了挖掘生成人工智能全部潛力的新功能。更多的生成式 AI 覆蓋和框架集成，以最大限度地減少代碼更改，并且擴(kuò)展了對(duì)直接 PyTorch 模型轉(zhuǎn)換的模型支持。支持更多新的模型，包括 LLaVA、chatGLM、Bark 和 LCM 等著名模型。

支持更廣泛的大型語(yǔ)言模型（LLM）和更多模型壓縮技術(shù)，支持運(yùn)行時(shí)推理支持以下 Int4 模型壓縮格式，通過(guò)神經(jīng)網(wǎng)絡(luò)壓縮框架（NNCF） 進(jìn)行本機(jī) Int4 壓縮等一系列新的功能。

通過(guò) OpenVINO 官網(wǎng)信息，我們可以看出，目前 OpenVINO已經(jīng)能夠在蘋(píng)果 MacOS 系統(tǒng)、M 系列芯片上運(yùn)行，這為使用 MacOS 系統(tǒng)的開(kāi)發(fā)者提供了很好的工具。因此在此處，我們將在 MacOS 系統(tǒng)、M2芯片的 Macbook Air 電腦上，展示使用 OpenVINO C++ API 部署深度學(xué)習(xí)模型的詳細(xì)流程。

2. OpenVINO 下載

官方在發(fā)布版本中已經(jīng)提供 MacOS 系統(tǒng)的編譯庫(kù)，因此在此處我們只需要下載官方編譯庫(kù)即可。

首先訪(fǎng)問(wèn) OpenVINO 網(wǎng)站，依次選擇版本號(hào)、操作系統(tǒng)、安裝方式等內(nèi)容，然后點(diǎn)擊下載，如下圖所示：

OpenVINO 官網(wǎng)：

https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/download.html

下面是官方編譯的文件，此處主要提供了兩個(gè)版本，一個(gè)是適用于蘋(píng)果電腦之前的版本，主要是 MacOS 10 以及之前的版本系統(tǒng)并且使用的是 Intel CPU，另一個(gè)是使用了蘋(píng)果的 M 系列芯片的新版本電腦，主要是 MacOS 11 之后的系統(tǒng)。大家可以根據(jù)自己的電腦進(jìn)行選擇：

下載完后，將該文件解壓到任意文件夾，在此處為了方便后續(xù)使用一集更新，將其解壓到用戶(hù)文件夾，如下圖所示：

后續(xù)我們會(huì)使用 CMake 進(jìn)行項(xiàng)目編譯，因此我們此處無(wú)需再做其他的設(shè)置。

其他環(huán)境配置：

● MacOS：14.2.1

● CMake：3.28

● Make：3.81

●編譯軟件：Visual Studio Code

● OpenCV：4.8.0 其他環(huán)境配置此處不做過(guò)多贅述，OpenCV 環(huán)境安裝可以參考下述文章實(shí)現(xiàn)：【OpenCV】在 MacOS 上源碼編譯 OpenCV

3. 代碼實(shí)現(xiàn)

此處我們以 Yolov8圖片分類(lèi)模型為例進(jìn)行項(xiàng)目測(cè)試，由于該模型之前我們已經(jīng)多次使用，所以在此處不再做耕作的闡述，具體代碼如下所示：

#include 
#include 
#include 
#include 
#include 
#include "openvino/openvino.hpp" //openvino header file
#include "opencv2/opencv.hpp"  //opencv header file


int main(int argc, char* argv[])
{
  ov::Version version = ov::get_openvino_version();
  std::cout << version.description << ": " << version.buildNumber << std::endl;


 ? ?// -------- Step 1. Initialize OpenVINO Runtime Core --------
 ? ?ov::Core core;


 ? ?// -------- Step 2. Compile the Model --------
 ? ?auto compiled_model = core.compile_model("yolov8s-cls.xml", "CPU");


 ? ?// -------- Step 3. Create an Inference Request --------
 ? ?ov::InferRequest infer_request = compiled_model.create_infer_request();


 ? ?// -------- Step 4.Read a picture file and do the preprocess --------
 ? ?cv::Mat img = cv::imread("image.jpg"); 
 ? ?// Preprocess the image
 ? ?int col = img.cols;
 ? ?int row = img.rows;
 ? ?int _max = MAX(col, row);
 ? ?cv::Mat letterbox_img = cv::zeros(_max, _max, CV_8UC3);
 ? ?img.copyTo(letterbox_img(cv::Rect(0, 0, col, row)));
 ? ?
 ? ?cv::Mat blob = cv::blobFromImage(letterbox_img, 1.0 / 255.0, cv::Size(224, 224), cv::Scalar(), true);


 ? ?// -------- Step 5. Feed the blob into the input node of the Model -------
 ? ?// Get input port for model with one input
 ? ?auto input_port = compiled_model.input();
 ? ?std::cout << "The shape of input tensor:" << input_port.get_shape() << std::endl;
 ? ?// Create tensor from external memory
 ? ?ov::Tensor input_tensor(input_port.get_element_type(), input_port.get_shape(), blob.ptr(0));
 ? ?// Set input tensor for model with one input
 ? ?infer_request.set_input_tensor(input_tensor);


 ? ?// -------- Step 6. Start inference --------
 ? ?infer_request.infer();
 ? ?struct timeval start_time, end_time;
 ? ?gettimeofday(&start_time,NULL);
 ? ?infer_request.infer();
 ? ?gettimeofday(&end_time,NULL);
 ? ?// Get the elapsed millisecond time
 ? ?double elapsed_time = (end_time.tv_sec - start_time.tv_sec)*1000 + (end_time.tv_usec - start_time.tv_usec)/1000;
 ? ?// -------- Step 7. Get the inference result --------
 ? ?auto output = infer_request.get_output_tensor(0);
 ? ?auto output_shape = output.get_shape();
 ? ?std::cout << "The shape of output tensor:" << output_shape << std::endl;


 ? ?// -------- Step 8. Postprocess the result --------
 ? ?float* output_buffer = output.data();
  std::vector result(output_buffer, output_buffer + output_shape[1]);
  auto max_idx = std::max_element(result.begin(), result.end());
  int class_id = max_idx - result.begin();
  float score = *max_idx;
  std::cout << "Class ID:" << class_id << " Score:" <

	

	在該代碼中，主要是獲取 OpenVINO 版本信息，然后按照模型部署流程部署測(cè)試了 Yolov8 圖片分類(lèi)模型，并打印輸出結(jié)果以及推理時(shí)間。

	4. 項(xiàng)目編譯運(yùn)行

	在該項(xiàng)目中通過(guò) CMake 編譯項(xiàng)目，定義的 CMakeLists.txt 文件如下所示：

	
cmake_minimum_required(VERSION 3.28)
project(test_openvino)
set(OpenCV_DIR /Users/ygj/3lib/opencv_4.8.0/lib/cmake/opencv4)
find_package(OpenCV REQUIRED)
message(STATUS "OpenCV_DIR = ${OpenCV_DIR}")
message(STATUS "OpenCV_INCLUDE_DIRS = ${OpenCV_INCLUDE_DIRS}")
message(STATUS "OpenCV_LIBS = ${OpenCV_LIBS}")
set(OpenVINO_DIR /Users/ygj/3lib/openvino_2023.2/runtime/cmake)
set(OpenVINO_LIBs "/Users/ygj/3lib/openvino_2023.2/runtime/lib/arm64/Release/libopenvino.2320.dylib")
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11")
include_directories(
 /Users/ygj/3lib/openvino_2023.2/runtime/include
  ${OpenCV_INCLUDE_DIRS}
)
add_executable(test_openvino test_openvino.cpp )
target_link_libraries(test_openvino ${OpenVINO_LIBs} ${OpenCV_LIBS})

	

	在這個(gè) CMakeLists 文件中，需要同時(shí)配置 OpenCV 以及 OpenVINO 這兩個(gè)依賴(lài)庫(kù)，具體編譯以及配置方式參考 CMake 手冊(cè)。

	接下來(lái)就可以項(xiàng)目編譯了，在終端中輸入一下命令，就可以進(jìn)行項(xiàng)目配置了，輸出結(jié)果如下所示：

	
cmake .

	

	

	接下來(lái)就是進(jìn)行項(xiàng)目編譯，CMake 編譯后會(huì)生成 Makefile 文件，之后就可以運(yùn)行 make 命令進(jìn)行項(xiàng)目最后的編譯，然后就可以直接運(yùn)行生成的項(xiàng)目文件，如下所示：

	
make
./test_openvino

	

	

	上圖中展示了項(xiàng)目最后運(yùn)行結(jié)果，可以看出，此處使用的模型輸入大小為[1,3,224,224]，輸出大小為[1,1000]，識(shí)別結(jié)果 Class ID=386，查看分類(lèi)結(jié)果字典，圖片識(shí)別結(jié)果與圖片一致；模型的推理時(shí)間為：7ms。

	5. 總結(jié)

	該項(xiàng)目中，我們?cè)?MacOS 14.2.1 系統(tǒng)、M2 芯片的 Macbook Air 電腦上，成功使用 OpenVINO C++ API 部署了 Yolov8 圖片分類(lèi)深度學(xué)習(xí)模型，并詳細(xì)演示了 OpenVINO C++ API 在蘋(píng)果電腦上使用與配置流程，為使用 MacOS 系統(tǒng)的開(kāi)發(fā)者提供了很好的范例與參考。

	





	審核編輯：劉清