ONNXRUNTIME1.13

ONNXRUNTIME是主流的深度學習部署框架之一，支持ONNX格式模型在CPU、GPU、ARM等不同硬件平臺上加速推理，支持C++、Python、Java、C#、JS等不同語言SDK。C++版本安裝包下載如下：

不同版本的ONNXRUNTIME安裝文件下載地址

 框架主頁

推理流程與API接口

常用組件與推理流程支持：

Python SDK API支持：

C++ SDK API支持：

YOLOv8對象檢測 + ONNXRUNTIME深度學習 C++源碼如下：

#include
#include
#include

usingnamespacecv;
usingnamespacestd;

intmain(intargc,char**argv){
std::vectorlabels=readClassNames();
cv::Matframe=cv::imread("D:/python/my_yolov8_train_demo/zidane.jpg");
intih=frame.rows;
intiw=frame.cols;

//創建InferSession,查詢支持硬件設備
//GPUMode,0-gpudeviceid
std::stringonnxpath="D:/python/my_yolov8_train_demo/yolov8n.onnx";
std::wstringmodelPath=std::wstring(onnxpath.begin(),onnxpath.end());
Ort::SessionOptionssession_options;
Ort::Envenv=Ort::Env(ORT_LOGGING_LEVEL_ERROR,"yolov8-onnx");

session_options.SetGraphOptimizationLevel(ORT_ENABLE_BASIC);
std::cout<input_node_names;
std::vectoroutput_node_names;

size_tnumInputNodes=session_.GetInputCount();
size_tnumOutputNodes=session_.GetOutputCount();
Ort::AllocatorWithDefaultOptionsallocator;
input_node_names.reserve(numInputNodes);

//獲取輸入信息
intinput_w=0;
intinput_h=0;
for(inti=0;i(input_w);
floaty_factor=image.rows/static_cast(input_h);

cv::Matblob=cv::blobFromImage(image,1/255.0,cv::Size(input_w,input_h),cv::Scalar(0,0,0),true,false);
size_ttpixels=input_h*input_w*3;
std::arrayinput_shape_info{1,3,input_h,input_w};

//setinputdataandinference
autoallocator_info=Ort::CreateCpu(OrtDeviceAllocator,OrtMemTypeCPU);
Ort::Valueinput_tensor_=Ort::CreateTensor(allocator_info,blob.ptr(),tpixels,input_shape_info.data(),input_shape_info.size());
conststd::arrayinputNames={input_node_names[0].c_str()};
conststd::arrayoutNames={output_node_names[0].c_str()};
std::vectorort_outputs;
try{
ort_outputs=session_.Run(Ort::RunOptions{nullptr},inputNames.data(),&input_tensor_,1,outNames.data(),outNames.size());
}
catch(std::exceptione){
std::cout<();
cv::Matdout(output_h,output_w,CV_32F,(float*)pdata);
cv::Matdet_output=dout.t();//8400x84

//post-process
std::vectorboxes;
std::vectorclassIds;
std::vectorconfidences;

for(inti=0;i0.25)
{
floatcx=det_output.at(i,0);
floatcy=det_output.at(i,1);
floatow=det_output.at(i,2);
floatoh=det_output.at(i,3);
intx=static_cast((cx-0.5*ow)*x_factor);
inty=static_cast((cy-0.5*oh)*y_factor);
intwidth=static_cast(ow*x_factor);
intheight=static_cast(oh*y_factor);
cv::Rectbox;
box.x=x;
box.y=y;
box.width=width;
box.height=height;

boxes.push_back(box);
classIds.push_back(classIdPoint.x);
confidences.push_back(score);
}
}

//NMS
std::vectorindexes;
cv::NMSBoxes(boxes,confidences,0.25,0.45,indexes);
for(size_ti=0;i(cv::getTickFrequency());
putText(frame,cv::format("FPS:%.2f",1.0/t),cv::Point(20,40),cv::FONT_HERSHEY_PLAIN,2.0,cv::Scalar(255,0,0),2,8);
cv::imshow("YOLOv8+ONNXRUNTIME對象檢測演示",frame);
cv::waitKey(0);

session_options.release();
session_.release();
return0;
}

審核編輯：湯梓紅