前言

前面給大家介紹了自己開發(fā)的LabVIEW ai視覺工具包，后來發(fā)現(xiàn)有一些onnx模型無法使用opencv dnn加載，且速度也偏慢，所以就有了今天的onnx工具包，如果你想要加載更多模型，追求更高的速度，那可以使用LabVIEW onnx工具包實現(xiàn)模型的推理與加速。

一、工具包內(nèi)容

這個開放神經(jīng)網(wǎng)絡(luò)交互工具包主要優(yōu)勢如下：

1. **簡單編程：**圖形化編程，無需掌握文本編程基礎(chǔ)即可完成機器視覺項目;
2. **提供多種框架生成的onnx模型導(dǎo)入模塊：**包括pytorch、caffe、tensorflow、paddlepaddle等生成的onnx模型；
3. 多種高效加速推理接口 ：CUDA、TensorRT對模型進行最大化的加速；
4. 支持多種硬件加速 ：支持Nvidia GPU、Intel、TPU、NPU多種硬件加速
5. 提供近百個應(yīng)用程序范例 ：包括物體分類、物體檢測、物體測量、圖像分割、 人臉識別、自然場景下OCR等多種實用場景

** 工具包中的函數(shù)選版如下：**

例如，一個攝像頭采集并進行yolov5目標檢測的范例程序，只需在LabVIEW中編寫簡單的圖形化程序，即可實現(xiàn)。在大量簡化編程難度的同時，也保持了c++的高效運行特性。

通常我們做項目，在部署過程中想要加速，無非就那么幾種辦法，如果我們的設(shè)備是CPU，那么可以用openvion，如果我們希望能夠使用GPU，那么就可以嘗試TensorRT了。那么為什么要選擇TensorRT呢？因為我們目前主要使用的還是Nvidia的計算設(shè)備，TensorRT本身就是Nvidia自家的東西，那么在Nvidia端的話肯定要用Nvidia親兒子了。

不過因為TensorRT的入門門檻略微有些高，直接勸退了想要入坑的玩家。其中一部分原因是官方文檔比較雜亂；另一部分原因就是TensorRT比較底層，需要一點點C++和硬件方面的知識，學(xué)習(xí)難度會更高一點。我們做的****開放神經(jīng)網(wǎng)絡(luò)交互工具包GPU版本 ，直接將TensorRT一起集成到了onnx_session中，可以加載任何onnx模型，可以使用CUDA或者TensorRT加速,實現(xiàn)高效的推理

二、工具包下載鏈接

https://pan.baidu.com/s/1vwCp1LuKEjYGM4goNYMagw?pwd=yiku

三、工具包安裝步驟

詳細安裝步驟可查看： LabVIEW開放神經(jīng)網(wǎng)絡(luò)交互工具包（ONNX)（非NI Vision）下載與安裝教程

四、實現(xiàn)物體識別

無論使用何種框架訓(xùn)練物體檢測模型，都可以無縫集成到LabVIEW中，并使用工具包提供的CUDA、tensorRT接口實現(xiàn)加速推理，模型包括但不限于：

• yolov5、yolov6、yolov7、pp-yoloe、yolox
• torchvision中的圖像分類、目標檢測模型等

通過算法優(yōu)化，在LabVIEW中運行模型的速度明顯好于python，這對于對性能要求較高的工業(yè)現(xiàn)場來說非常友好實用。比如說：工地安全帽檢測、物體表面缺陷檢測等，如下圖進行物體識別，在GPU模式下，無論是運行速度和識別率都可以達到工業(yè)級別。

• yolov4實現(xiàn)目標檢測：

• 基于onnx，yolov5使用tensorRT實現(xiàn)推理加速：

• NI vision采集圖像、tensorRT加速實現(xiàn)yolov5目標檢測

• yolov5實現(xiàn)口罩檢測：
  
• yolov5實現(xiàn)安全帽檢測：
  
• yolov6實現(xiàn)目標檢測：
  
• yolox實現(xiàn)目標檢測：
  
• 百度PP-YOLOE實現(xiàn)目標檢測：
  

五、實現(xiàn)圖像分割

圖像分割是當今計算機視覺領(lǐng)域的關(guān)鍵問題之一。從宏觀上看，圖像分割是一項高層次的任務(wù)，為實現(xiàn)場景的完整理解鋪平了道路。場景理解作為一個核心的計算機視覺問題，其重要性在于越來越多的應(yīng)用程序通過從圖像中推斷知識來提供營養(yǎng)。隨著深度學(xué)習(xí)軟硬件的加速發(fā)展，一些前沿的應(yīng)用包括自動駕駛汽車、人機交互、醫(yī)療影像等，都開始研究并使用圖像分割技術(shù)。

本次集成的工具包提供了多種圖像分割的調(diào)用模塊，并實現(xiàn)了GPU模式下TensorRT的加速運行。如：

語義分割：Segnet、deeplabv1~deeplabv3、deeplabv3+、u-net等；

實例分割：Mask-RCNN、PANet等

六、自然場景下的文字識別

工具包提供了文本檢測定位（DB_TD500_resnet50、EAST）、文本識別的模塊（CRNN)，用戶可以使用該模塊實現(xiàn)自然場景下的中英文文字識別

應(yīng)用：身份證識別、表單識別、包裝盒標簽檢測等

七、人臉檢測與識別

八、人體關(guān)鍵點檢測

** 人體骨骼關(guān)鍵點對于描述人體姿態(tài)，預(yù)測人體行為至關(guān)重要。因此人體骨骼關(guān)鍵點檢測是諸多計算機視覺任務(wù)的基礎(chǔ)，例如動作分類，異常行為檢測，以及自動駕駛等等。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，人體骨骼關(guān)鍵點檢測效果不斷提升，已經(jīng)開始廣泛應(yīng)用于計算機視覺的相關(guān)領(lǐng)域。**

** 本次集成的工具包提供了關(guān)鍵點檢測的調(diào)用模塊，并實現(xiàn)了GPU模式下TensorRT的加速運行。**

總結(jié)

工具包的具體使用可以關(guān)注博主的后續(xù)博客，如果有問題可以在評論區(qū)里討論，提問前請先點贊支持一下博主哦

如果文章對你有幫助，歡迎關(guān)注、點贊、收藏 .

審核編輯 黃宇