引言 ·

前面給大家分別匯總了OpenCV中支持的圖像分類與對象檢測模型，視覺視覺任務除了分類與檢測還有很多其他任務，這里我們就來OpenCV中支持的非分類與檢測的視覺模型匯總一下。注意一點，匯總支持的模型都是OpenCV4.4 Github上已經提供的，事實上除了官方的提供的模型，讀者還可以自己探索更多非官方模型支持。這里的匯總模型主要來自OpenCV社區官方測試過的。

語義分割網絡

OpenCV4 DNN支持的語義分割網絡FCN與ENet、ResNet101_DUC_HDC等三個語義分割模型。

FCN

其中FCN主要是基于VGG16~VGG19作為基礎網絡，速度很慢，該網絡是在2015年時候提出，是早期很典型的圖像語義分割網絡，不是一個對稱的卷積反卷積分割網絡，在編碼階段網絡過長，解碼網絡很少，結果堪憂！網絡結構如下：

分別支持不同分辨率的上采樣。

ENet

ENet是一種實時語義分割網絡，在2016年提出的，關于ENet語義分割網絡，我其實之前寫過一篇文章，詳細介紹過，這里就不再啰嗦了，直接看這個鏈接即可：

詳解ENet | CPU可以實時的道路分割網絡

論文下載地址：

https://arxiv.org/pdf/1606.02147.pdf

ResNet101_DUC_HDC

該模型在編碼網絡中基于殘差網絡與混合空洞卷積（HDC-Hybrid Dilated Convolution），在解碼階段采用密集上采樣卷積（DUC-Dense Upsampling Convolution），最終實現了像素級別的圖像語義分割網絡。網絡模型結構如下：

該論文在2017發表，論文地址如下：

https://arxiv.org/pdf/1702.08502.pdf

姿態評估

OpenCV DNN支持的姿態評估是基于OpenPose網絡實現的身體與手部姿態評估，OpenPose是一個開源的姿態評估項目支持2D與3D模型的姿態評估，提供了C++/Python的API調用接口。模型可以從它github地址獲得

https://github.com/CMU-Perceptual-Computing-Lab/openpose

相關的模型主要來自它們的系列論文， 姿態評估的基本原理與流程如下：

完整的姿態評估流程入上圖，首先預測熱圖與PAF，然后進行匹配與解析，最終得到輸出的姿態評估結果。相關的論文地址如下

https://arxiv.org/pdf/1812.08008v2.pdfhttps://arxiv.org/pdf/1611.08050.pdf

圖像處理

OpenCV中圖像處理網絡支持圖像色彩遷移、圖像風格遷移、邊緣檢測。

色彩遷移：

其中灰度圖像轉換彩色圖像的模型結構如下：

其中有個重要的輸入特征點是要把RGB彩色圖像轉換為LAB通道圖像，然后對AB輸入，最后結果重新加上L分量。代碼在這里

http://richzhang.github.io/colorization/

風格遷移

風格遷移網絡主要是來自于2016李飛飛等提出感知損失的圖像風格遷移與超分辨率論文實現的，網絡結構如下：

github地址如下：

https://github.com/jcjohnson/fast-neural-style

邊緣檢測

OpenCV中傳統的圖像邊緣檢測算法是Canny，現在OpenCV支持基于深度學習的邊緣檢測算法HED，它與Canny算法的邊緣提取效果對比如下：

該論文是在2015年提出的，模型結構如下：

作者選擇了VGGNet作為特征提取與基礎網絡。

論文地址：

https://arxiv.org/pdf/1504.06375.pdf

人臉識別

人臉識別來自OpenFace，OpenFace是一種典型的移動端實時的人臉識別模型，跟它相似的還有LightCNN模型。OpenFace是基于facenet的Inception網絡作為backbone網絡訓練生存的torch網絡模型，然后基于SVM實現了分類推理，完整的OpenFace項目結構如下：

其中預處理階段的人臉對齊示意圖如下：

關于FaceNet的人臉識別論文

https://arxiv.org/pdf/1503.03832.pdf

OpenCV DNN支持的8位的量化之后的人臉識別模型，最終輸出的向量是128維的，模型下載可以從Github地址：

https://github.com/cmusatyalab/openface

場景文字檢測

場景文字檢測來自2017年曠視科技提出的EAST場景文字檢測模型，相關的模型結構如下：

最終輸出的文本區域解析后處理如下：

最常見的是解析位RBOX，即帶角度的旋轉矩形（最小外接矩形）。

最后總結一下，上述網絡均支持在OpenCV4.4版本上直接推理運行，或者自定義數據學習之后的在OpenCV4 DNN部署，推理調用。