1 基于深度學習的基準目標檢測模型

基于深度學習的目標檢測方法根據(jù)有無區(qū)域提案階段劃分為區(qū)域提案檢測模型和單階段檢測模型，其最近發(fā)展歷程在圖1中畫出。

▲ 圖1 基于深度學習的目標檢測模型的發(fā)展歷程

1.1 區(qū)域提案目標檢測基準模型

區(qū)域提案檢測模型將目標檢測任務分為區(qū)域提案生成、特征提取和分類預測三個階段。在區(qū)域提案生成階段，檢測模型利用搜索算法如選擇性搜索（Selective Search，SS）、EdgeBoxes、區(qū)域提案網(wǎng)絡（Region Proposal Network， RPN）等在圖像中搜尋可能包含物體的區(qū)域。在特征提取階段，模型利用深度卷積網(wǎng)絡提取區(qū)域提案中的目標特征。在分類預測階段，模型從預定義的類別標簽對區(qū)域提案進行分類和邊框信息預測。

2012年，卷積神經(jīng)網(wǎng)絡AlexNet通過強大的分層特征學習能力在ImageNet分類任務中奪魁，其分類結果比傳統(tǒng)算法要好得多。之后Girshirk等基于此提出通用的目標檢測模型RCNN。

受空間金字塔匹配啟發(fā)，He等提出空間金字塔池化網(wǎng)絡（Spatial Pyramid Pooling Network， SPPNet）解決RCNN模型中固定大小圖像輸入的問題。盡管模型能解決固定大小圖像輸入的問題并大幅減少檢測時間，但網(wǎng)絡輸出特征需要磁盤存儲且網(wǎng)絡不能通過反向傳播更新卷積層參數(shù)。Fast RCNN，F(xiàn)aster RCNN解決了該問題。

盡管Faster RCNN運用RPN能有效地縮短檢測時間，但圖像中上百個區(qū)域提案仍需輸入到區(qū)域子網(wǎng)絡來分類與坐標回歸，這是模型的計算瓶頸。若直接減少區(qū)域子網(wǎng)絡的深度則會引起基于分類初始模型與檢測模型的矛盾，因為分類會增加物體的平移不變性而檢測則減少物體的平移不變性。為解決上述問題，代表性的方法有RFCN，Mask RCNN。上述模型的相關信息在表1中列出。

▲ 表1 區(qū)域提案目標檢測基準模型

1.2 單階段目標檢測基準模型

雖然區(qū)域提案檢測模型保持著高效的檢測效率，但其耗費時間長難以得到實際應用。相較于區(qū)域提案檢測模型，單階段檢測模型聯(lián)合區(qū)域提案和分類預測，輸入整張圖像到卷積神經(jīng)網(wǎng)絡中提取特征，最后直接輸出目標類別和邊框位置信息。這類代表性的方法有：YOLO，YOLOv2，YOLOv3，YOLOv4，SSD，CornerNet等。

針對YOLO模型中目標定位不準確的問題，Liu等人提出更準確的單階段實時檢測模型SSD（Single Shot MultiBox Detector），其結合YOLO的回歸思想與Faster RCNN的錨框機制。之后DSSD（DeconvolutionalSingle Shot Detector）用于小目標檢測。然而，錨框機制也存在明顯的缺陷，如正負樣本不平衡、引入過多的超參數(shù)而折戟檢測速度與性能等。基于此，研究者提出了無錨框單階段檢測模型，上述模型的相關信息在表2中列出。

▲ 表2 單階段目標檢測基準模型

2 基于深度學習的目標檢測衍生算法

當前主流的基于深度學習的目標檢測方法可分為檢測部件、數(shù)據(jù)增強、優(yōu)化方法和學習策略四個方面。其中檢測部件包含基準模型和基準網(wǎng)絡；數(shù)據(jù)增強包含幾何變換、光學變換等；優(yōu)化方法包含特征圖、上下文模型、邊框優(yōu)化、區(qū)域提案方法、類別不平衡和訓練策略六個方面，學習策略涵蓋監(jiān)督學習、弱監(jiān)督學習和無監(jiān)督學習。本節(jié)從優(yōu)化方法和學習策略這兩個大的方面歸納總結了深度學習下基準目標檢測模型的衍生方法?；谏疃葘W習的目標檢測部件及其代表性的檢測方法如圖2所示。

▲ 圖2 基于深度學習的目標檢測部件及其代表性的檢測方法

2.1 融合特征圖的目標檢測模型

特征圖是圖像經(jīng)過卷積池化層輸出的結果，大多數(shù)基準檢測模型只在頂層特征圖做預測，這在很大程度上限制了模型的性能。為了充分提取特征信息，現(xiàn)有檢測模型從三個角度融合淺中深層特征，分別是：結合多層特征圖單層預測模型（ION、HyperNet）、分層預測模型（MSCNN、SSD、RFBNet、TridentNet）和結合多層特征圖多層預測模型（FPN、DSSD、STDN、DetNet、M2Det、FCOS、EfficientDet）。相關模型信息在表4中列出。

▲ 表4 融合特征圖的目標檢測模型

2.2 結合上下文信息的目標檢測模型

在物體遮擋、背景信息雜亂或圖像質量不佳的情況下，根據(jù)圖像的上下文信息能更有效更精確地檢測?，F(xiàn)有的目標檢測模型主要考慮將上下文信息分為全局上下文信息（DeepIDNet、ION、CPF）和局部上下文信息（MR?CNN、GBDNet、ACCNN、CoupleNet）。相關模型的信息在表5中列出。

▲ 表5 上下文模型和邊框優(yōu)化模型

2.3 優(yōu)化邊框定位的目標檢測模型

當前檢測模型在小目標檢測表現(xiàn)不佳的主要原因是定位錯誤偏多，包含定位偏差大和重復預測，因此部分研究著眼于優(yōu)化邊框定位來提升檢測性能，代表性的模型有MRCNN、Cascade RCNN、Grid RCNN等。此外，一些算法使用后處理步驟來優(yōu)化預測框位置，如NMS、Soft?NMS、Softer?NMS等。

2.4 高效區(qū)域提案的目標檢測模型

區(qū)域提案是圖像中可能包含物體的區(qū)域，它是兩階段檢測模型中性能保障的關鍵。早期的檢測模型DPM使用滑動窗口方法，存在計算復雜度高和定位性能差的問題。RCNN使用SS算法提取候選區(qū)域并利用卷積神經(jīng)網(wǎng)絡提取圖像特征，其檢測效率和性能上均有大幅提高。EdgeBox利用圖像中低維線索如顏色、紋理、邊緣、梯度等對其分類，表現(xiàn)出良好的檢測性能。Kuo等人在EdgeBox基礎上提出DeepBox檢測模型，運行速度更快且提案窗口召回率更高。Ren等人提出使用RPN生成候選區(qū)域的Faster RCNN檢測模型，在特征圖上以每個像素點為中心生成三個尺度和三個長寬比總共九個錨框。Ghodrati等人提出DeepProposal檢測模型，使用多個級聯(lián)的卷積特征來生成對象提案再構建逆級聯(lián)選擇圖像中可能存在的對象位置。

2.5 處理類別不平衡的目標檢測模型

類別不平衡的主要矛盾是負樣本數(shù)遠多于正樣本數(shù)，導致訓練的深度模型效率低。傳統(tǒng)檢測算法常用Bootstrapping方法處理此問題，之后RCNN模型使用困難樣本挖掘（Hard ExampleMining，HEM）方法來處理。Shrivastava等人在HEM基礎上提出在線困難樣本挖掘方法（OnlineHard Example Mining， OHEM），其根據(jù)區(qū)域提案損失有選擇性地反向傳播負樣本區(qū)域更新梯度。最近，Lin等人提出使用Focal Loss的單階段檢測模型RetinaNet，使模型更關注于那些少量的困難樣本。表6總結了類別不平衡處理模型和訓練策略方法。

▲ 表6 類別不平衡處理模型和訓練策略方法

2.6 訓練策略

大多數(shù)目標檢測模型采取小批量樣本進行訓練，然而小批量樣本訓練存在梯度不穩(wěn)定、訓練時間長等問題。研究者們提出一些高效的方法解決上述問題，典型的方法有：MegNet，LargeDet，SNIP，SNIPER，DSOD， ScratchDet等。相關訓練策略的信息在表6中列出。

2.7 基于弱監(jiān)督學習的目標檢測方法

數(shù)據(jù)標注的昂貴性和人工標注的主觀性已成為一個棘手的問題?；谌醣O(jiān)督學習的目標檢測方法主要劃分為三類：基于分割的目標檢測方法、基于多示例學習的目標檢測方法和基于深度學習的目標檢測方。這些模型的相關信息在表7中列出。

▲ 表7 基于弱監(jiān)督學習的通用目標檢測方法

2.8 基于無監(jiān)督的目標檢測方法

盡管基于弱監(jiān)督學習的目標檢測方法僅需要圖像級別信息即可訓練，表現(xiàn)出了良好的性能。然而，在現(xiàn)實應用中圖像往往沒有標注信息。目前，基于無監(jiān)督學習的目標檢測方法大致可分為兩類：基于分割的目標檢測方法和基于領域自適應的目標檢測方法。模型的相關信息在表8中列出。