本文的12篇文章總結了當前主流的分割網絡及其結構，涵蓋從編解碼結構到解碼器設計；從感受野到多尺度融合；從CNN到RNN與CRF；從2D分割到3D分割；從語義分割到實例分割和全景分割網絡，感興趣的朋友可以仔細研讀每一篇文章。

1 FCN

Fully Convolutional Network（FCN）是神經網絡用于圖像分割任務的鼻祖，后續提出的大部分基于編解碼結構的圖像分割網絡都是從FCN上發展、改進而來的。

FCN用卷積層替換了分類網絡結構中的全連接層，從而得到稠密的分割結果，實現端到端訓練。

同時，網絡還將不同尺度下的特征信息進行融合，實現更細節的圖像分割。

【圖像分割模型】從FCN說起

2 SegNet

SegNet在FCN的基礎上增加了解碼器，形成目前分割任務中最流行的編解碼結構，并給出了不同解碼器對效果的影響和原因。

此外，由于應用了基于位置信息的加碼過程，相比較FCN而言，SegNet中的對應結構的體量要小得多。

【圖像分割模型】編解碼結構SegNet

3 空洞卷積

編解碼結構中，為了平衡空間尺寸與計算量，同時增大網絡結構的感受野，通常會對輸入圖像進行一定的下采樣。為了恢復分割結果的空間分辨率，解碼器往往需要應用上采樣或反卷積。

但是，基于插值的上采樣效果通常不理想，而反卷積操作則增加了計算量?；诖?，DeepLab中就提出了“空洞卷積”的概念，在不增加參數個數的基礎上，實現感受野與分辨率的控制。

【分割模型解讀】感受野與分辨率的控制術—空洞卷積

4 ENet

圖像分割的任務最終還是要落腳于實際應用，而此前的網絡結構最快也只能達到1fps，遠不及實時所需要的10fps。

ENet基于空洞卷積，實現了NVIDIA TX1上分辨率480x320下的21.1fps。

此外，文中還介紹了設計實時網絡結構所需要考慮的6個重要內容。

【圖像分割模型】快速道路場景分割—ENet

5 CRFasRNN

在許多計算機視覺任務中，后處理操作能夠有效提升算法的質量。而在眾多后處理方法中，條件隨機場（CRF）的效果名列前茅。

然而，CRF的理論性強，應用起來不方便。因此，CRFasRNN中提出以RNN的形式實現CRF的解決方案，從而讓基于CRF的后處理變得簡單。

【圖像分割模型】以RNN形式做CRF后處理—CRFasRNN

6 PSPNet

不同感受野下所帶來的上下文信息對圖像分割而言十分重要，往往感受野選擇的恰當性會直接影響最終的分割效果，這種影響對極端尺寸（極大和極?。┠繕吮憩F地尤為明顯。

為了在同一級別下融合多尺度下的上下文信息，PSPNet提出了池化金字塔結構，從而實現了可以理解目標所處環境的圖像分割。

【圖像分割模型】多感受野的金字塔結構—PSPNet

7 ParseNet

盡管從網絡結構看，有些網絡的理論感受野能夠達到非常大，但實際上，理論感受野并不能等同于實際感受野，其覆蓋和利用的信息也不夠完整。

基于這個發現，ParseNet提出了基于池化的全局特征利用，從而實現全局特征與局部特征融合下的圖像分割。

文中也介紹了如何有效融合兩種特征，并利用好融合特征。

【圖像分割模型】全局特征與局部特征的交響曲—ParseNet

8 RefineNet

盡管前面的特征融合方法能夠恢復在計算過程中被下降的空間分辨率，但是這種恢復往往沒有利用完整的原始空間信息，從而導致最終結果中的信息丟失。

基于此，RefineNet設計了空間分辨率的恢復結構，實現了基于殘差卷積模塊（RCU）、多分辨率融合模塊（MRF）和串聯殘差池化模塊（CRP）下的高精度圖像分割。

【圖像分割模型】多分辨率特征融合—RefineNet

9 ReSeg

盡管CNN的效果不錯，但是其需要依賴人工指定的核函數實現計算，從而限制了上下文的處理能力。因此，ReSeg提出基于雙向循環神經網絡（BRNN）實現分割，來克服這種不足。

在ReNet的基礎上，ReSeg通過依次掃描互相垂直的兩個方向，實現不同時序下的特征提取。

【圖像分割模型】用BRNN做分割—ReSeg

10 LSTM-CF

除了單純基于2D的RGB圖像的分割外，圖像分割任務的完成還可以利用深度信息進行輔助，從而實現紋理信息下無法判斷的分割。

LSTM-CF基于ReNet和空洞卷積，實現結合了深度信息的圖像分割。為精度提升和深度信息利用提供了一種思路。

【圖像分割模型】BRNN下的RGB-D分割—LSTM-CF

11 DeepMask

除了語義分割，圖像分割中還有另外兩種類別的任務：實例分割和全景分割。

我們通過DeepMask，給出了實例分割下的網絡的設計思路。DeepMask可以同時實現前背景分割、前景語義分割和前景實例分割。

【圖像分割模型】實例分割模型—DeepMask

12 全景分割

語義分割與實例分割任務雖然相似，但是由于度量不同，二者無法直接結合。為了實現整圖內things類別和stuff類別的同時分割，全景分割任務提出了新的度量。

全景分割任務下，圖像內的每個像素點都有其對應的語義標簽和實例標簽（things類別），從而能夠最大程度上地理解整幅圖像。