CNN能夠對圖片進行分類，可是怎么樣才能識別圖片中特定部分的物體，在2015年之前還是一個世界難題。神經網絡大神Jonathan Long發表了《Fully Convolutional Networks for Semantic Segmentation》在圖像語義分割挖了一個坑，于是無窮無盡的人往坑里面跳。

全卷積網絡 Fully Convolutional Networks

CNN 與 FCN

通常CNN網絡在卷積層之后會接上若干個全連接層, 將卷積層產生的特征圖(feature map)映射成一個固定長度的特征向量。以AlexNet為代表的經典CNN結構適合于圖像級的分類和回歸任務，因為它們最后都期望得到整個輸入圖像的一個數值描述（概率），比如AlexNet的ImageNet模型輸出一個1000維的向量表示輸入圖像屬于每一類的概率(softmax歸一化)。

栗子：下圖中的貓, 輸入AlexNet, 得到一個長為1000的輸出向量, 表示輸入圖像屬于每一類的概率, 其中在“tabby cat”這一類統計概率最高。

FCN對圖像進行像素級的分類，從而解決了語義級別的圖像分割（semantic segmentation）問題。與經典的CNN在卷積層之后使用全連接層得到固定長度的特征向量進行分類（全聯接層＋softmax輸出）不同，FCN可以接受任意尺寸的輸入圖像，采用反卷積層對最后一個卷積層的feature map進行上采樣, 使它恢復到輸入圖像相同的尺寸，從而可以對每個像素都產生了一個預測, 同時保留了原始輸入圖像中的空間信息, 最后在上采樣的特征圖上進行逐像素分類。

最后逐個像素計算softmax分類的損失, 相當于每一個像素對應一個訓練樣本。下圖是Longjon用于語義分割所采用的全卷積網絡(FCN)的結構示意圖：

簡單的來說，FCN與CNN的區域在把于CNN最后的全連接層換成卷積層，輸出的是一張已經Label好的圖片。

其實，CNN的強大之處在于它的多層結構能自動學習特征，并且可以學習到多個層次的特征：較淺的卷積層感知域較小，學習到一些局部區域的特征；較深的卷積層具有較大的感知域，能夠學習到更加抽象一些的特征。這些抽象特征對物體的大小、位置和方向等敏感性更低，從而有助于識別性能的提高。下圖CNN分類網絡的示意圖：

這些抽象的特征對分類很有幫助，可以很好地判斷出一幅圖像中包含什么類別的物體，但是因為丟失了一些物體的細節，不能很好地給出物體的具體輪廓、指出每個像素具體屬于哪個物體，因此做到精確的分割就很有難度。

傳統的基于CNN的分割方法：為了對一個像素分類，使用該像素周圍的一個圖像塊作為CNN的輸入用于訓練和預測。這種方法有幾個缺點：一是存儲開銷很大。例如對每個像素使用的圖像塊的大小為15x15，然后不斷滑動窗口，每次滑動的窗口給CNN進行判別分類，因此則所需的存儲空間根據滑動窗口的次數和大小急劇上升。二是計算效率低下。相鄰的像素塊基本上是重復的，針對每個像素塊逐個計算卷積，這種計算也有很大程度上的重復。三是像素塊大小的限制了感知區域的大小。通常像素塊的大小比整幅圖像的大小小很多，只能提取一些局部的特征，從而導致分類的性能受到限制。

而全卷積網絡(FCN)則是從抽象的特征中恢復出每個像素所屬的類別。即從圖像級別的分類進一步延伸到像素級別的分類。

全連接層 -> 成卷積層

全連接層和卷積層之間唯一的不同就是卷積層中的神經元只與輸入數據中的一個局部區域連接，并且在卷積列中的神經元共享參數。然而在兩類層中，神經元都是計算點積，所以它們的函數形式是一樣的。因此，將此兩者相互轉化是可能的：

對于任一個卷積層，都存在一個能實現和它一樣的前向傳播函數的全連接層。權重矩陣是一個巨大的矩陣，除了某些特定塊，其余部分都是零。而在其中大部分塊中，元素都是相等的。

相反，任何全連接層都可以被轉化為卷積層。比如，一個 K=4096 的全連接層，輸入數據體的尺寸是 7?7?512，這個全連接層可以被等效地看做一個 F=7,P=0,S=1,K=4096 的卷積層。換句話說，就是將濾波器的尺寸設置為和輸入數據體的尺寸一致了。因為只有一個單獨的深度列覆蓋并滑過輸入數據體，所以輸出將變成 1?1?4096，這個結果就和使用初始的那個全連接層一樣了。