上世紀科學家們發現了幾個視覺神經特點，視神經具有局部感受野，一整張圖的識別由多個局部識別點構成；不同神經元對不同形狀有識別能力，且視神經具有疊加能力，高層復雜的圖案可以由低層簡單線條組成。之后人們發現經過conclusional的操作，可以很好反映視神經處理計算的過程，典型的是1998年LeCun發明的LeNet-5，可以極大地提升識別效果。

本文主要就convolutional layer、pooling layer和整體CNN結構展開

Convolutional Layer卷積層

1、原理和參數

可以模擬局部感受野的性質，同上一層不是全連接，而是一小塊區域連接，這一小塊就是局部感受野（receptive field）。并且通過構造特定的卷積神經元，可以模擬不同神經元對不同形狀刺激不同反應的性質。如下圖所示，一個神經元處理一層會形成一個feature map，多層疊加，層數逐漸加深。

感受野（kernel或filter）的尺寸可以看做fh*fw，由于感受野本身具有尺寸，feature map會不斷縮小，為了處理方便，使得每層大小不變，于是我們每層加值為0的邊（zero padding），保證經過處理以后的feature map同前一層尺寸一樣。多層之間的卷積運算操作，相當于和原來像素對應位置做乘法。如下左圖所示，加了邊后可以保證上下層大小一致，右圖表示每層之間convolve的操作（如果不加zero padding）。

但上圖所示只是簡單例子，一般掃描的是三維圖像（RGB），就不是一個矩陣，而是一個立方體，我們用一個三維塊去掃描它，原理同上圖相同。

有時掃描時不是順序去掃，而是跳躍著掃描，每次移動2-3個像素值（stride），但并非完全分離不會造成信息丟失，這樣形成的feature map相較于原始圖片縮小，實現信息聚集的效果。

就像如下灰度圖（2d）中所示，左邊只提取豎線（vertical filter），右邊只提取橫線（horizontal filter）可看出橫梁部分變亮，大量不同的這樣的filter（比如可以識別邊角、折線的filter）的疊加，可形成多張feature maps

下圖是一個3d的RGB效果，每個kernel（filter）可以掃描出一張feature map，多個filter可以疊加出很厚的feature maps，前一層filter做卷積可以形成后一層的一個像素點。

如下圖，可以代表i行j列k深度的一個輸出像素值，k’代表第k個filter，w代表filter中的值，x代表輸入，b是偏值。

2、TensorFlow實現

以下是使用TensorFlow實現的代碼，主要使用conv2d這個函數

importnumpyasnpfromsklearn.datasetsimportload_sample_images# Load sample imagesdataset = np.array(load_sample_images().images, dtype=np.float32)# 一共4維，channel表示通道數，RGB是3batch_size, height, width, channels = dataset.shape# Create 2 filters# 一般感受野大小7*7,5*5,3*3，設置2個kernel，輸出2層feature mapfilters_test = np.zeros(shape=(7,7, channels,2), dtype=np.float32)# 第一個（0）filter的設定，7*7矩陣中，3是中間filters_test[:,3, :,0] =1# vertical line# 第二個（1）filter的設定filters_test[3, :, :,1] =1# horizontal line# a graph with input X plus a convolutional layer applying the 2 filtersX = tf.placeholder(tf.float32, shape=(None, height, width, channels))# 雖然輸入是一個四維圖像，但是由于batch_size和channel都已經固定，所以使用conv2d# strides設定，第一個和第四個都是1表示不可以跳過batch_size和channel# 那兩個2表示橫縱向都縮減2，相當于整張圖片縮減為原來四分之一，做了75%的縮減convolution = tf.nn.conv2d(X, filters, strides=[1,2,2,1], padding="SAME")withtf.Session()assess: output = sess.run(convolution, feed_dict={X: dataset})

下面是padding的值SAME和VALID的區別（filter的寬度為6，stride為5），SAME確保所有圖像信息都被convolve添加zero padding，而VALID只添加包含在內的像素點

3、所耗內存計算

相比于傳統的全連接層，卷積層只是部分連接，節省了很多內存。

比如：一個具有5*5大小filter的卷積層，輸出200張150*100大小的feature maps，stride取1（即不跳躍），padding為SAME。輸入是150*100大小的RGB圖像（channel=3），總共的參數個數是200*（5*5*3+1）=15200，其中+1是bias；如果輸出采用32-bits float表示（np.float32），那么每張圖片會占據200*150*100*32=9600000bits（11.4MB），如果一個training batch包含100張圖片（mini-batch=100），那么這一層卷積層就會占據1GB的RAM。

可以看出，訓練卷積神經網絡是非常消耗內存的，但是使用時，只用到最后一層的輸出即可。

Pooling Layer池化層

1、原理和參數

當圖片大小很大時內存消耗巨大，而Pooling Layer所起的作用是濃縮效果，緩解內存壓力。

即選取一定大小區域，將該區域用一個代表元素表示。具體的Pooling有兩種，取平均值（mean）和取最大值（max）。如下圖所示是一個取最大值的pooling layer，kernel大小為2*2，stride大小取決于kernel大小，這里是2，即剛好使得所有kernel都不重疊的值，因而實現高效的信息壓縮，將原始圖像橫縱壓縮一半，如右圖所示，特征基本都完全保留了下來。

pooling這個操作不影響channel數，在feature map上也一般不做操作（即z軸一般不變），只改變橫縱大小。

2、TensorFlow實現

# Createagraph withinputXplusamaxpooling layerX=tf.placeholder(tf.float32, shape=(None, height, width, channels))# 選用取最大值的max_pool方法# 如果是取平均值，這里是mean_pool# ksize就是kernel大小，featuremap和channel都是1,橫向縱向是2max_pool =tf.nn.max_pool(X, ksize=[1,2,2,1], strides=[1,2,2,1],padding="VALID")withtf.Session()assess: output = sess.run(max_pool, feed_dict={X: dataset})整體CNN框架

典型CNN architecture

有名的CNN架構：

LeNet（MISIT上）-1998：輸入32*32（在28*28圖像上加了zero padding）。第一層kernel用了6個神經元，kernel大小5*5，stride取1，輸出就是28*28；第二層做了average pooling，2*2的kernel，stride是2，輸出就變為原來的一半，不改變feature map數目；第三層放了16個神經元，其他同理；第五層用了120個神經元，5*5的kernel對5*5的輸入做卷積，沒法再滑動，輸出為1*1；F6用120個1*1的輸出全連接84個神經元，Out全連接10個神經元，對應手寫體識別輸出的10個數字。

激活函數前面都用的tanh，是傳統CNN中常用的，輸出層用了RBF比較特殊，是一個計算距離的方式去判斷和目標輸出間距離做lost。。

AlexNet-2012：最早應用于競賽中，近10%的提高了準確度

輸入224*224的彩色圖像，C1是個很大的11*11的filter，stride=4。。最后連做3層convolution。。最后輸出1000個類的分類結果。

激活函數使用ReLU，這在現今很流行，輸出層用的softmax

AlexNet使用了一個小技巧是Local Response Normalization（LRN局部響應歸一化）

這種操作可以在傳統輸出上加一個bias，考慮到近鄰的一些輸出影響。即一個輸出旁邊有很牛掰的輸出的話，它的輸出就會慫了，收到抑制，可以看到，含β的整個項都在分母上。但后來發現，這個技術對分類器的提升也不是很明顯，有的就沒有用。

GoogleLeNet-2014：

大量應用Inception module，一個輸入進來，直接分四步進行處理，這四步處理完后深度直接進行疊加。在不同的尺度上對圖片進行操作。大量運用1*1的convolution，可以靈活控制輸出維度，可以降低參數數量。

如右圖所示，輸入是192，使用了9層inception module，如果直接用3*3,5*5參數，可以算一下，之后inception參數數目是非常大的，深度上可以調節，可以指定任意數目的feature map，通過增加深度把維度減下來。inception模塊6個參數剛好對應這6個convolution，上面4個參數對應上面4個convolution，加入max pool不會改變feature map數目（如480=128+192+96+64）。

將正確率升高到95-96%，超過人類分辨率，因為image net中但是狗的種類就有很多，人類無法完全一一分辨出。

ReSNet殘差網絡-2015：

不再直接學習一個目標函數，輸入直接跳過中間層直接連到輸出上，要學習的是殘差f（x），輸入跳過中間層直接加到輸出上。

好處是：深度模型路徑依賴的限制，即gradient向前傳導時要經過所有層，如果中間有層死掉了，前面的層就無法得到訓練。殘差網絡不斷跳躍，即使中間有的層已經死掉，信息仍舊能夠有效流動，使得訓練信號有效往回傳導。