之前在網上搜索了好多好多關于CNN的文章，由于網絡上的文章很多斷章取義或者描述不清晰，看了很多youtobe上面的教學視頻還是沒有弄懂，最后經過痛苦漫長的煎熬之后對于神經網絡和卷積有了粗淺的了解。

于是在這里記錄下所學到的知識，關于CNN 卷積神經網絡，需要總結深入的知識有很多：

人工神經網絡 ANN

卷積神經網絡 CNN

卷積神經網絡 CNN - BP算法

卷積神經網絡 CNN - LetNet分析

卷積神經網絡 CNN - caffe應用

全卷積神經網 FCN

如果對于人工神經網絡或者神經元模型不是太了解，建議先去了解《人工神經網絡ANN》。

卷積神經網絡
卷積神經網絡說白了就是神經網絡的一種分支，因此看懂神經元尤為重要：

?

卷積神經網絡沿用了普通的神經元網絡即多層感知器的結構，是一個前饋網絡。以應用于圖像領域的CNN為例，大體結構如圖。

?

根據上圖 卷積神經網絡 ConvNet 可以分為4大層：

1. 圖像輸入Image Input：為了減小后續BP算法處理的復雜度，一般建議使用灰度圖像。也可以使用RGB彩色圖像，此時輸入圖像原始圖像的RGB三通道。對于輸入的圖像像素分量為 [0, 255]，為了計算方便一般需要歸一化，如果使用sigmoid激活函數，則歸一化到[0, 1]，如果使用tanh激活函數，則歸一化到[-1, 1]。

2. 卷積層(Convolution Layer)：特征提取層(C層) - 特征映射層(S層)。將上一層的輸出圖像與本層卷積核(權重參數w)加權值，加偏置，通過一個Sigmoid函數得到各個C層，然后下采樣subsampling得到各個S層。C層和S層的輸出稱為Feature Map(特征圖)。

3. 光柵化(Rasterization)：為了與傳統的多層感知器MLP全連接，把上一層的所有Feature Map的每個像素依次展開，排成一列。

4. 多層感知器(MLP)：最后一層為分類器，一般使用Softmax，如果是二分類，當然也可以使用線性回歸Logistic Regression，SVM，RBM。

詳細地展開2卷積層：

C層：特征提取層。每個神經元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關系也隨之確定下來。

S層：特征映射層。網絡的每個計算層由多個特征映射組成，每個特征映射為一個平面，平面上所有神經元的權值相等。特征映射結構采用影響函數核小的sigmoid函數作為卷積網絡的激活函數，使得特征映射具有位移不變性。特征映射結構采用影響函數核小的sigmoid函數作為卷積網絡的激活函數，使得特征映射具有位移不變性。此外，由于一個映射面上的神經元共享權值，因而減少了網絡自由參數的個數。卷積神經網絡中的每一個卷積層都緊跟著一個用來求局部平均與二次提取的計算層，這種特有的兩次特征提取結構減小了特征分辨率。

此外，由于一個映射面上的神經元共享權值，因而減少了網絡自由參數的個數，降低了網絡參數選擇的復雜度。卷積神經網絡中的每一個特征提取層（C層）都緊跟著一個用來求局部平均與二次提取的計算層（S層），這種特有的兩次特征提取結構使網絡在識別時對輸入樣本有較高的畸變容忍能力。

?

1 卷積

卷積層是卷積核在上一級輸入層上通過逐一滑動窗口計算而得，卷積核中的每一個參數都相當于傳統神經網絡中的權值參數，與對應的局部像素相連接，將卷積核的各個參數與對應的局部像素值相乘之和，（通常還要再加上一個偏置參數），得到卷積層上的結果。如下圖所示。

?

今天公司學通訊的同事跟我討論到底卷積是個什么東西，給我說通過卷積后，信號當中特別是時域會放大，https://en.wikipedia.org/wiki/Convolution。因此在FCN當中會通過卷積越變越大，但是這明明違背了圖像卷積的概念。

下面這個動圖更好地解釋：

?

2 CNN三大核心思想

卷積神經網絡CNN的出現是為了解決MLP多層感知器全連接和梯度發散的問題。其引入三個核心思想：1.局部感知(local field)，2.權值共享(Shared Weights)，3.下采樣(subsampling)。極大地提升了計算速度，減少了連接數量。

2.1 局部感知