M-P模型的來源

所謂M-P模型，其實是按照生物神經元的結構和工作原理構造出來的一個抽象和簡化了的模型。
下圖是生物神經元結構。

?

大家可以查一查一些生物方面的書籍，了解一下這個神經元是如何工作的。我們可以概括出生物神經網絡的假定特點：
1. 每個神經元都是一個多輸入單輸出的信息處理單元；
2. 神經元輸入分興奮性輸入和抑制性輸入兩種類型；
3. 神經元具有空間整合特性和閾值特性；
4. 神經元輸入與輸出間有固定的時滯，主要取決于突觸延擱

M-P模型

按照生物神經元，我們建立M-P模型。為了使得建模更加簡單，以便于進行形式化表達，我們忽略時間整合作用、不應期等復雜因素，并把神經元的突觸時延和強度當成常數。下圖就是一個M-P模型的示意圖。

?

那么接下來就好類比理解了。我們將這個模型和生物神經元的特性列表來比較：

?

結合M-P模型示意圖來看，對于某一個神經元j （注意別混淆成變量了，在這里j 只是起到標識某個神經元的作用），它可能接受同時接受了許多個輸入信號，用 χi 表示。

由于生物神經元具有不同的突觸性質和突觸強度，所以對神經元的影響不同，我們用權值 ωij 來表示，其正負模擬了生物神經元中突出的興奮和抑制，其大小則代表了突出的不同連接強度。

θj表示為一個閾值（threshold），或稱為偏置（bias）。

由于累加性，我們對全部輸入信號進行累加整合，相當于生物神經元中的膜電位（水的變化總量），其值就為：

?

神經元激活與否（外接專用水管流出與否）取決于某一閾值電平（水位高度），即只有當其輸入總和超過閾值θj 時，神經元才被激活而發放脈沖，否則神經元不會發生輸出信號。整個過程可以用下面這個函數來表示：

?

yj表示神經元j的輸出，函數f稱為激活函數 ( Activation Function )或轉移函數 ( Transfer Function ) ，net'j(t)稱為凈激活(net activation)。
若將閾值看成是神經元j的一個輸入x0的權重w0j，則上面的式子可以簡化為：

?

若用X表示輸入向量，用W表示權重向量，即：

則神經元的輸出可以表示為向量相乘的形式：

若神經元的凈激活net為正，稱該神經元處于激活狀態或興奮狀態(fire)，若凈激活net為負，則稱神經元處于抑制狀態。
由此我們可以得到總結出M-P模型的6個特點：
1. 每個神經元都是一個多輸入單輸出的信息處理單元；
2. 神經元輸入分興奮性輸入和抑制性輸入兩種類型；
3. 神經元具有空間整合特性和閾值特性；
4. 神經元輸入與輸出間有固定的時滯，主要取決于突觸延擱；
5. 忽略時間整合作用和不應期；
6. 神經元本身是非時變的，即其突觸時延和突觸強度均為常數。

前面4點和生物神經元保持一致。

結合公式來看，輸入χij的下標 i=1,2,...,n，輸出 yj 的下標j 體現了第1個特點“多輸入單輸出”；

權重值 ωij 的正負體現了第2個特點中“突觸的興奮與抑制”；

θj 代表第3個特點 中的閾值，當 net'j(t)?Tj>0 時，神經元才能被激活；

為了簡單起見，對膜電位的計算net'j(t) 并沒有考慮時間整合，只考慮了空間整合，即只對每條神經末梢傳來的信號根據權重進行累加整合，而沒有考慮輸入輸出間的突觸時延,體現了第5個特點。

這種“閾值加權和”的神經元模型稱為M-P模型 ( McCulloch-Pitts Model )，也稱為神經網絡的一個處理單元( PE, Processing Element )。

常用激活函數