01

神經網絡中最基本的成分是神經元（neuron）模型。在生物神經網絡中，每個神經元與其他神經元相連，當它“興奮”時，就會向相連的神經元發送化學物質，從而改變這些神經元內的電位；如果某神經元的電位超過了一個“閾值”（threshold），那么它就會被激活，即“興奮”起來，向其他神經元發送化學物資。

圖5.1所示的簡單模型就是沿用至今的“M-P神經元模型”。在這個模型中，神經元接收到來自n個其他神經元傳遞過來的輸入信號，這些輸入信號通過帶權重的連接（connection）進行傳遞，神經元接收到總輸入值將與神經元的閾值進行比較，然后通過“激活函數”（activation function）處理以產生神經元的輸出。 階躍函數是理想的激活函數，它將輸出值映射為輸出值“0”或“1”，“1”對應與神經元興奮，“0”對應于神經元抑制。但階躍函數具有不連續、不光滑等不太好的性質，因此常用Sigmoid函數作為激活函數，如下圖：

把許多這樣的神經元按一定的層次結構連接起來，就得到了神經網絡。

感知機與多層網絡

once time【2018】

02

感知機（Perceptron）由兩層神經元組成，如圖5.3所示。輸入層接收外界輸入信號后傳遞給輸出層，輸出層是M-P神經元，亦稱“閾值邏輯單元”（threshold logic unit）。

要解決非線性可分問題，需考慮使用多層功能神經元。如圖5.5中兩層感知機解決異或問題。

這里的輸入層和輸出層之間的一層神經元，被稱為隱層或隱含層（hidden layer），隱含層和輸出層神經元都是擁有激活函數的功能神經元。

我們常見的神經網絡是如圖5.6所示的層級結構，每層神經元與下一層神經元全互連，神經元枝江不存在同層連接，也不存在跨層連接。這樣的神經網絡結構通常稱為“多層前饋神經網絡”（multi-layer feed forward neural network）。由于輸入層神經元僅是接受輸入，不進行函數處理，隱層與輸出層包含功能神經元。因此，通常被稱為“兩層網絡”，或“單隱層網絡”。 神經網絡的學習過程，就是根據訓練數據來調整神經元之間的“連接權”（connection weight）以及每個功能神經元的閾值。

誤差逆傳播算法

once time【2018】

03

欲訓練多層神經網絡，上述的簡單感知機學習規則顯然不夠，我們需要更強大的學習算法。誤差逆傳播（error BackPropagation，簡稱BP）算法就是一種杰出的神經網絡學習算法。