如圖一所示，神經元的MP模型輸出y的表達式為：

y=φ(∑ωixi+b)=φ(ωTX+b)

其中，ωT=(ω1，ω2，…，ωi)T，X=(x1，x2，…，xi)。

圖片來源：中國慕課大學《機器學習概論》

1957年，弗蘭克·羅森布拉特（Frank Rosenblatt）從數學角度考察MP模型，并提出可以通過若干成對的輸入輸出數據和機器學習方法獲得ω和b的值，羅森布拉特依此提出感知機算法（Perceptron Algorithm）。

一、感知機的求解問題

求解問題為：假設二分類問題的輸入為（Xi，yi），i=1~N，其中，Xi是訓練數據，yi=±1，需求解一個向量ω和一個常數b，使得對i=1~N，有：

（1）若yi=+1，則ωTXi+b>0；

（2）若yi=-1，則ωTXi+b<0。

若訓練數據滿足上述條件，則稱該數據獲得平衡，否則該數據沒有獲得平衡。當訓練數據沒有獲得平衡時，該數據滿足：

（1）若yi=+1，則ωTXi+b<0；

（2）若yi=-1，則ωTXi+b>0。

若要求解可使所有訓練數據均獲得平衡的ω和b的值，則訓練數據集需線性可分。

二、感知機的求解過程

（1）隨機選擇ω和b；

（2）取一個訓練樣本（X，y）?

1）若ωTX+b>0，且y=-1，則：ω=ω-X，b=b-1；

2）若ωTX+b<0，且y=+1，則：ω=ω+X，b=b+1；

（3）再取另一個訓練樣本（X，y），重復步驟（2）；

（4）終止條件：直到所有訓練樣本（X，y）均不滿足(2)中的所有條件。

三、感知機的求解過程的步驟（2）的解釋

（1）當ω訓練樣本（X，y）滿足ωTX+b>0，且y=-1時，該訓練樣本未達到平衡狀態，需通過ω(新)=ω(舊)-X，b(新)=b(舊)-1的方式調整。通過上述方式調整后：

ω(新)TX+b(新)

=[ω(舊)-X]TX+b(舊)-1

=[ω(舊)TX+b(舊)]-(XTX+1)

=[ω(舊)TX+b(舊)]-(||X||2+1)
≤[ω(舊)TX+b(舊)]-1

即通過調整后，新ωTX+b值比舊ωTX+b值至少小1，在舊值的基礎上向平衡狀態方向移動。

（2）當ω訓練樣本（X，y）滿足ωTX+b＜0，且y=+1時，該訓練樣本未達到平衡狀態，需通過ω(新)=ω(舊)+X，b(新)=b(舊)+1的方式調整。通過上述方式調整后：

ω(新)TX+b(新)

=[ω(舊)+X]TX+b(舊)-1

=[ω(舊)TX+b(舊)]+(XTX+1)

=[ω(舊)TX+b(舊)]+(||X||2+1)
≥[ω(舊)TX+b(舊)]+1

即通過調整后，新ωTX+b值比舊ωTX+b值至少大1，在舊值的基礎上向平衡狀態方向移動。

編輯：黃飛

?