在練習二中，手寫數字識別使用數值微分的方式實現了神經網絡，現在用誤差反向傳播法來實現。兩者的區別僅僅是使用不同方法求梯度。

1、2層神經網絡的類

將2層神經網絡實現為一個TwoLayerNet的類（和上次的代碼僅僅是求梯度的方式不同，不同的地方加*表示）：

class TwoLayerNet:
    def __init__(self, input_size, hidden_size, output_size, weight_init_std=0.01):
        # 初始化權重
        self.params = {}
        self.params['W1'] = weight_init_std *np.random.randn(input_size, hidden_size)
        self.params['b1'] = np.zeros(hidden_size)
        self.params['W2'] = weight_init_std *np.random.randn(hidden_size, output_size)
        self.params['b2'] = np.zeros(output_size)
*       #生成層        
*       self.layers = OrderedDict()
*       self.layers['Affine1'] = Affine(self.params['W1'], self.params['b1'])
*       self.layers['Relu1'] = Relu()
*       self.layers['Affine2'] = Affine(self.params['W2'], self.params['b2'])
*       self.lastLayer = SoftmaxWithLoss()
*   def predict(self, x):
        for layer in self.layers.values():
           x = layer.forward(x)
        return x
    # x:輸入數據, t:監督數據
    def loss(self, x, t):
        y = self.predict(x)
*       return self.lastLayer.forward(y, t)
    def accuracy(self, x, t):
        y = self.predict(x)
        y = np.argmax(y, axis=1)
*       if t.dim != 1 : t=np.argmax(t,axis=1)
        accuracy = np.sum(y == t) / float(x.shape[0])
        return accuracy
    # x:輸入數據, t:監督數據
    def numerical_gradient(self, x, t):
        loss_W = lambda W: self.loss(x, t)
        grads = {}
        grads['W1'] = numerical_gradient(loss_W, self.params['W1'])
        grads['b1'] = numerical_gradient(loss_W, self.params['b1'])
        grads['W2'] = numerical_gradient(loss_W, self.params['W2'])
        grads['b2'] = numerical_gradient(loss_W, self.params['b2'])
        return grads
*    def gradient(self, x, t):
        # forward
        self.loss(x, t)
        # backward
        dout = 1
        dout = self.lastLayer.backward(dout)      
        layers = list(self.layers.values())
        layers.reverse()
        for layer in layers:
            dout = layer.backward(dout)
        # 設定
        grads = {}
        grads['W1'], grads['b1'] = self.layers['Affine1'].dW, self.layers['Affine1'].db
        grads['W2'], grads['b2'] = self.layers['Affine2'].dW, self.layers['Affine2'].db
        return grads

只介紹和數值微分求導法不同的部分：

初始化： layer是保存神經網絡的層的有序字典型變量 。OrderedDict是有序字典， 有序是說它可以記住向字典中添加元素的順序 ，正向傳播只需要按照添加元素的順序調用各層的forward方法就可以，反向傳播順序相反地順序調用backward方法。通過layers['Affine1']，layers['Relu1']，layers['Affine2']的形式保存各個層。還定義了最后一層lastlayer，上一篇中介紹了Affine,Relu，SoftmaxWithLoss函數的封裝，在這一層中直接定義。

定義predict函數，用于識別：predict()函數的參數是輸入的圖像數據，按照層的順序(layers的for語句)依次調用每一層的forward()函數，先是x經過Affine1層的forward函數,返回的out值作為Relu層的forward函數的輸入參數，返回的out作為Affine2層的forward函數的輸入參數，返回的out作為最后一層SoftmaxWithLoss層的forward函數的輸入參數，返回的out是最后的輸出，也就是識別的結果。

定義損失函數：輸入參數是x輸入圖像和t標簽，經過predict函數得到識別數據y，返回值是輸入為y和t的SoftmaxWithLoss()的前向函數。

定義識別精度：經過predict()之后的輸出y是識別結果，如果與標簽一致說明結果準確，識別精度就是準確的次數與輸入圖像數量之比，即準確的概率。批處理時假設一次處理N張，y的形狀是(N,10)，有兩個方向，a[1]是按行方向索引，argmax是找到最大值所在的位置。按行找到到最大值的索引值，就對應每一張圖片識別到最大可能性的結果對應的分類。將該分類與標簽進行比較，求識別正確的概率。

定義了數值微分求導的過程，這個是數值微分的方法，如果用誤差反向傳播法需要將這段注釋掉；或者后續要比較兩個方法求導的結果。

定義了誤差反向傳播法求導的方法：先求dout=1通過lastlayer層的backward函數的輸出，返回dx。由于反向傳播經過的層和正向相反，正向的有序字典變量需要reverse反向，這樣通過for語句調用每一層的backward函數經過的層順序就是affine2,relu,affine1，此時的輸出就是最后的求導結果。

將神經網絡用層的方式實現，將每一層模塊化，是非常方便的，即使層很多，也只需要接好每一層的接口。通過各個層內部的forward和backward函數就可以識別或者計算梯度。

2、數值微分的計算耗時，但是計算簡單不易出錯。誤差反向傳播法的實現相對復雜容易出錯。所以比較兩者的結果可以確認誤差反向傳播法是否正確。這個比較的操作成為梯度確認。梯度確認的代碼：

(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, one_hot_label=True)
network = TwoLayerNet(input_size=784, hidden_size=50, output_size=10)
x_batch = x_train[:3]
t_batch = t_train[:3]
grad_numerical = network.numerical_gradient(x_batch, t_batch)
grad_backprop = network.gradient(x_batch, t_batch)
for key in grad_numerical.keys():
    diff = np.average( np.abs(grad_backprop[key] - grad_numerical[key]) )
    print(key + ":" + str(diff))

通過numerical_gradient函數得到的數值微分求導結果保存在grad_numerical中，通過gradient函數得到的誤差反向傳播結求導結果保存在grad_backprop中。通過求對應位置的數值的絕對值的平均值，判斷誤差反向傳播求導結果是否正確。

W1:3.705434371413955e-10

b1:2.37776902256894e-09

W2:5.412727643613116e-09

b2:1.396563151026542e-07

輸出的誤差很小，所以是正確的。

3、使用誤差反向傳播法的學習

和數值微分的方法一樣，因為不同之處僅僅是求梯度。

因此在練習二中的代碼，把數值微分求梯度的代碼注釋掉，用誤差反向傳播法求梯度的代碼就可以了。

總結：通過買水果的例子介紹了誤差反向傳播法的原理，介紹了神經網絡中的誤差反向傳播法，原理一樣只是不用標量用矩陣。將relu,softmaxwithloss,affine,softmax層封裝成模塊，內部實現了forward和backward方法。只需要搭建神經網絡的每一層，通過內部的forward和backward函數，將數據正向或反向傳播就可以求導。