上一節(jié)中說到，需要求使損失函數(shù)最小的權(quán)重和偏置，高中數(shù)學(xué)中，求函數(shù)的極值就是使函數(shù)導(dǎo)數(shù)為0的點。

1、導(dǎo)數(shù)

導(dǎo)數(shù)是某個瞬間的變化量，瞬間的定義是時間趨近于0

使用代碼來實現(xiàn)：

def numerical_diff(f,x):
  h=10e-50
  return(f(x+h)-f(x))/h

此時，h取一個極小的數(shù)來表示趨近于0，但是如果太小的話在計算機中貴產(chǎn)生舍入誤差，用float32的浮點數(shù)來表示依然是0.0。另外，上述定義是函數(shù)f在x與x+h之間的差分，是近似的導(dǎo)數(shù)定義，而真正的導(dǎo)數(shù)是曲線在某一點上的切線，這個誤差產(chǎn)生是由于h不可能無限趨近于0。因此，可以計算f在x+h和x-h之間的差分進一步減小誤差。

真正數(shù)值微分的代碼：

def numerical_diff(f,x):
  h=1e-4
  return (f(x+h)-f(x-h))/(2*h)

真正用函數(shù)的導(dǎo)數(shù)計算出的結(jié)果是解析解，而數(shù)值微分近似的結(jié)果嚴格意義上并不一致，但是由于誤差可以忽略不計，因此可以認為它們是相等的。

2、偏導(dǎo)數(shù)

當(dāng)函數(shù)y有多變量時，多變量函數(shù)的導(dǎo)數(shù)就是偏導(dǎo)數(shù)。求偏導(dǎo)數(shù)時，多變量中的一個變量是目標變量，其他變量需要為定值。

求偏導(dǎo)的代碼：

def function_2(x):
  return x[0]**2+x[1]**2

3、梯度

偏導(dǎo)數(shù)匯總而成的向量成為梯度。

向量是有大小和方向的，在梯度圖中，箭頭的指向就是梯度的方向，箭頭的長度就是梯度的大小。 梯度總是指向函數(shù)值減小最多的方向。

知道梯度的定義，就可以用梯度來使損失函數(shù)減小。復(fù)雜函數(shù)中，梯度指示的方向基本上都不是函數(shù)值最小處，但沿著梯度方向可以最大限度減小函數(shù)的值。在梯度法中，函數(shù)的值從當(dāng)前位置沿著梯度方向前進，然后在新的地方重新求梯度，再沿著新梯度的方向前進，不斷重復(fù)，逐漸減小函數(shù)值。尋找最小值的梯度法是梯度下降法，尋找最大值的梯度法是梯度上升法，一般神經(jīng)網(wǎng)絡(luò)中梯度法主要是指梯度下降法。

4、梯度法求某個函數(shù)值優(yōu)化結(jié)果

η是學(xué)習(xí)率，表示更新量，決定在一次學(xué)習(xí)中，應(yīng)該學(xué)習(xí)多少以及在多大程度上更新參數(shù)。上式會反復(fù)執(zhí)行，逐漸減小函數(shù)值。學(xué)習(xí)率需要事先確定，過大或過小都不行，一般會一邊改變學(xué)習(xí)率一邊確定學(xué)習(xí)是否正確進行。

梯度下降法代碼：

def gradient_descent(f,init_x,lr=0.01,step_num=100);
  x=init_x
  for i in range(step_num):
    grad=numerical_gradient(f,x)
    x-=lr*grad
    return x

參數(shù)f是要最優(yōu)化的函數(shù)，init_x是初始值，lr是學(xué)習(xí)率，step_num是重復(fù)次數(shù)。 numerical_gradient()會求函數(shù)梯度，并更新x。

當(dāng)使用梯度法求f(x0,x1)=x0^2+x1^2的最小值時，設(shè)置初始值為(-3,-4)，學(xué)習(xí)率為1，上面次數(shù)定義的時候是100，實際使用的時候設(shè)置是20，最終結(jié)果為[-0.03458765 0.04611686]。 使用解析法求最小值是[0,0]，因此結(jié)果在一定程度上可以認為是一致的。

對梯度法每次迭代進行繪圖顯示，函數(shù)的取值在向原點(最小值處)逐步靠近。

學(xué)習(xí)率的設(shè)置非常重要，當(dāng)我們將其設(shè)置為10時，結(jié)果為[-2.58983747e+13 ，-1.29524862e+12]發(fā)散成一個很大的值。 當(dāng)設(shè)置成1e-10時，結(jié)果為[-2.99999999 ， 3.99999998]幾乎沒有什么變化。 學(xué)習(xí)率這種超參數(shù)和權(quán)重偏置不同，只能人工設(shè)定，需要嘗試多個值。

5、梯度法求神經(jīng)網(wǎng)絡(luò)的損失函數(shù)優(yōu)化結(jié)果

class simpleNet:
    def __init__(self):
        self.W = np.random.randn(2,3)
    def predict(self, x):
        return np.dot(x, self.W)
    def loss(self, x, t):
        z = self.predict(x)
        y = softmax(z)
        loss = cross_entropy_error(y, t)
        return loss
x = np.array([0.6, 0.9])
t = np.array([0, 0, 1])
net = simpleNet()
f = lambda w: net.loss(x, t)
dW = numerical_gradient(f, net.W)
print(dW)

init (self)創(chuàng)建一個隨機的2*3的矩陣，predict(self,x)讓x與W矩陣相乘，loss(self,x,t)定義了損失函數(shù)。 給定了x,t之后調(diào)用了實例化的類，再將net.loss傳遞給f后，在numerical_gradient()函數(shù)中進行調(diào)用求梯度。

至此，求出了神經(jīng)網(wǎng)絡(luò)的梯度，接下來只需要根據(jù)梯度法更新權(quán)重參數(shù)。