?

?

AI的領(lǐng)域要相對較廣泛，機器學(xué)習(xí)是AI的一個子領(lǐng)域，而深度學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域中的一個子集。

深度學(xué)習(xí)網(wǎng)絡(luò)與“典型”的前饋多層網(wǎng)絡(luò)之間是有一些區(qū)別的，如下：

深度學(xué)習(xí)網(wǎng)絡(luò)比之前的網(wǎng)絡(luò)有更多的神經(jīng)元

深度學(xué)習(xí)網(wǎng)絡(luò)具有更復(fù)雜的連接層的方式

深度學(xué)習(xí)網(wǎng)絡(luò)需要用強大的計算能力來訓(xùn)練

深度學(xué)習(xí)網(wǎng)絡(luò)能夠進行自動特征提取

因此深度學(xué)習(xí)可以被定義為在以下四個基本網(wǎng)絡(luò)框架中擁有大量參數(shù)和層的神經(jīng)網(wǎng)絡(luò)：

無監(jiān)督預(yù)訓(xùn)練網(wǎng)絡(luò)（Unsupervised Pre-trained Networks）

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks）

遞歸神經(jīng)網(wǎng)絡(luò) （Recursive Neural Networks）

在這篇文章中，我主要對后三個框架比較感興趣。

卷積神經(jīng)網(wǎng)絡(luò)?基本上就是用共享權(quán)重在空間中進行擴展的標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)。設(shè)計CNN主要是為了通過內(nèi)部卷積來識別圖片，內(nèi)部卷積可以看到待識別物體的邊。

循環(huán)神經(jīng)網(wǎng)絡(luò)?基本上是在時間上進行擴展的標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)，因為邊進入下一個時間步，而不是在同一時間步進入下一個層。設(shè)計RNN主要是為了識別序列，例如語音信號或者文本。它里面的循環(huán)意味著網(wǎng)絡(luò)中存在短暫的記憶。

遞歸神經(jīng)網(wǎng)絡(luò)?更類似于分層網(wǎng)絡(luò)，其中輸入序列沒有真正的時間面，而是輸入必須以樹狀方式分層處理。

以下10種方法可以應(yīng)用于所有這些體系結(jié)構(gòu)。

1、反向傳播

反向傳播是“誤差反向傳播”的簡稱，它是一種計算函數(shù)（在神經(jīng)網(wǎng)絡(luò)中以函數(shù)形式存在）偏微分的方法。當(dāng)你要用一個基于梯度的方法來解決一個最優(yōu)問題時（注意梯度下降只是解決這類問題的一種方法），你希望在每一次迭代中計算函數(shù)梯度。

?

對于神經(jīng)網(wǎng)絡(luò)而言，目標(biāo)函數(shù)具有合成的形式。那么如何計算梯度呢？一般情況下有兩種常見的方法：

微分分析法。當(dāng)你知道這個函數(shù)的形式時，你只需要用鏈?zhǔn)椒▌t計算導(dǎo)數(shù)即可；

用有限差分方法來近似微分。這種方法的計算量很大，因為函數(shù)評估的數(shù)量是O（N），其中N是參數(shù)的數(shù)量。與微分分析法相比，這是比較昂貴的。不過，有限差分通常在調(diào)試時驗證后端實現(xiàn)。

2、隨機梯度下降

一個直觀理解梯度下降的方法是去想象一條溯源山頂?shù)暮恿鳌＿@條河流會沿著山勢梯度的方向流向山麓下的最低點。

如果讓人來走，可能就不一樣了，你可能會先隨便選一個方向，然后沿著這個方向的梯度向下走；過一會兒再隨機換一個方向向下走；最后你發(fā)現(xiàn)自己差不多也到了谷底了。

數(shù)學(xué)化的理解就是：

隨機梯度下降主要用來求解類似于如下求和形式的優(yōu)化問題：

當(dāng)n很大時，每次迭代計算所有的梯度會非常耗時。
隨機梯度下降的想法就是每次在Delta f_i 中隨機選取一個計算代替上面的Delta f_i，以這個隨機選取的方向作為下降的方向。這樣的方法反而比梯度下降能夠更快地到達（局部）最優(yōu)解。

3、學(xué)習(xí)率衰減