在訓(xùn)練模型的時(shí)候，通常會(huì)遇到這種情況：我們平衡模型的訓(xùn)練速度和損失（loss）后選擇了相對(duì)合適的學(xué)習(xí)率（learning rate），但是訓(xùn)練集的損失下降到一定的程度后就不在下降了，比如training loss一直在0.7和0.9之間來(lái)回震蕩，不能進(jìn)一步下降。如下圖所示：

遇到這種情況通常可以通過(guò)適當(dāng)降低學(xué)習(xí)率（learning rate）來(lái)實(shí)現(xiàn)。但是，降低學(xué)習(xí)率又會(huì)延長(zhǎng)訓(xùn)練所需的時(shí)間。

學(xué)習(xí)率衰減（learning rate decay）就是一種可以平衡這兩者之間矛盾的解決方案。學(xué)習(xí)率衰減的基本思想是：學(xué)習(xí)率隨著訓(xùn)練的進(jìn)行逐漸衰減。

學(xué)習(xí)率衰減基本有兩種實(shí)現(xiàn)方法：

線性衰減。例如：每過(guò)5個(gè)epochs學(xué)習(xí)率減半；

指數(shù)衰減。例如：每過(guò)5個(gè)epochs將學(xué)習(xí)率乘以0.1。

4、dropout

在當(dāng)前的大規(guī)模神經(jīng)網(wǎng)絡(luò)中有兩個(gè)缺點(diǎn)：

費(fèi)時(shí)；

容易過(guò)擬合

Dropout 可以很好地解決這個(gè)問(wèn)題。Dropout說(shuō)的簡(jiǎn)單一點(diǎn)就是在前向傳導(dǎo)的時(shí)候，讓某個(gè)神經(jīng)元的激活值以一定的概率p停止工作，示意圖如下：

每次做完dropout，相當(dāng)于從原始的網(wǎng)絡(luò)中找到一個(gè)更瘦的網(wǎng)絡(luò)。

Hinton在其論文中做了這樣的類比，無(wú)性繁殖可以保留大段的優(yōu)秀基因，而有性繁殖則將基因隨機(jī)拆了又拆，破壞了大段基因的聯(lián)合適應(yīng)性；但是自然選擇了有性繁殖，物競(jìng)天擇，適者生存，可見(jiàn)有性繁殖的強(qiáng)大。dropout 也能達(dá)到同樣的效果，它強(qiáng)迫一個(gè)神經(jīng)單元，和隨機(jī)挑選出來(lái)的其他神經(jīng)單元共同工作，消除減弱了神經(jīng)元節(jié)點(diǎn)間的聯(lián)合適應(yīng)性，增強(qiáng)了泛化能力。

5、max pooling

池化（Pooling）是卷積神經(jīng)網(wǎng)絡(luò)中另一個(gè)重要的概念，它實(shí)際上是一種形式的向下采樣。有多種不同形式的非線性池化函數(shù)，而其中“最大池化（Max pooling）”是最為常見(jiàn)的。它是將輸入的圖像劃分為若干個(gè)矩形區(qū)域，對(duì)每個(gè)子區(qū)域輸出最大值。

直覺(jué)上，這種機(jī)制能夠有效地原因在于，在發(fā)現(xiàn)一個(gè)特征之后，它的精確位置遠(yuǎn)不及它和其他特征的相對(duì)位置的關(guān)系重要。池化層會(huì)不斷地減小數(shù)據(jù)的空間大小，因此參數(shù)的數(shù)量和計(jì)算量也會(huì)下降，這在一定程度上也控制了過(guò)擬合。通常來(lái)說(shuō)，CNN的卷積層之間都會(huì)周期性地插入池化層。

6、批標(biāo)準(zhǔn)化

包括深度網(wǎng)絡(luò)在內(nèi)的神經(jīng)網(wǎng)絡(luò)需要仔細(xì)調(diào)整權(quán)重初始化和學(xué)習(xí)參數(shù)。批標(biāo)準(zhǔn)化使這些變得輕松許多。

權(quán)重問(wèn)題：

無(wú)論權(quán)重的初始化如何，是隨機(jī)的還是經(jīng)驗(yàn)性的選擇，它們離學(xué)習(xí)權(quán)重都會(huì)很遠(yuǎn)。考慮一個(gè)小批量，初期在所需的特征激活方面會(huì)有很多異常值。

深層神經(jīng)網(wǎng)絡(luò)本身是病態(tài)的，初始層中的微小擾動(dòng)都會(huì)導(dǎo)致后面層的非常大的變化。

在反向傳播過(guò)程中，這些現(xiàn)象會(huì)導(dǎo)致梯度彌散。這就意味著在學(xué)習(xí)權(quán)重產(chǎn)生所需要的輸出前，必須對(duì)梯度的異常值進(jìn)行補(bǔ)償，這將導(dǎo)致需要額外的時(shí)段來(lái)收斂。

批量歸一化使這些梯度從分散到正常值并在小批量范圍內(nèi)流向共同目標(biāo)（通過(guò)歸一化）。

學(xué)習(xí)率問(wèn)題：一般來(lái)說(shuō)，學(xué)習(xí)率需要保持較低的值，使得只有一小部分的梯度來(lái)校正權(quán)重，原因是要使異常激活的梯度不影響已學(xué)習(xí)到的激活。通過(guò)批量標(biāo)準(zhǔn)化，可以減少這些異常激活，因此也就可以使用更高的學(xué)習(xí)率來(lái)加速學(xué)習(xí)過(guò)程。

7、long short-term memory

LSTM網(wǎng)絡(luò)具有以下三個(gè)方面，使其與循環(huán)神經(jīng)網(wǎng)絡(luò)中的常見(jiàn)神經(jīng)元不同：

它能夠決定何時(shí)讓輸入進(jìn)入神經(jīng)元；

它能夠決定何時(shí)記住上一個(gè)時(shí)間步中計(jì)算的內(nèi)容；

它決定何時(shí)讓輸出傳遞到下一個(gè)時(shí)間步。

LSTM的美妙之處在于它能夠根據(jù)當(dāng)前的輸入本身來(lái)決定所有這些。 所以你看下面的圖表：