如果您完成了第 9.5 節(jié)中的練習(xí)，您會發(fā)現(xiàn)梯度裁剪對于防止偶爾出現(xiàn)的大量梯度破壞訓(xùn)練穩(wěn)定性至關(guān)重要。我們暗示爆炸梯度源于長序列的反向傳播。在介紹大量現(xiàn)代 RNN 架構(gòu)之前，讓我們仔細看看反向傳播在數(shù)學(xué)細節(jié)中是如何在序列模型中工作的。希望這個討論能使梯度消失和爆炸的概念更加精確。如果你還記得我們在 5.3 節(jié)介紹 MLP 時通過計算圖進行前向和反向傳播的討論，那么 RNN 中的前向傳播應(yīng)該相對簡單。在 RNN 中應(yīng)用反向傳播稱為 時間反向傳播 ( Werbos, 1990 ). 此過程要求我們一次擴展（或展開）RNN 的計算圖。展開的 RNN 本質(zhì)上是一個前饋神經(jīng)網(wǎng)絡(luò)，具有相同的參數(shù)在整個展開的網(wǎng)絡(luò)中重復(fù)出現(xiàn)的特殊屬性，出現(xiàn)在每個時間步長。然后，就像在任何前饋神經(jīng)網(wǎng)絡(luò)中一樣，我們可以應(yīng)用鏈式法則，通過展開的網(wǎng)絡(luò)反向傳播梯度。每個參數(shù)的梯度必須在參數(shù)出現(xiàn)在展開網(wǎng)絡(luò)中的所有位置上求和。從我們關(guān)于卷積神經(jīng)網(wǎng)絡(luò)的章節(jié)中應(yīng)該熟悉處理這種權(quán)重綁定。

出現(xiàn)并發(fā)癥是因為序列可能相當長。處理由超過一千個標記組成的文本序列并不罕見。請注意，從計算（太多內(nèi)存）和優(yōu)化（數(shù)值不穩(wěn)定）的角度來看，這都會帶來問題。第一步的輸入在到達輸出之前要經(jīng)過 1000 多個矩陣乘積，還需要另外 1000 個矩陣乘積來計算梯度。我們現(xiàn)在分析可能出現(xiàn)的問題以及如何在實踐中解決它。