作為自然語言處理（NLP）系統(tǒng)的核心組成部分，語言模型可以提供詞表征和單詞序列的概率化表示。神經(jīng)網(wǎng)絡(luò)語言模型（NNLM）克服了維數(shù)的限制，提升了傳統(tǒng)語言模型的性能。本文對 NNLM 進行了綜述，首先描述了經(jīng)典的 NNLM 的結(jié)構(gòu)，然后介紹并分析了一些主要的改進方法。研究者總結(jié)并對比了 NNLM 的一些語料庫和工具包。此外，本文還討論了 NNLM 的一些研究方向。

什么是語言模型

語言模型（LM）是很多自然語言處理（NLP）任務(wù)的基礎(chǔ)。早期的 NLP 系統(tǒng)主要是基于手動編寫的規(guī)則構(gòu)建的，既費時又費力，而且并不能涵蓋多種語言學現(xiàn)象。直到 20 世紀 80 年代，人們提出了統(tǒng)計語言模型，從而為由 N 個單詞構(gòu)成的序列 s 分配概率，即：

其中 w_i 代表序列 s 中的第 i 個單詞。一個單詞序列的概率可以被分解為在給定下一個單詞的前項（通常被稱為上下文歷史或上下文）的條件下，與下一個單詞的條件概率的乘積。

考慮到很難對上述模型中超多的參數(shù)進行學習，有必要采取一種近似方法。N 元（N-gram）模型是一種最為廣泛使用的近似方法，并且在 NNLM 出現(xiàn)之前是最先進的模型。一個（k+1）元模型是由 k 階馬爾科夫假設(shè)推導出的。該假設(shè)說明當前的狀態(tài)僅僅依賴于前面的 k 個狀態(tài)，即：

我們用極大似然估計來估計參數(shù)。

困惑度（PPL）[Jelinek et al., 1977] 是一種用來衡量一個概率模型質(zhì)量的信息論度量標準，是評價語言模型的一種方法。PPL 越低說明模型越好。給定一個包含 N 個單詞的語料庫和一個語言模型，該語言模型的 PPL 為：

值得注意的是，PPL 與語料庫相關(guān)。可以用 PPL 在同一個語料庫上對兩個或多個語言模型進行對比。

為什么要給 LM 加上神經(jīng)網(wǎng)絡(luò)？

然而，N 元語言模型有一個明顯的缺點。為了解決這個問題，我們在將神經(jīng)網(wǎng)絡(luò)（NN）引入到了連續(xù)空間的語言建模中。NN 包括前饋神經(jīng)網(wǎng)絡(luò)（FFNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），可以自動學習特征和連續(xù)的表征。因此，人們希望將 NN 應用于 LM，甚至其他的 NLP 任務(wù)，從而考慮自然語言的離散性、組合性和稀疏性。

第一個前饋神經(jīng)網(wǎng)絡(luò)語言模型（FFNNLM）由 Bengio 等人于 2003 年提出，它通過學習一個單詞的分布式表征（將單詞表征為一個被稱為「嵌入」的低維向量）來克服維數(shù)詛咒。FFNNLM 的性能要優(yōu)于 N 元語言模型。隨后，Mikolov 等人于 2010 年提出了 RNN 語言模型（RNNLM）。從那時起，NNLM 逐漸成為了主流的語言模型，并得到了迅速發(fā)展。

2012 年，Sundermeyer 等人提出了長短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型（LSTM-RNNLM）用于解決學習長期依賴的問題。為了降低訓練、評估以及 PPL 的開銷，人們提出了各種各樣的改進方案，例如分層的 Softmax、緩存（caching）模型等。最近，為了改進 NNLM，人們引入了注意力機制，取得了顯著的性能提升。

經(jīng)典的神經(jīng)網(wǎng)絡(luò)語言模型

FFNN 語言模型

Xu 和 Rudnicky 等人于 2000 年試圖將神經(jīng)網(wǎng)絡(luò)（NN）引入到語言模型（LM）中。盡管他們的模型性能比基線 N 元模型語言模型要好，但是由于沒有隱藏層，他們模型的泛化能力較差，無法捕獲上下文相關(guān)特征。

根據(jù)公式 1，LM 的目標等價于對條件概率 P(w_k|w_1 · · · w_(k?1)) 進行估計。但是前饋神經(jīng)網(wǎng)絡(luò)（FFNN）不能直接處理變長數(shù)據(jù)（variable-length data），也不能夠有效地表征歷史上下文。因此，對于像 LM 這樣的序列建模任務(wù)，F(xiàn)FNN 必須使用定長的輸入。受到 N 元語言模型的啟發(fā)（見公式 2），F(xiàn)FNNLM 將前 n-1 個單詞作為了預測下一個單詞的上下文。

如圖 1 所示，Bengio 等人于 2003 年提出了原始 FFNNLM 的架構(gòu)。這個 FFNNLM 可以寫作：

其中，H、U 和 W 是層與層之間連接的權(quán)重矩陣；d 和 b 是隱藏層和輸出層的偏置。

圖 1：Bengio 等人于 2003 年提出的 FFNNLM。

FFNNLM 通過為每個單詞學習一個分布式表征來實現(xiàn)在連續(xù)空間上的建模。單詞表征是語言模型的副產(chǎn)品，它往往被用于改進其它的 NLP 任務(wù)。基于 FFNNLM，Mikolov 等人于 2013 提出了兩種詞表征模型：「CBOW」和「Skip-gram」。FFNNLM 通過將單詞轉(zhuǎn)換為低維向量克服了維數(shù)詛咒。FFNNLM 引領(lǐng)了 NNLM 研究的潮流。

然而，F(xiàn)FNNLM 仍然具有一些缺點。在訓練前指定的上下文大小是有限的，這與人類可以使用大量的上下文信息進行預測的事實是嚴重不符的。序列中的單詞是時序相關(guān)的。而 FFNNLM 沒有使用時序信息進行建模。此外，全連接 NN 需要學習許多可訓練的參數(shù)，即使這些參數(shù)的數(shù)量比 N 元 少，但是仍然具有很大的計算開銷，十分低效。

RNN 語言模型

第一個 RNN 語言模型由 [Mikolov et al., 2010; Mikolov et al., 2011a] 提出，如圖 2 所示，在第 t 個時間步，RNNLM 可以寫作：

其中 U、W、V 是權(quán)值矩陣；b、d 分別是狀態(tài)層和輸出層的偏置。在 Mikolov 2010 年和 2011 年發(fā)表的論文中，f 代表 sigmoid 函數(shù)，g 代表 Softmax 函數(shù)。RNNLM 可以通過基于時間的反向傳播算法（BPTT）或截斷式 BPTT 算法來訓練。根據(jù)他們的實驗結(jié)果，RNNLM 在困惑度（PPL）方面要顯著優(yōu)于 FFNNLM 和 N 元語言模型。

圖 2：Mikolov 等人于 2010 年和 2011 年提出的 RNNLM。

盡管 RNNLM 可以利用素有的上下文進行預測，但是訓練模型學習長期依賴仍然是一大挑戰(zhàn)。這是因為，在 RNN 的訓練過程中，參數(shù)的梯度可能會發(fā)生梯度消失或者梯度爆炸，導致訓練速度變慢或使得參數(shù)值無窮大。

LSTM-RNN 語言模型

長短期記憶（LSTM）RNN 解決了這個問題。Sundermeyer 等人于 2012 年將 LSTM 引入到了 LM 中，并且提出了 LSTM-RNNLM。除了記憶單元和 NN 的部分，LSTM-RNNLM 的架構(gòu)幾乎與 RNNLM 是一樣的。為了控制信息的流動，他們將三種門結(jié)構(gòu)（包括輸入門、輸出門和遺忘門）加入到了 LSTM 的記憶單元中。LSTM-RNNLM 的常規(guī)架構(gòu)可以寫作：

其中，i_t，f_t，o_t 分別代表輸入門、遺忘門和輸出門。c_t 是單元的內(nèi)部記憶狀態(tài)。s_t 是隱藏狀態(tài)單元。U_i、U_f、U_o、U、W_i、W_f、W_o、W、V_i、V_f、V_o 以及 V 都是權(quán)值矩陣。b_i、b_f、b_o、b 以及 d 是偏置。f 是激活函數(shù)，σ 是各個門的激活函數(shù)（通常為 sigmoid 函數(shù)）。

對比上述三種經(jīng)典的 LM，RNNLM（包括 LSTM-RNNLM）的性能要優(yōu)于 FFNNLM，而且 LSTM-RNNLM 一直是最先進的 LM。當下的 NNLM 主要都是以 RNN 或 LSTM 為基礎(chǔ)的。

改進的技術(shù)

降低困惑度的方法

為了降低困惑度，人們將一些新的結(jié)構(gòu)和更有效的信息引入到了經(jīng)典的 NNLM 模型中（尤其是 LSTM-RNNLM）。受到語言學和人類處理自然語言的方式的啟發(fā)，研究者們提出了一些新的、有效的方法，包括基于字符的（character-aware）模型、因式分解模型、雙向模型、緩存模型、注意力機制，等等。

基于字符的（Character-Aware）模型

在自然語言中，一些形式相似的詞往往具有相同或相似的意思。例如，「superman」中的「man」和「policeman」中的「man」有著相同的含義。Mikolov 等人于 2012 年在字符級別上對 RNNLM 和 FFNNLM 進行了探究。字符級 NNLM 可以被用來解決集外詞（OOV）問題，由于字符特征揭示了單詞之間的結(jié)構(gòu)相似性，因此對不常見和未知單詞的建模有所改進。由于使用了帶有字符級輸出的小型 Softmax 層，字符級 NNLM 也減少了訓練參數(shù)。然而，實驗結(jié)果表明，訓練準確率高的字符級 NNLM 是一項具有挑戰(zhàn)性的工作，其性能往往不如單次級的 NNLM。這是因為字符級 NNLM 必須考慮更長的歷史數(shù)據(jù)才能正確地預測下一個單詞。

人們已經(jīng)提出了許多將字符級和單詞級信息相結(jié)合的解決方案，它們通常被稱為基于字符（character-aware）的語言模型。一種方法是逐個單詞組織字符級特征，然后將它們用于單詞級語言模型。Kim 等人于 2015 年提出了用于提取單詞字符級特征的卷積神經(jīng)網(wǎng)絡(luò)以及用于在一個時間步內(nèi)接收這些字符級特征的 LSTM。Hwang 和 Sung 于 2016 年使用一個分層 RNN 架構(gòu)解決了字符級 NNLM 的問題，該架構(gòu)包含具有不同時間規(guī)模的多個模塊。

另一種解決方案是同時將字符級別和單詞級別的特征輸入給 NNLM。Miyamoto 和 Cho 等人于 2016 年提出使用 BiLSTM 從單詞中提取出的字符特征向量對單詞的特征向量進行插值，并且將插值向量輸入給 LSTM。Verwimp 等人于 2017 年提出了一種「字符-單詞」LSTM-RNNLM，它直接將字符和單詞級別的特征向量連接起來，然后將連接結(jié)果輸入給網(wǎng)絡(luò)。基于字符的 LM 直接使用字符級 LM 作為字符特征提取器，應用于單詞級 LM。這樣一來，LM 就具有豐富的用于預測的「字符-單詞」信息。

因式分解模型

NNLM 基于 token 定義了單詞的相似度。然而，相似度還可以根據(jù)單詞的形式特征（詞綴、大寫字母、連字符，等等）或者其它的注釋（如詞性標注（POS））導出。受到因式分解 LM 的啟發(fā)，Alexandrescu 和 Kirchhoff 等人于 2016 年提出了一種因式分解 NNLM，這是一種新型的神經(jīng)概率 LM，它可以學習從單詞和特定的單詞特征到連續(xù)空間的映射。

因式分解模型使得模型可以總結(jié)出具有相同特征的單詞類別。在神經(jīng)網(wǎng)絡(luò)訓練時應用因子代替單詞 token 可以更好地學習單詞的連續(xù)表征，可以表征集外詞，也可以降低 LM 的困惑度。然而，對不同的因子的選擇和不同的上游 NLP 任務(wù)、語言模型的應用是相關(guān)的。除了對各個因子分別進行實驗外，沒有其他方法可以用于因子的選擇。因此，對于特定的任務(wù)，需要有一種高效的因子選擇方法。同時，必須建立帶有因子標簽的語料庫。

雙向模型

傳統(tǒng)的單向 NN 只能根據(jù)過去的輸入預測輸出。我們可以以未來的數(shù)據(jù)為條件，建立一個雙向的 NN。Graves 等于 2013 年、Bahdanau 等人于 2014 年將雙向 RNN 和 LSTM 神經(jīng)網(wǎng)絡(luò)（BiRNN 和 BiLSTM）引入了語音識別或其它的 NLP 任務(wù)。BiRNN 通過在兩個方向處理輸入數(shù)據(jù)來使用過去和未來的上下文。目前雙向模型最火的工作當屬 Peter 等人于 2018 年提出的 ELMo 模型，這是一種基于 BiLSTM-RNNLM 的新型深度上下文單詞表示。預訓練的 ELMo 模型的嵌入層的向量是通過詞匯表中的單詞學習到的表征向量。這些表征被添加到了現(xiàn)有的模型的嵌入層中，并且在 6 個具有挑戰(zhàn)性的 NLP 任務(wù)中顯著提升了目前最先進的模型的性能。

盡管使用過去和未來的上下文的雙向語言模型（BiLM）已經(jīng)取得了進展，但仍然需要注意的是，BiLM 不能夠被直接用于 LM，這是因為 LM 是定義在當前單詞之前的上下文中的。由于單詞序列可以被視為一種同時輸入的序列，因此 BiLM 可以被用于其它的 NLP 任務(wù)（如機器翻譯、語音識別）。

緩存模型

「最新出現(xiàn)的單詞可能會再次出現(xiàn)」。基于這個假設(shè)，緩存機制最初被用于優(yōu)化 N 元語言模型，克服了對依賴的長度限制。該機制會在緩存中匹配新的輸入和歷史數(shù)據(jù)。緩存機制最初是為了降低 NNLM 的困惑度而提出的。Soutner 等人于 2012 年試圖將 FFNNLM 與緩存機制相結(jié)合，提出了基于緩存的 NNLM 結(jié)構(gòu)，導致了離散概率變化問題。為了解決這個問題，Grave 等人于 2016 年提出了連續(xù)的緩存模型，其中變化依賴于隱藏表征的內(nèi)積。

另一種緩存機制是將緩存用作 NNLM 的加速技術(shù)。該方法主要的思路是將 LM 的輸出和狀態(tài)存儲在一個哈希表中，用來在給定相同上下文歷史的條件下進行未來的預測。例如，Huang 等人于 2014 年提出使用 4 個緩存來加速模型推理。使用到的緩存分別為：「查詢到語言模型概率的緩存（Query to Language Model Probability Cache）」、「歷史到隱藏狀態(tài)向量的緩存（History to Hidden State Vector Cache）」、「歷史到分類歸一化因子的緩存（History to Class Normalization Factor Cache）」以及「歷史和分類 Id 到子詞匯表歸一化因子的緩存（History and Class Id to Sub-vocabulary Normalization Factor Cache）」。

注意力機制

RNNLM 利用上下文預測下一個單詞。然而，并非上下文中所有的單詞都與下一個相關(guān)、對于預測有效。和人類一樣，帶有注意力機制的 LM 通過從單詞中選擇出有用的單詞表征，高效地使用長期的歷史。Bahdanau 等人于 2014 年首次提出將注意力機制用于 NLP 任務(wù)（在他們的論文中是機器翻譯任務(wù)）。Tran 等人和 Mei 等人分別于 2016 年證明了注意力機制可以提升 RNNLM 的性能。

注意力機制可以通過一系列針對每個輸入的注意力系數(shù)捕獲需要被重點關(guān)注的目標區(qū)域。注意力向量 z_t 是通過 token 的表征 {r_0，r_1，· · ·，r_(t?1)} 來計算的。

這里的注意力系數(shù)α_ti 是通過得分 e_ti 的 Softmax 函數(shù)值歸一化計算得來的，其中

這是一個對齊模型，用于評估某個 token 的表征 r_i 和隱藏狀態(tài) h_(t-1) 的匹配程度。該注意力向量是用于預測的上下文歷史的一種很好的表征。

針對大型語料庫的加速技術(shù)

在一個擁有大規(guī)模單詞表的語料庫上訓練模型是非常費時的。這主要是由于用于大型詞匯表的 Softmax 層。為了解決訓練深度神經(jīng)網(wǎng)絡(luò)時輸出空間大的問題，人們提出了許多方法。一般來說，這些方法可以分為四類，即：分層的 Softmax、基于采樣的近似、自歸一化以及在有限損失函數(shù)上的精確梯度。其中前兩種方法被廣泛用于 NNLM。

語料庫

一般來說，為了減少訓練和測試的開銷，需要在小型語料庫上對模型的可行性進行驗證。常用的小型語料庫包括 Brown、Penn Treebank 以及 WikiText-2（見表 1）。

在模型結(jié)構(gòu)被確定后，需要在大型語料庫上對其進行訓練和評估，從而證明模型具有可靠的泛化能力。常用的大型語料庫會隨著時間根據(jù)網(wǎng)站、報紙等媒體（包括華爾街日報、維基百科、新聞評論、 News Crawl、Common Crawl 、美聯(lián)社（AP）新聞等）被更新。

然而，我們通常會利用不同的大型語料庫訓練 LM。即使在同一個語料庫上，各種不同的預處理方法和不同的訓練/測試集的劃分也會影響實驗結(jié)果。與此同時，展示訓練時間的方式也不一樣，或者在一些論文中并沒有給出訓練時間。不同論文中的實驗結(jié)果并沒有得到充分的比較。

工具包

傳統(tǒng)的 LM 工具包主要包括「CMU-Cambridge SLM」、「SRILM」、「IRSTLM」、「MITLM」以及「BerkeleyLM」，它們只支持帶有各種平滑技術(shù)的 N 元語言模型的訓練和評估。隨著深度學習的發(fā)展，人們提出了許多基于 NNLM 的工具包。

Mikolov 等人于 2011 年構(gòu)建了 RNNLM 工具包。該工具包支持訓練 RNNLM 來優(yōu)化語音識別和機器翻譯，但是它并不支持并行訓練算法和 GPU 運算。Schwenk 于 2013 年構(gòu)建了神經(jīng)網(wǎng)絡(luò)開源工具 CSLM（連續(xù)空間語言建模），用于支持 FFNN 的訓練和評估。Enarvi 和 Kurimo 于 2016 年提出了可伸縮的神經(jīng)網(wǎng)絡(luò)模型工具包「TheanoLM」，它訓練 LM 對句子進行打分并生成文本。

根據(jù)調(diào)查，我們發(fā)現(xiàn)并沒有同時支持傳統(tǒng) N 元語言模型和 NNLM 的工具包。而且它們通常并不包含加載常用的 LM 的功能。

未來的研究方向

首先，降低計算開銷、減少參數(shù)數(shù)量的方法仍然會被繼續(xù)探索，從而在不增加困惑度的條件下提升訓練和評估的速度。其次，我們期待能夠產(chǎn)生一種新的架構(gòu)，它能夠模擬人的工作方式，從而提升 LM 的性能。例如，為 LM 構(gòu)建一種生成模型（例如 GAN），可能會成為一個新的研究方向。最后，同樣重要的是，目前的 LM 的評估體系并不規(guī)范。因此，有必要構(gòu)建一個評價對比基準來統(tǒng)一預處理以及論文中應該展示的實驗結(jié)果。