預訓練

給定包含 N 個詞的序列,前向語言模型通過前 k-1個詞預測第 k 個詞。在第 k 個位置，每個 LSTM 層輸出上下文依賴的向量表達 , j=1,2,…,L。頂層 LSTM 層的輸出 利用交叉熵損失預測下一個位置。

后向語言模型對序列做反序，利用下文的信息去預測上文的詞。與前向類似，給定經過 L 層的后向深層 LSTM 網絡預測得到第 j 層的隱層輸出。

雙向語言模型拼接前向語言模型和后向語言模型，構建前向和后向聯合最大對數似然。

其中，為序列詞向量層參數，為交叉熵層參數，在訓練過程中這兩部分參數共享。

嵌入式語言模型組合利用多層 LSTM 層的內部信息，對中心詞，一個 L 層的雙向語言模型計算得到 2L+1 個表達集合。

Fine-tune

在下游任務中，ELMo 將多層的輸出整合成一個向量，將所有 LSTM 層的輸出加上normalized 的 softmax 學習到的權重 s=Softmax(w)，使用方法如下所示：

直觀上來講，biLMs 的較高層次的 LSTM 向量抓住的是詞匯的語義信息， biLMs 的較低層次的 LSTM 向量抓住的是詞匯的語法信息。這種深度模型所帶來的分層效果使得將一套詞向量應用于不同任務有了可能性，因為每個任務所需要的信息量是不同的。另外 LSTM 的層數不宜過多，多層 LSTM 網絡不是很容易 train 好，存在過擬合問題。如下圖是一個多層 LSTM 用在文本分類問題的實驗結果，隨著 LSTM 層數增多，模型效果先增加后下降。

Transformer

曾經有人說，想要提升 LSTM 效果只要加一個 attention 就可以。但是現在attention is all you need。Transformer 解決了 NLP 領域深層網絡的訓練問題。

Attention 此前就被用于眾多 NLP 的任務，用于定位關鍵 token 或者特征，比如在文本分類的最后加一層 Attention 來提高性能。Transformer 起源自注意力機制（Attention），完全拋棄了傳統的 RNN，整個網絡結構完全是由 Attention 機制組成。Transformer 可以通過堆疊 Transformer Layer 進行搭建，作者的實驗是通過搭建編碼器和解碼器各6層，總共12層的 Encoder-Decoder，并在機器翻譯中取得了 BLEU 值的新高。

整個流程的可視化如圖：以N=2示例，實際Transformer的N=6。

Encoder 階段： 輸入“Thinking Machines”，對應詞向量，疊加位置向量 Positional Encoding，對每個位置做 Self-Attention 得到；Add&Norm 分兩步，residual connection即，layer Normalization 得到新的，對每個位置分別做 feed forward 全連接和 Add&Norm，得到一個 Encoder Layer 的輸出，重復堆疊2次，最后將 Encoder Layer 輸出到 Decoder 的 Encoder-Decoder Layer 層。

Decoder 階段：先是對 Decoder 的輸入做 Masked Self-Attention Layer，然后將Encoder 階段的輸出與 Decoder 第一級的輸出做 Encoder-Decoder Attention，最后接 FFN 全連接，堆疊2個 Decoder，最后接全連接+Softmax 輸出當前位置概率最大的的詞。

Transformer 的結構上比較好理解，主要是里邊的細節比較多，如 Mult-HeadAttention, Feed Forward, Layer Norm, Positional Encoding等。

Transformer的優點：

1. 并行計算，提高訓練速度。 這是相比 LSTM 很大的突破，LSTM 在訓練的時候 ，當前步的計算要依賴于上一步的隱狀態，這是一個連續過程，每次計算都需要等之前的計算完成才能展開，限制模型并行能力。而 Transformer 不用LSTM結構，Attention 機制的每一步計算只是依賴上一層的輸出，并不依賴上一詞的信息，因而詞與詞之間是可以并行的，從而訓練時可以并行計算, 提高訓練速度。
2. 一步到位的全局聯系捕捉。 順序計算的過程中信息會丟失，盡管 LSTM 等門機制的結構一定程度上緩解了長期依賴的問題，但是對于特別長期的依賴現象，LSTM 依舊無能為力。Transformer 使用了 Attention 機制，從而將序列中的任意兩個位置之間的距離是縮小為1，這對解決 NLP 中棘手的長期依賴問題是非常有效的。

總結對比CNN、RNN和Self-Attention：

CNN： 只能看到局部領域，適合圖像，因為在圖像上抽象更高層信息僅僅需要下一層特征的局部區域，文本的話強在抽取局部特征，因而更適合短文本。

RNN： 理論上能看到所有歷史，適合文本，但是存在梯度消失問題。

Self-Attention： 相比 RNN 不存在梯度消失問題。對比 CNN 更加適合長文本，因為能夠看到更遠距離的信息，CNN 疊高多層之后可以看到很遠的地方，但是 CNN本來需要很多層才能完成的抽象，Self-Attention 在很底層就可以做到，這無疑是非常巨大的優勢。

BERT

BERT (Bidirectional Encoder Representations from Transformers) 本質來講是NLP 領域最底層的語言模型，通過海量語料預訓練，得到序列當前最全面的局部和全局特征表示。

BERT 網絡結構如下所示，BERT 與 Transformer 的 Encoder 網絡結構完全相同。假設 Embedding 向量的維度是，輸入序列包含 n 個token，則 BERT 模型一個layer 的輸入是一個的矩陣，而它的輸出也同樣是一個的矩陣，所以這樣 N 層 BERT layer 就可以很方便的首尾串聯起來。BERT 的 large model 使用了 N=24 層這樣的Transformer block。