由于神經網絡強大的表達能力，在 NLP 領域研究者們開始研究基于神經網絡的多任務學習。大多數方法通過網絡參數共享來學習任務間的關聯，提升各任務效果。

這篇文章介紹了一個聯合的多任務（joint many-task）模型，通過逐步加深層數來解決復雜任務。

與傳統的并行多任務學習不一樣的地方在于，該文是根據任務的層次關系構建層次（POS->CHUNK->DEP->Related->Entailment）的模型進行學習。每個任務有自己的目標函數，最后取得了不錯的效果。

在 NLP 領域，各個任務之間有著相互聯系。研究者們通過多任務學習（Multiple-Task Learning）來促進任務間互相聯系，提高各個任務的性能。目前現存的主流多任務框架多使用同樣深度的模型，通過參數共享的方式并行地進行多任務學習，如下圖。

而在 NLP 領域中，各個任務間經常是有層級關系的，例如從詞法分析到句法分析到上層的實際應用任務（例如具體任務：詞性分析 POS->語塊分析 CHUNK->依存句法分析 DEP->文本語義相關 Relatedness->文本蘊涵 Entailment）。

現存的多數多任務學習模型忽視了 NLP 任務之間的語言學層次關系，針對這一問題，該論文提出了一種層次增長的神經網絡模型，考慮了任務間的語言學層次關系。

?論文方法

該論文模型的整體框架圖如下所示，相比傳統的并行多任務學習模型，該模型框架是依據語言學層次關系，將不同任務棧式的疊加，越層次的任務具有更深的網絡結構。當前層次的任務會使用下一層次的任務輸出。

在詞和句法層級，每個任務分別是使用一個雙向的 LSTM 進行建模。語義層級，根據前面層級任務學習到的表示，使用 softmax 函數進行分類。在訓練階段，每個任務都有自己相應的目標函數，使用所有任務訓練數據，按照模型從底至頂的層次順序，依次聯合訓練。

除此之外，在具體實現上，每層雙向 LSTM 都用了詞向量（Shortcut Connection）和前面任務的標簽向量（Label Embedding）。在各個任務的目標函數里加入了級聯正則化項（Successive Regularization）來使得模型不要忘記之前學習的信息。

論文實驗?

各任務數據集：POS(WSJ)，CHUNK(WSJ)，DEP(WSJ)，Relatedness(SICK)，Entailment(SICK)。

多任務vs單任務（測試集上）

論文給出了多任務和單任務的實驗結果（由于一些任務數據集存在重疊，所以沒有結果 n/a），還有具體使用全部任務和任意任務的結果。可以看到相比單任務，多任務學習在所有任務上效果都得到了提升。

和主流方法進行比較（測試集上）

每個具體任務和目前主流方法（包含了并行的多任務學習方法）的比較，可以看到該論文每個任務的結果基本可以達到目前最優結果。

模型結構分析（在開發集上）

(1) shortcut 連接，輸出標簽向量和級聯正則化項的效果