新NLP模型

　　另一個承諾是，深度學(xué)習(xí)方法有助于開發(fā)全新的模型。

　　一個很好的例子是，使用能夠?qū)W習(xí)和判斷超長序列輸出的循環(huán)神經(jīng)網(wǎng)絡(luò)。 這種方法與從前的完全不同，因為它們允許NLP從業(yè)者擺脫傳統(tǒng)的建模假設(shè)，并實現(xiàn)最先進的結(jié)果。

　　Yoav Goldberg在其NLP深度學(xué)習(xí)的專著《自然語言處理的神經(jīng)網(wǎng)絡(luò)方法》第xvii頁指出，像循環(huán)神經(jīng)網(wǎng)絡(luò)這樣復(fù)雜神經(jīng)網(wǎng)絡(luò)模型可以帶來全新的NLP建模機會。他說，“在2014年左右，該領(lǐng)域已經(jīng)開始看到，在從稀疏輸入的線性模型到稠密輸入的非線性神經(jīng)網(wǎng)絡(luò)模型的轉(zhuǎn)換方面，已取得了一些成功。 。……其他的變化更高級，需要研究者改變思維，并能帶來新的建模機會。特別是，基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）的一系列方法減輕了對序列模型中普遍存在的馬爾可夫假設(shè)的依賴，允許以任意長序列為條件，并產(chǎn)生了有效的特征提取器。 這些進步導(dǎo)致了語言建模、自動機器翻譯和其他應(yīng)用的突破。”

　　特征學(xué)習(xí)

　　深度學(xué)習(xí)方法具有學(xué)習(xí)特征表示的能力，不必要求專家從自然語言中人工指定和提取特征。

　　NLP研究員Chris Manning在自然語言處理深度學(xué)習(xí)課程的第一次講座中突出了這方面的觀點。

　　他描述了人工定義輸入特征的局限性：按照這種方法，在之前的應(yīng)用中，機器學(xué)習(xí)只是在統(tǒng)計NLP中證明人類事先定義的特征，并且計算機幾乎沒有學(xué)習(xí)。

　　Chris 認為，深度學(xué)習(xí)方法帶來的承諾是自動特征學(xué)習(xí)。 他強調(diào)，特征學(xué)習(xí)是自動的，而不是人工；它易于適應(yīng)，不脆弱，并可以不斷自動地改善。

　　Chris Mining 在2017年的《自然語言處理與深度學(xué)習(xí)》講座第一講幻燈片中說，“一般來說，我們?nèi)斯ぴO(shè)計的特征往往被過度地指定，它們不完整，需要很長時間才能設(shè)計和驗證，會讓你忙活一天后只能達到有限的性能水平。而深度學(xué)習(xí)到的特征易于適應(yīng)，能快速訓(xùn)練，它們可以持續(xù)學(xué)習(xí)，以便達到以前未能實現(xiàn)的、更好的性能水平。

　　持續(xù)改進

　　NLP的深度學(xué)習(xí)的另一個承諾是，在挑戰(zhàn)性問題上持續(xù)快速改進。

　　在《自然語言處理與深度學(xué)習(xí)》講座第一講中，Chris Manning表示，深度學(xué)習(xí)的方法很受歡迎，因為它們很管用。他說，“深度學(xué)習(xí)對大多數(shù)人來說如此令人興奮的真正原因是，它確實管用。“

　　他強調(diào)，深度學(xué)習(xí)的初步結(jié)果令人印象深刻。深度學(xué)習(xí)在語音領(lǐng)域的表現(xiàn)比過去30年中任何其他方法的表現(xiàn)都更好。

　　Chris 提到，深度學(xué)習(xí)帶來的不僅是最先進的成果，而且是不斷改進的進步速度。他說，”……在過去的六七年中，非常令人驚嘆的是，深度學(xué)習(xí)方法一直在不斷改進，并以驚人的速度變得更好。 我其實想說，這是前所未有的，我看到這個領(lǐng)域飛速地進展，每個月都會推出更好的方法。“