在自然語言處理領域,深度學習將給予最大的幫助,深度學習方法主要依靠一下這五個關鍵優勢,閱讀本文將進一步了解自然語言處理的重要深度學習方法和應用。
在自然語言處理領域,深度學習的承諾是:給新模型帶來更好的性能,這些新模型可能需要更多數據,但不再需要那么多的語言學專業知識。
關于深度學習方法有很多炒作和大話,但除了炒作之外,深度學習方法正在為挑戰性問題取得最先進的結果,特別是在自然語言處理領域。
在這篇文章中,您將看到深度學習方法應對自然語言處理問題的具體前景。看完這篇文章后,你會知道:
1. 自然語言處理深度學習的承諾。
2. 深度學習從業人員和研究科學家對自然語言處理深度學習的承諾有什么說法。
3. 自然語言處理的重要深度學習方法和應用。
深度學習的承諾
深度學習的方法很受歡迎,主要是因為它們兌現了當初的承諾。
這并不是說在技術上沒有任何炒作,而是說,這種炒作是基于非常真實的成果。這些成果正在從計算機視覺和自然語言處理的一系列極具挑戰性的人工智能問題中得到證實。
深度學習力量的第一次大型展現,就是在自然語言處理領域,特別是在語音識別方面。 最近的進展則是在機器翻譯方面。
在這篇文章中,我們將看到,自然語言處理領域的深度學習方法的五個具體承諾。這些承諾是這個領域的研究人員和從業人者最近所強調的,而這些人面對這些承諾的態度比一般的新聞報道要克制得多。
總而言之,這些承諾是:
深度學習插入替換現有模型 。深度學習方法可以插入現有的自然語言系統,由此產生的新模型可以實現同等或更好的性能。
新NLP模型 。深度學習方法提供了新的建模方法以挑戰自然語言問題(如序列-序列預測)。
特征學習 。深度學習方法可以從模型所需的自然語言中學習特征,而不需要專家指定、提取特征。、
持續改進。自然語言處理中的深度學習的表現是基于真實世界的結果,并且所帶來的改進正在持續,還可能加速。
端對端模型 。大型端對端深度學習模型可以適應自然語言問題,提供更一般和更好的方法。
我們現在將仔細看看這些承諾中的每一個。其實自然語言處理深度學習還有一些其他承諾;,這些只是我從中選擇的最突出的五個。
深度學習插入替換現有模型
自然語言處理中的深度學習的第一個承諾是,能夠用具有更好性能的模型替代現有的線性模型,能夠學習和利用非線性關系。
Yoav Goldberg在他的《NLP研究人員神經網絡入門》中強調,深度學習方法取得了令人印象深刻的成果,他說在此文中說:“最近,神經網絡模型也開始應用于文本自然語言信號,并再次帶來了非常有希望的結果?!?/p>
他還繼續強調,這些方法易于使用,有時可用于批量地替代現有的線性方法。他說:“最近,該領域在從稀疏輸入的線性模型切換到稠密數據的非線性神經網絡模型方面取得了一些成功。大多數神經網絡技術都很容易應用,有時候幾乎可以替代舊的線性分類器;不過,在許多情況下仍存在著使用神經網絡的障礙?!?/p>
新NLP模型
另一個承諾是,深度學習方法有助于開發全新的模型。
一個很好的例子是,使用能夠學習和判斷超長序列輸出的循環神經網絡。 這種方法與從前的完全不同,因為它們允許NLP從業者擺脫傳統的建模假設,并實現最先進的結果。
Yoav Goldberg在其NLP深度學習的專著《自然語言處理的神經網絡方法》第xvii頁指出,像循環神經網絡這樣復雜神經網絡模型可以帶來全新的NLP建模機會。他說,“在2014年左右,該領域已經開始看到,在從稀疏輸入的線性模型到稠密輸入的非線性神經網絡模型的轉換方面,已取得了一些成功。 ?!渌淖兓呒?,需要研究者改變思維,并能帶來新的建模機會。特別是,基于循環神經網絡(RNNs)的一系列方法減輕了對序列模型中普遍存在的馬爾可夫假設的依賴,允許以任意長序列為條件,并產生了有效的特征提取器。 這些進步導致了語言建模、自動機器翻譯和其他應用的突破。”
特征學習
深度學習方法具有學習特征表示的能力,不必要求專家從自然語言中人工指定和提取特征。
NLP研究員Chris Manning在自然語言處理深度學習課程的第一次講座中突出了這方面的觀點。
他描述了人工定義輸入特征的局限性:按照這種方法,在之前的應用中,機器學習只是在統計NLP中證明人類事先定義的特征,并且計算機幾乎沒有學習。
Chris 認為,深度學習方法帶來的承諾是自動特征學習。 他強調,特征學習是自動的,而不是人工;它易于適應,不脆弱,并可以不斷自動地改善。
Chris Mining 在2017年的《自然語言處理與深度學習》講座第一講幻燈片中說,“一般來說,我們人工設計的特征往往被過度地指定,它們不完整,需要很長時間才能設計和驗證,會讓你忙活一天后只能達到有限的性能水平。而深度學習到的特征易于適應,能快速訓練,它們可以持續學習,以便達到以前未能實現的、更好的性能水平。
持續改進
NLP的深度學習的另一個承諾是,在挑戰性問題上持續快速改進。
在《自然語言處理與深度學習》講座第一講中,Chris Manning表示,深度學習的方法很受歡迎,因為它們很管用。他說,“深度學習對大多數人來說如此令人興奮的真正原因是,它確實管用?!?/p>
他強調,深度學習的初步結果令人印象深刻。深度學習在語音領域的表現比過去30年中任何其他方法的表現都更好。
Chris 提到,深度學習帶來的不僅是最先進的成果,而且是不斷改進的進步速度。他說,”……在過去的六七年中,非常令人驚嘆的是,深度學習方法一直在不斷改進,并以驚人的速度變得更好。 我其實想說,這是前所未有的,我看到這個領域飛速地進展,每個月都會推出更好的方法?!?br />
評論
查看更多