四、自然語言處理技術——面臨的挑戰

隨著智能硬件技術與移動技術的蓬勃爆發，自然語言處理技術的應用趨勢也發生了變化。一方面用戶要求自然語言處理技術可以精準地理解自己的需求，而且直接給出最匹配的答案，而非簡單地給出Url讓用戶自己去找答案（起碼目前代表業內較高水平的小度機器人還是這樣做的）。另一方面是需要自然語言處理技術可以與用戶進行對話式搜索與智能交互，例如針對“我到哪里可以買到漂亮衣服？”互聯網針對衣服款式的定位、價錢的定位等條件與用戶進行對話與交互，通過基于自然語言處理技術的搜索引擎來步步引導用戶，幫助用戶逐漸發現自己的真實需求，進而給出最優答案。第三方面，需要自然語言處理技術對用戶進行“畫像”，提供“主動推薦、不問即得”的個性化推薦服務。由于每個人各個方面的生活需求（尤其是娛樂方面的需求）不盡相同，自然語言處理技術可以根據用戶的瀏覽歷史來挖掘用戶的喜好，進而針對用戶的喜好進行精準式推薦。

在這樣的需求下面，對于自然語言處理技術的未來發展提出了很大的挑戰。它要求未來的自然語言處理技術能夠做到：

· 1、需求識別。通過用戶提出了多種多樣的、復雜的、基于情感式的、語意模糊的需求進行深刻分析，精確地理解用戶的需求。

· 2、知識挖掘。經過海量的網絡數據與知識的挖掘分析，將各種結構化、非結構化、半結構化的知識進行組織與梳理，最終以結構化、清晰化的知識形式完整地呈現給用戶。

· 3、用戶引導。這與對話式智能交互相關，不僅根據用戶的需求來提供“建議”，還能“猜測”用戶可能會有什么未想到、未提出的需求，從而“先人一步”為用戶提供相關的擴展信息。

· 4、結果組織和展現。由于用戶更加青睞直接的答案，答案的形式可以是唯一答案、聚合答案、圖片、多媒體的形式，這就要求自然語言處理技術能夠將挖掘出的信息進行有效地組織與整理，以條理化、簡潔化、直接化的形式呈現給用戶。?

五、自然語言處理技術——展望未來

在電影《Her》里，語音交互成為普遍的交互方式：孤獨的作家西奧多，有語音操控的隨身計算設備，用語音撰寫感人的書信安撫受傷人，還找到了“機器人女友”莎曼薩。我想，擁有一個貼心的“莎曼薩”，能做到“知我心、懂我意”，仿佛看到第二個自己，應該是很多人都會憧憬的事情。

展望2018年，自然語言處理技術還將沿著致力于實現智能化、人性化的搜索推薦、語音交互、語義理解的道路繼續前行。相信不僅會有更多技術難題被攻克，也會有越來越多類似于“莎曼薩”的產品問世。

隨著大數據技術的不斷發展，大規模語料樣本數據以驚人的數量不斷積累以及自然語言處理在深度學習方面的不斷深耕，目前業界已經開始使用上萬小時的樣本進行模型訓練。不難預測，不久，自然語言處理技術發展將很快進入10萬小時數據樣本訓練階段，只有這樣，才能覆蓋千差萬別的用戶口音差異、多領域歧義語料數據以及復雜的語法規則。再考慮環境變化的影響，未來訓練語料量可能會突破100萬小時。未來，基于統計學的語義分析方法研究將會繼續深化，會隨著大規模語料樣本數據的不斷積累以及大數據挖掘技術、深度模型算法的不斷發展呈現質的飛躍。

隨著訓練數據量的迅速增加，如何實現大規模LSTM（長短時記憶模型）建模和CTC（連接時序分類）的有效訓練，會成為一個核心的技術難題。未來語音識別領域的深度學習將進入數百GPU并行訓練的狀態，理論創新和算法技術創新都將圍繞大數據展開。語音識別技術的研發方法，相對于現在必將發生深刻的變革。此外，CTC建模技術進一步降低了語音識別應用的解碼成本，隨著適合深度模型計算的專業硬件的大量涌現，語音識別云服務的成本將大量降低，從而推動語言處理與語音交互技術的更大范圍的普及。

?