自然語言處理是計算機科學領(lǐng)域與人工智能領(lǐng)域中的一個重要方向。它研究能實現(xiàn)人與計算機之間用自然語言進行有效通信的各種理論和方法。自然語言處理是一門融語言學、計算機科學、數(shù)學于一體的科學。因此，這一領(lǐng)域的研究將涉及自然語言，即人們?nèi)粘Ｊ褂玫恼Z言，所以它與語言學的研究有著密切的聯(lián)系，但又有重要的區(qū)別。自然語言處理并不是一般地研究自然語言，而在于研制能有效地實現(xiàn)自然語言通信的計算機系統(tǒng)，特別是其中的軟件系統(tǒng)。因而它是計算機科學的一部分。

　　自然語言處理（NLP）是計算機科學，人工智能，語言學關(guān)注計算機和人類（自然）語言之間的相互作用的領(lǐng)域。

　　總結(jié)自然語言處理發(fā)展的曲折歷史可以看出，基于規(guī)則的理性主義方法和基于統(tǒng)計的經(jīng)驗主義方法各有千秋，因此，我們應(yīng)當用科學的態(tài)度來分析它們的優(yōu)點和缺點。

　　我們認為，基于規(guī)則的理性主義方法的優(yōu)點是：

　　* 基于規(guī)則的理性主義方法中的規(guī)則主要是語言學規(guī)則，這些規(guī)則的形式描述能力和形式生成能力都很強，在自然語言處理中有很好的應(yīng)用價值。

　　* 基于規(guī)則的理性主義方法可以有效地處理句法分析中的長距離依存關(guān)系（long-distance dependencies）等困難問題，如句子中長距離的主語和謂語動詞之間的一致關(guān)系（subject-verb agreement）問題，wh 移位（wh-movement）問題。

　　* 基于規(guī)則的理性主義方法通常都是明白易懂的，表達得很清晰，描述得很明確，很多語言事實都可以使用語言模型的結(jié)構(gòu)和組成成分直接地、明顯地表示出來。

　　* 基于規(guī)則的理性主義方法在本質(zhì)上是沒有方向性的，使用這樣的方法研制出來的語言模型，既可以應(yīng)用于分析，也可以應(yīng)用于生成，這樣，同樣的一個語言模型就可以雙向使用。

　　* 基于規(guī)則的理性主義方法可以在語言知識的各個平面上使用，可以在語言的不同維度上得到多維的應(yīng)用。這種方法不僅可以在語音和形態(tài)的研究中使用，而且，在句法、語義、語用、篇章的分析中也大顯身手。

　　* 基于規(guī)則的理性主義方法與計算機科學中提出的一些高效算法是兼容的，例如，計算機算法分析中使用Earley 算法（1970 年提出）和Marcus 算法（1978 年提出）都可以作為基于規(guī)則的理性主義方法在自然語言處理中得到有效的使用。

　　基于規(guī)則的理性主義方法的缺點是：

　　* 基于規(guī)則的理性主義方法研制的語言模型一般都比較脆弱，魯棒性很差，一些與語言模型稍微偏離的非本質(zhì)性的錯誤，往往會使得整個的語言模型無法正常地工作，甚至導(dǎo)致嚴重的后果。不過，近來已經(jīng)研制出一些魯棒的、靈活的剖析技術(shù)，這些技術(shù)能夠使基于規(guī)則的剖析系統(tǒng)在剖析失敗中得到恢復(fù)。

　　* 使用基于規(guī)則的理性主義方法來研制自然語言處理系統(tǒng)的時候，往往需要語言學家、語音學家和各種專家的配合工作，進行知識密集的研究，研究工作的強度很大；基于規(guī)則的語言模型不能通過機器學習的方法自動地獲得，也無法使用計算機自動地進行泛化。

　　* 使用基于規(guī)則的理性主義方法設(shè)計的自然語言處理系統(tǒng)的針對性都比較強，很難進行進一步的升級。例如，斯羅肯（Slocum）在1981 年曾經(jīng)指出，LIFER 自然語言知識處理系統(tǒng)在經(jīng)過兩年的研發(fā)之后，已經(jīng)變得非常之復(fù)雜和龐大，以至于這個系統(tǒng)原來的設(shè)計人很難再對它進行一點點的改動。對于這個系統(tǒng)的稍微改動將會引起整個連續(xù)的“水波效應(yīng)”（ripple effect），以至于“牽一發(fā)而動全身”，而這樣的副作用是無法避免和消除的。

　　* 基于規(guī)則的理性主義方法在實際的使用場合其表現(xiàn)往往不如基于統(tǒng)計的經(jīng)驗主義方法那樣好。因為基于統(tǒng)計的經(jīng)驗主義方法可以根據(jù)實際訓(xùn)練數(shù)據(jù)的情況不斷地優(yōu)化，而基于規(guī)則的理性主義方法很難根據(jù)實際的數(shù)據(jù)進行調(diào)整。基于規(guī)則的方法很難模擬語言中局部的約束關(guān)系，例如，單詞的優(yōu)先關(guān)系對于詞類標注是非常有用的，但是基于規(guī)則的理性主義方法很難模擬這種優(yōu)先關(guān)系。

　　不過，盡管基于規(guī)則的理性主義方法有這樣的或那樣的不足，這種方法終究是自然語言處理中研究得最為深入的技術(shù)，它仍然是非常有價值和非常強有力的技術(shù)，我們決不能忽視這種方法。事實證明，基于規(guī)則的理性主義方法的算法具有普適性，不會由于語種的不同而失去效應(yīng)，這些算法不僅適用于英語、法語、德語等西方語言，也適用于漢語、日語、韓國語等東方語言。在一些領(lǐng)域針對性很強的應(yīng)用中，在一些需要豐富的語言學知識支持的系統(tǒng)中，特別是在需要處理長距離依存關(guān)系的自然語言處理系統(tǒng)中，基于規(guī)則的理性主義方法是必不可少的。

　　我們認為，基于統(tǒng)計的經(jīng)驗主義方法的優(yōu)點是：

　　* 使用基于統(tǒng)計的經(jīng)驗主義方法來訓(xùn)練語言數(shù)據(jù)，從訓(xùn)練的語言數(shù)據(jù)中自動地或半自動地獲取語言的統(tǒng)計知識，可以有效地建立語言的統(tǒng)計模型。這種方法在文字和語音的自動處理中效果良好，在句法自動分析和詞義排歧中也初露鋒芒。

　　* 基于統(tǒng)計的經(jīng)驗主義方法的效果在很大的程度上依賴于訓(xùn)練語言數(shù)據(jù)的規(guī)模，訓(xùn)練的語言數(shù)據(jù)越多，基于統(tǒng)計的經(jīng)驗主義方法的效果就越好。在統(tǒng)計機器翻譯中，語料庫的規(guī)模，特別是用來訓(xùn)練語言模型的目標語言語料庫的規(guī)模，對于系統(tǒng)性能的提高，起著舉足輕重的作用。因此，可以通過擴大語料庫規(guī)模的辦法來不斷提高自然語言處理系統(tǒng)的性能。

　　* 基于統(tǒng)計的經(jīng)驗主義方法很容易與基于規(guī)則的理性主義方法結(jié)合起來，從而處理語言中形形色色的約束條件問題，使自然語言處理系統(tǒng)的效果不斷地得到改善。

　　* 基于統(tǒng)計的經(jīng)驗主義方法很適合用來模擬那些有細微差別的、不精確的、模糊的概念（如“很少、很多、若干”等），而這些概念，在傳統(tǒng)語言學中需要使用模糊邏輯（fuzzy logic）才能處理。

　　基于統(tǒng)計的經(jīng)驗主義方法的缺點是：

　　* 使用基于統(tǒng)計的經(jīng)驗主義方法研制的自然語言處理系統(tǒng)，其運行時間是與統(tǒng)計模式中所包含的符號類別的多少成比例線性地增長的，不論在訓(xùn)練模型的分類中還是在測試模型的分類中，情況都是如此。因此，如果統(tǒng)計模式中的符號類別數(shù)量增加，系統(tǒng)的運行效率會明顯地降低。

　　* 在當前語料庫技術(shù)的條件下，要使用基于統(tǒng)計的經(jīng)驗主義方法為某個特殊的應(yīng)用領(lǐng)域獲取訓(xùn)練數(shù)據(jù)，還是一件費時費力的工作，而且很難避免出錯。基于統(tǒng)計的經(jīng)驗主義方法的效果與語料庫的規(guī)模、代表性、正確性以及加工深度都有密切的關(guān)系，可以說，用來訓(xùn)練數(shù)據(jù)的語料庫的質(zhì)量在很大的程度上決定了基于統(tǒng)計的經(jīng)驗主義方法的效果。

　　* 基于統(tǒng)計的經(jīng)驗主義方法很容易出現(xiàn)數(shù)據(jù)稀疏的問題，隨著訓(xùn)練語料庫規(guī)模的增大，數(shù)據(jù)稀疏的問題會越來越嚴重，這個問題需要使用各種平滑（smoothing）技術(shù)來解決。