科學(xué)研究需要靈感和激情，但偉大成果的誕生往往伴隨著科研工作者在漫漫寒夜中無畏的堅守！

近日，萊斯大學(xué)教授 Moshe Vardi 發(fā)表在 ACM 計算機(jī)期刊《Communications of the ACM》上的一篇文章引起了極大的關(guān)注，他表示「要將研究視為一場漫長的旅程，才能取得重大的突破。」2018 圖靈獎得主 Yann LeCun 評論稱：「Moshe Vardi 以神經(jīng)網(wǎng)絡(luò)歷史興衰為例，告訴我們，研究是一場持久戰(zhàn)…」

位于美國加利福尼亞州帕羅奧多的未來研究所（IFTF，Institute for Future）是一個智庫，建立于 1968 年，是蘭德（RAND）公司的分支機(jī)構(gòu)，旨在幫助企業(yè)對長遠(yuǎn)的未來進(jìn)行規(guī)劃。

曾于 1971 到 1990 年間任 IFTF 總裁的 Roy Amara 在 2007 年過世，他因提出了關(guān)于技術(shù)的影響的 Amara 定律而聞名：「人們總是高估一項(xiàng)技術(shù)所帶來的短期效益，卻低估了它的長期影響」。Gartner 技術(shù)成熟度曲線就是最好的例證，該曲線的特點(diǎn)是在「期望膨脹期」后，會緊跟一個「泡沫化的底谷期」，然后是「穩(wěn)步爬升的光明期」，最后則是「實(shí)質(zhì)生產(chǎn)的高峰期」。

當(dāng)我聽說 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 因「在概念和工程上取得的突破，使深度神經(jīng)網(wǎng)絡(luò)成為計算的重要組成部分」而獲得 2018 年的圖靈獎時，我又想起了 Amara 定律。

這條消息一點(diǎn)都不令人驚訝。畢竟，在過去十年間，再也沒有其它計算技術(shù)具有如此引人矚目的表現(xiàn)和影響。一如圖靈獎公告所說：「近年來，深度學(xué)習(xí)方法一直是計算機(jī)視覺、語音識別、自然語言處理和機(jī)器人技術(shù)等領(lǐng)域取得驚人突破的重要原因」。

但為了在恰當(dāng)?shù)臍v史背景下討論他們的貢獻(xiàn)，還是要回顧一下神經(jīng)網(wǎng)絡(luò)的悠久歷史。

1943 年，神經(jīng)生理學(xué)家 Warren McCulloch 和年輕的數(shù)學(xué)家 Walter Pitts 寫了一篇關(guān)于大腦神經(jīng)元如何工作的文章。他們用電路模擬了一個簡單的神經(jīng)網(wǎng)絡(luò)。

1958 年，康奈爾的一名神經(jīng)生物學(xué)家 Frank Rosenblatt 發(fā)明了感知機(jī)——它是只有一層的神經(jīng)網(wǎng)絡(luò)。《紐約時報》將感知機(jī)稱為「可以行走、說話、看、寫、自我再生，并能意識到自己的存在的電子計算機(jī)雛形。」不幸的是，在 Marvin Minskey 和 Seymour Papert 于 1969 年撰寫的《感知機(jī)》一書中，證明了感知機(jī)存在很大的局限性。

「期望膨脹期」之后將緊跟著「泡沫化的底谷期」。此時，「人工智能的第一個寒冬」出現(xiàn)了，這從人工智能的研究經(jīng)費(fèi)不斷減少就能體現(xiàn)出來，這樣的狀況一直持續(xù)到 20 世紀(jì) 80 年代初。

1982 年，加州理工的 John Hopfield 發(fā)表了一篇論文，其重點(diǎn)不是模擬大腦，而是要創(chuàng)造出有用的設(shè)備。他通過數(shù)學(xué)方法，清晰地向人們展示了這樣的網(wǎng)絡(luò)是如何工作的，以及這樣的網(wǎng)絡(luò)可以做些什么。

大約同一時間，日本東京舉辦了「合作/競爭神經(jīng)網(wǎng)絡(luò)美日聯(lián)合會議」。日本隨后宣布了第五代（the Fifth Generation）計算機(jī)計劃。美國的期刊刊登了這篇報道，人們開始擔(dān)心美國會落后。很快，資金再一次流入。

1987 年，神經(jīng)信息處理系統(tǒng)年會（NeurIPS）成功舉辦。但新的膨脹期后依然會跟隨著底谷期。

就像圖靈獎的公告中所說：「到 21 世紀(jì)初，LeCun、Hinton 和 Bengio 是仍然堅持研究這種方法的小部分人中的一員」。事實(shí)上，他們在重燃人工智能社區(qū)對神經(jīng)網(wǎng)絡(luò)興趣方面所做出的努力，在一開始是遭到質(zhì)疑的。這段底谷期導(dǎo)致「人工智能的第二個寒冬」到來，這一直持續(xù)到了 20 世紀(jì) 90 年代。

直到本世紀(jì)初，人們將改進(jìn)的算法、硬件（GPU）和大數(shù)據(jù)集（ImageNet 有超過 1，400 萬張有標(biāo)簽的圖像）組合在一起，取得了令人印象深刻的重大突破，而且無論是從效率角度還是從速度角度來講，深度（有許多層的）神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺方面都有著顯著的優(yōu)勢。

Hinton 和他同事的想法帶來了重大的技術(shù)進(jìn)步，他們的方法現(xiàn)在已經(jīng)成為該領(lǐng)域的主要范式，并因此獲得了 2018 年的圖靈獎。

這個故事告訴我們，研究是一場持久戰(zhàn)，在該過程中，耐心和耐力是必要的組成部分。

但我還記得 20 世紀(jì) 90 年代早期，在一個工業(yè)研究實(shí)驗(yàn)室中曾舉辦過一個研究評估會議，會議上有人所做的數(shù)據(jù)挖掘的開創(chuàng)性工作并沒有得到認(rèn)可，因?yàn)椤高@一項(xiàng)工作已經(jīng)做了兩年了，但他竟然還不清楚這項(xiàng)工作未來將會走向何方」。我和普林斯頓大學(xué)高級研究所的創(chuàng)始人 Abraham Flexner 擔(dān)心的是同一件事，在 1939 年出版的《無用知識的有用性》一書中，F(xiàn)lexner 討論了為了支持所謂實(shí)用主義而放棄純粹的好奇心的危險傾向。

沒有一個簡公式可以簡單地概括成功研究背后的規(guī)律。有時，在短期內(nèi)關(guān)注一些眼前的問題是可以的，但大多數(shù)時候，要將研究視為一場漫長的旅程，才能取得重大的突破。