本文結合了近三年技術和產業發展的回顧，再論“深度學習已死”。作者認為，深度學習對于大多數問題來說不是正確方法，無法為所有問題尋找一個通用AI解決方案。

許多人認為，算法能以認知意識超越人性。機器可以在沒有人工干預的情況下了解和學習任務，并大規模地替換人類工人。它們完全可以“思考”。許多人甚至提出我們是否可以將機器人視作配偶的問題。

但我今天不是討論這些。如果我告訴你這些想法在20世紀60年代時就已廣泛流傳，AI先驅Jerome Wiesner、Oliver Selfridge和克勞德·香農(Claude Shannon)都曾堅持認為這在不久的將來就會發生，你怎么想？如果你對此感到驚訝，請看看下面這個視頻，你會驚訝于這些情緒是多么的熟悉。

快進到1973年，AI的炒作和夸大適得其反。英國議會派數學家詹姆斯·萊特希爾爵士(Sir James Lighthill)編寫英國人工智能研究的現狀報告。該報告對AI研究的許多核心方面給出了非常悲觀的預測，指出 “在該領域的任何部分迄今為止都沒有產生重大影響”。有趣的是，萊特希爾還指出專門的程序(或人類)如何比他們的“AI”同行表現得更好，以及AI如何在現實環境中沒有前景。因此，英國政府取消了所有的AI研究經費。

Lighthill Debate, BBC, 1973

在大西洋彼岸，美國國防部曾在AI研究上投入巨資，但后來又因為同樣的挫折取消了幾乎所有的資助：對AI能力的夸大，高成本卻沒有回報，以及AI在現實世界中的價值令人懷疑。

在20世紀80年代，日本在“AI”上進行大膽的嘗試，推出“第五代電腦項目”(Fifth generation computer)。然而，這最終也只是造成了8.5億美元的損失。

第一個AI冬天

80年代末出現了AI冬天(AI Winter)，這是計算機科學的一個黑暗時期，“人工智能”研究給組織和政府帶來沉沒成本。這種失敗使人工智能研究停滯了數十年。

到了1990年代，“AI”成了一個貶義詞，這種情況持續到2000年代。人們普遍認為“AI根本不能起作用”。編寫看似智能的程序的軟件公司會使用“搜索算法”、“業務規則引擎”、“約束求解器”和“運算研究”等術語。值得一提的是，這些有用的工具的確來自AI研究，但由于未能實現更宏偉的目標，它們被打上了非AI的標簽。

但在2010年前后，情況開始發生變化。人們對AI的興趣再次迅速增長，圖像分類競賽引起了媒體的大量關注。硅谷擁有大量的數據，這是第一次有足夠的數據足以使神經網絡變得有用。

到2015年，“AI”研究已成為許多財富500強企業的巨額預算去向，他們擔心自己會被自動化競爭對手甩在后面。畢竟，讓一個神經網絡來識別圖像中的物體真的令人印象深刻！對于外行來說，下一步肯定就是天網能力了。

但這真的是邁向真正的人工智能的一步嗎？或許歷史在重演，但這一次確實是受到了一些成功用例的鼓舞。

AI的定義不斷發展，經常與“神經網絡”聯系在一起

很長一段時間以來，我一直不喜歡“AI”這個詞。它是模糊而遙遠的，它更多的是由營銷人員而不是科學家定義的。當然，營銷和流行語對于刺激積極的變革和接受新思維是必要的。然而，流行語不可避免地會導致混淆。我的新智能手機有一個“人工智能鈴聲”(AI Ringtone)功能，可以動態地調節鈴聲音量，使其剛好超過環境噪音。我猜可以用一系列“if”語句或簡單的線性函數來編程的東西都被稱為“AI”。

鑒于此，“AI”的定義受到廣泛爭議或許就不足為奇了。我喜歡Geoffrey De Smet的定義，它指出AI解決方案是針對具有不確定性答案和/或不可避免的誤差范圍的問題。在這個定義下，AI包括大量的工具，從機器學習到概率到搜索算法。

也可以說，AI的定義在不斷發展，但只包括突破性的發展，而過去的成功(如光學字符識別或語言翻譯)不再被認為是“AI”。因此，“AI是一個相對的術語，而不是絕對的。

近年來，“AI”經常與“神經網絡”聯系在一起，這也是本文的重點。其他的“AI”解決方案，包括其他機器學習模型(樸素貝葉斯、支持向量機、XGBoost)，搜索算法，等等。然而，神經網絡可以說是目前最熱門、最經常被炒作的技術。

AI文藝復興？

2010年之后AI熱潮的復蘇，僅僅是因為AI掌握了一類新的任務：分類。更具體地說，是多虧了神經網絡，科學家們已經開發出有效的方法來對大多數類型的數據進行分類，包括圖像和自然語言。甚至自動駕駛汽車也屬于一種分類任務，其中周圍道路的每個圖像都可以轉化為一組獨立的動作(加油、剎車、左轉、右轉等)。

在我看來，自然語言處理比單純的分類更令人印象深刻。人們很容易相信這些算法是有感知能力的，但如果你仔細研究算法，就會發現它們依賴于語言模式，而不是依賴于有意識構建的思想。這些可以帶來一些有趣的結果。

Google Duplex可能是最令人印象深刻的自然語言處理技術，它能讓你的Android手機代替你打電話，甚至進行預約。但是，Google Duplex是僅僅為了完成這個任務而訓練、構造甚至硬編碼的“AI”。當然，Google Duplex打的電話聽起來很自然，有停頓，有“啊”和“嗯”……但是，這也是通過對語音模式的操作來實現的，而不是通過實際的推理和思考。

這一切都非常令人印象深刻，并且肯定有一些是有用的應用程序。但我們確實需要調整我們的期望值，停止炒作夸大“深度學習”能力。如果不這樣做，我們可能會發現我們進入了另一個“AI冬天”。

歷史總是在重演

康奈爾大學的Gary Marcus寫了一篇關于深度學習局限性的文章，并提出了幾個發人深省的觀點。Rodney Brooks也寫了一篇文章，整理了時間軸，并通過引用的研究跟蹤他對AI炒作周期的預測。

懷疑論者通常有幾個共同觀點。神經網絡需要大量的數據，即使在今天，數據也是有限的。這也是為什么你在YouTube上看到的“游戲”AI的例子經常需要幾天不斷的訓練，并且不斷地失敗，直到神經網絡找到一個讓它獲勝的模式。

神經網絡之所以“深”，是因為它們在技術上有很多層的節點，而不是因為它對問題的理解有多深刻。這些層也使得神經網絡難以理解，甚至對它的開發者來說也是如此。最重要的是，當神經網絡冒險進入其他問題空間(如旅行推銷員問題)時，它們的回報就會減少。這是有道理的。為什么我要用神經網絡來解決旅行推銷員的問題，明明搜索算法更加有效、可擴展而且成本低？當然，有些人希望將神經網絡推廣到更多問題空間，盡管這很有趣，但神經網絡在這些問題上似乎很少能勝過任何專門的算法。

正如MIT教授Luke Hewitt所說：

僅僅基于一項任務，憑直覺去了解一臺機器的智能范圍有多廣，或者它具備多少智能能力，這不是一個好主意。20世紀50年代的跳棋機器讓研究人員感到驚訝，許多人認為這是AI走向人類水平推理的巨大飛躍，但我們現在意識到，在這個游戲中達到人類水平或超越人類水平遠比實現人類水平的一般智能要容易得多。事實上，即使是最優秀的人也很容易被簡單的啟發式搜索算法打敗。在一項任務中達到或超越人類的表現，不一定是能夠在大多數任務中接近人類表現的墊腳石。

— Luke Hewitt

我認為同樣值得指出的是，神經網絡需要大量的硬件和能量才能進行訓練。我認為這不是可持續的。當然，神經網絡的預測效率要高得多。然而，我認為人們對神經網絡的期待使得它需要不斷的訓練，因此需要指數級的能量和成本。當然，計算機是越來越快了，但是芯片制造商能繼續維持摩爾定律嗎?

正是由于這些原因，我認為另一個AI冬天即將來臨。越來越多的專家站出來指出這些局限性。公司在爭奪“深度學習”和“人工智能”人才方面仍然不遺余力，但我認為許多公司會意識到深度學習并不是它們需要的，這只是時間問題。更糟糕的是，如果你的公司沒有谷歌那樣高的研究預算，沒有那么多的博士人才，或者沒有能夠從用戶那里收集到大量數據，你很快就會發現實際的“深度學習”前景非常有限。

每一個AI冬季來臨之前，科學家都會夸大它們的創造潛力。僅僅說他們的算法能很好地完成一項任務是不夠的。他們希望AI能適應任何任務，或者至少能給人留下這樣的印象。例如，AlphaZero是一種更好的國際象棋算法。媒體的反應是“天哪，通用AI來了。大家快跑！機器人來了！”而科學家們不是費心去糾正他們，而是鼓勵他們使用更聰明的詞語。畢竟，降低預期對VC融資沒有幫助。

下一步是什么？

當然，并不是每一家使用“機器學習”或“人工智能”的公司實際上都在使用“深度學習”。一位優秀的數據科學家可能被雇來構建一個神經網絡，但當他真正研究這個問題時，他會選擇構建一個更適合的樸素貝葉斯分類器。對于那些已經成功地使用圖像識別和語言處理的公司來說，他們將繼續愉快地這樣做。但我確實認為神經網絡不會在其他問題空間取得進展。

上一個AI冬天對計算機科學的發展是毀滅性的。值得指出的是，這樣的研究也產生了一些有用的東西，比如搜索算法，它可以有效地在國際象棋中獲勝，或者用最小的成本解決交通問題。簡單地說，創新的算法往往在某項特定任務上表現出色。

我想說的是，對于很多類型的問題，都有很多行之有效的解決方案。為了避免AI冬天，你能做的最好的事情就是把你試圖解決的問題具體化，并理解它的本質。在此之后，尋找為特定問題提供解決方案的直觀路徑。比如，如果要對文本消息進行分類，可能需要使用樸素貝葉斯。如果要優化交通網絡，可能應該使用離散優化。不管來自同行的壓力有多大，你都可以帶著適當的懷疑態度來處理復雜的模型，并質疑它是否是正確的方法。

希望這篇文章清楚地表明，深度學習對于大多數問題來說不是正確方法。不要為所有問題尋找一個通用AI解決方案，因為你找不到的。