我們現在所處的位置其實并不差。我們過去兩三年的進步都是在深度學習和強化學習領域。深度學習在處理語音、文本、圖像和視頻方面給我們帶來了了不起的能力。再加上強化學習，我們在游戲、自主車輛、機器人等方面都有了很大的進步。 我們正處于商業(yè)爆炸的最早階段，基于諸如通過聊天機器人與客戶互動來節(jié)省大量資金、個人助理和Alexa等新的個人便利應用、個人汽車中的二級自動化，比如自適應巡航控制、事故避免制動和車道維護。 Tensorflow、Keras和其他深度學習平臺比以往任何時候都更容易獲得，而且由于GPU的存在，比以往任何時候都更高效。 但是，已知的缺陷清單根本沒有解決：

需要太多標簽化的訓練數據。

模型的訓練時間太長或者需要太多昂貴的資源，而且還可能根本無法訓練。

超參數，尤其是圍繞節(jié)點和層的超參數，仍然是神秘的。自動化甚至是公認的經驗法則仍然遙不可及。

遷移學習，意味著只能從復雜到簡單，而不是從一個邏輯系統到另一個邏輯系統。

我相信我們可以列一個更長的清單。正是在解決這些主要的缺點方面，我們已經陷入了困境。

是什么阻止了我們

在深度神經網絡中，目前的傳統觀點是，只要我們不斷地推動，不斷地投資，那么這些不足就會被克服。例如，從80年代到00年代，我們知道如何讓深度神經網絡工作，只是我們沒有硬件。一旦趕上了，那么深度神經網絡結合新的開源精神，就會打開這個新的領域。 所有類型的研究都有自己的動力。特別是一旦你在一個特定的方向上投入了大量的時間和金錢，你就會一直朝著這個方向前進。如果你已經投入了多年的時間來發(fā)展這些技能的專業(yè)知識，你就不會傾向于跳槽。 改變方向，即使你不完全確定應該是什么方向。 有時候我們需要改變方向，即使我們不知道這個新方向到底是什么。最近，領先的加拿大和美國AI研究人員做到了這一點。他們認為他們被誤導了，需要從本質上重新開始。 這一見解在去年秋天被Geoffrey Hinton口頭表達出來，他在80年代末啟動神經網絡主旨研究的過程中功不可沒。Hinton現在是多倫多大學的名譽教授，也是谷歌的研究員，他說他現在 "深深地懷疑 "反向傳播，這是DNN的核心方法。觀察到人腦并不需要所有這些標簽數據來得出結論，Hinton說 "我的觀點是把這些數據全部扔掉，然后重新開始"。 因此，考慮到這一點，這里是一個簡短的調查，這些新方向介于確定可以實現和幾乎不可能實現之間，但不是我們所知道的深度神經網的增量改進。 這些描述有意簡短，無疑會引導你進一步閱讀以充分理解它們。

看起來像DNN卻不是的東西

有一條研究路線與Hinton的反向傳播密切相關，即認為節(jié)點和層的基本結構是有用的，但連接和計算方法需要大幅修改。

我們從Hinton自己目前新的研究方向——CapsNet開始說起是很合適的。這與卷積神經網絡的圖像分類有關，問題簡單來說，就是卷積神經網絡對物體的姿勢不敏感。也就是說，如果要識別同一個物體，在位置、大小、方向、變形、速度、反射率、色調、紋理等方面存在差異，那么必須針對這些情況分別添加訓練數據。 在卷積神經網絡中，通過大量增加訓練數據和（或）增加最大池化層來處理這個問題，這些層可以泛化，但只是損失實際信息。 下面的描述是眾多優(yōu)秀的CapsNets技術描述之一，該描述來自Hackernoon。

Capsule是一組嵌套的神經層。在普通的神經網絡中，你會不斷地添加更多的層。在CapsNet中，你會在一個單層內增加更多的層。或者換句話說，把一個神經層嵌套在另一個神經層里面。capsule里面的神經元的狀態(tài)就能捕捉到圖像里面一個實體的上述屬性。一個膠囊輸出一個向量來代表實體的存在。向量的方向代表實體的屬性。該向量被發(fā)送到神經網絡中所有可能的父代。預測向量是基于自身權重和權重矩陣相乘計算的。哪個父代的標量預測向量乘積最大，哪個父代就會增加膠囊的結合度。其余的父代則降低其結合度。這種通過協議的路由方式優(yōu)于目前的max-pooling等機制。

CapsNet極大地減少了所需的訓練集，并在早期測試中顯示出卓越的圖像分類性能。

多粒度級聯森林

2月份，我們介紹了南京大學新型軟件技術國家重點實驗室的周志華和馮霽的研究，展示了他們稱之為多粒度級聯森林的技術。他們的研究論文顯示，多粒度級聯森林在文本和圖像分類上都經常擊敗卷積神經網絡和循環(huán)神經網絡。效益相當顯著。

只需要訓練數據的一小部分。

在您的桌面CPU設備上運行，無需GPU。

訓練速度一樣快，在許多情況下甚至更快，適合分布式處理。

超參數少得多，在默認設置下表現良好。

依靠容易理解的隨機森林，而不是完全不透明的深度神經網。

簡而言之，gcForest（多粒度級聯森林）是一種決策樹集合方法，其中保留了深網的級聯結構，但不透明的邊緣和節(jié)點神經元被隨機森林組與完全隨機的樹林配對取代。在我們的原文中閱讀更多關于gcForest的內容。

Pyro and Edward

Pyro和Edward是兩種新的編程語言，它們融合了深度學習框架和概率編程。Pyro是Uber和Google的作品，而Edward則來自哥倫比亞大學，由DARPA提供資金。其結果是一個框架，允許深度學習系統衡量他們對預測或決策的信心。 在經典的預測分析中，我們可能會通過使用對數損失作為健身函數來處理這個問題，懲罰有信心但錯誤的預測（假陽性）。到目前為止，還沒有用于深度學習的必然結果。 例如，這有望使用的地方是在自動駕駛汽車或飛機中，允許控制在做出關鍵或致命的災難性決定之前有一些信心或懷疑感。這當然是你希望你的自主Uber在你上車之前就知道的事情。 Pyro和Edward都處于開發(fā)的早期階段。

不像深網的方法

我經常會遇到一些小公司，他們的平臺核心是非常不尋常的算法。在我追問的大多數案例中，他們都不愿意提供足夠的細節(jié)，甚至讓我為你描述里面的情況。這種保密并不能使他們的效用失效，但是在他們提供一些基準和一些細節(jié)之前，我無法真正告訴你里面發(fā)生了什么。當他們最終揭開面紗的時候，就把這些當作我們未來的工作臺吧。 目前，我所調查的最先進的非DNN算法和平臺是這樣的。

層次時間記憶(HTM)

層次時間記憶（HTM）使用稀疏分布式表示法（SDR）對大腦中的神經元進行建模，并進行計算，在標量預測（商品、能源或股票價格等未來值）和異常檢測方面優(yōu)于CNN和RNN。 這是Palm Pilot名宿Jeff Hawkins在其公司Numenta的奉獻作品。霍金斯在對大腦功能進行基礎研究的基礎上，追求的是一種強大的人工智能模型，而不是像DNN那樣用層和節(jié)點來結構。 HTM的特點是，它發(fā)現模式的速度非常快，只需1,000次觀測。這與訓練CNN或RNN所需的幾十萬或幾百萬次的觀測相比，簡直是天壤之別。 此外，模式識別是無監(jiān)督的，并且可以根據輸入的變化來識別和概括模式的變化。這使得系統不僅訓練速度非常快，而且具有自學習、自適應性，不會被數據變化或噪聲所迷惑。

一些值得注意的漸進式改進

我們開始關注真正的游戲改變者，但至少有兩個漸進式改進的例子值得一提。這些顯然仍然是經典的CNN和RNNs，具有反向支撐的元素，但它們工作得更好

使用Google Cloud AutoML進行網絡修剪 谷歌和Nvidia的研究人員使用了一種名為網絡修剪的過程，通過去除對輸出沒有直接貢獻的神經元，讓神經網絡變得更小，運行效率更高。這一進步最近被推出，作為谷歌新的AutoML平臺性能的重大改進。

Transformer

Transformer是一種新穎的方法，最初在語言處理中很有用，比如語言到語言的翻譯，這一直是CNNs、RNNs和LSTMs的領域。去年夏末由谷歌大腦和多倫多大學的研究人員發(fā)布，它在各種測試中都表現出了顯著的準確性改進，包括這個英語/德語翻譯測試。 RNNs的順序性使其更難充分利用現代快速計算設備（如GPU），因為GPU擅長的是并行而非順序處理。CNN比RNN的順序性要差得多，但在CNN架構中，隨著距離的增加，將輸入的遠端部分的信息組合起來所需的步驟數仍然會增加。 準確率的突破來自于 "自注意功能 "的開發(fā)，它將步驟大幅減少到一個小的、恒定的步驟數。在每一個步驟中，它都應用了一種自我關注機制，直接對一句話中所有詞之間的關系進行建模，而不管它們各自的位置如何。 就像VC說的那樣，也許是時候該換換口味了。

編輯：黃飛