神經網絡工具的突發展
隨著黑客、學生、研究人員以及企業數量的增加，神經網絡越來越流行。最近一次復蘇是在80、90年代，當時幾乎沒有網絡，也沒有神經網絡相關的工具。本次復蘇始于2006年左右。從一個黑客的角度來看，在那個時候都有哪些可用的工具和資源？現在又有哪些？我們對將來的期望又是怎么樣的呢？對我個人來說，樹莓派上的GPU正是我所期盼的。
80、90年代
閱讀本文的年輕人可能想知道，在互聯網沒有發明之前，我們這些老家伙是如何接觸到新知識的。其實，紙質雜志在當時起到了相當大的作用。比如，《科學美國人》雜志在1992年9月的心靈與大腦特刊便讓我第一次接觸到了神經網絡，既是在生物學上，也是在人工智能學上。
在當時，你既可以自己從頭編寫神經網絡程序，也可以從其他地方訂購一套包含源代碼的軟盤。我就曾經在《科學美國人》雜志的《美國科學家》專欄訂購了這么一套軟盤。當然，你也可以購買一套能夠開發低級別的、復雜的數學神經網絡開發庫。比如，在多倫多大學，就有一個名叫Xerion的免費的模擬器。
如果你經常關注書店里科學類書刊的話，你有時候也會發現這方面的書籍，最經典的就是曾經出版過兩卷的《并行分布式處理探索》，作者是Rumelhart、 McClelland等人。我最喜歡的一本書是《神經計算與自組織映射導論》，如果你對利用神經網絡來控制機械臂感興趣，這本書對你來說將會受益匪淺。
當然，你也可以參加一些短期的課程和會議。我在1994年曾經參加了一個為期兩天的免費會議，這個會議最早是由Geoffrey Hinton主辦的，后來改由多倫多大學主辦。這個會議無論是在當時，還是在現在，都是神經網絡領域的領導者。當時被譽為最好的年度會議是神經信息處理系統會議，它在當今仍然很受歡迎。
最后，我把為了發布論文而開發的神經網絡程序整理了一遍。同時，我把所有的會議論文、課程講義、復印的文章和手寫的筆記統統摞了起來，足足達到了3英尺厚。
神經網絡在經歷了80、90年代的復蘇后，又逐漸變得相對低調起來。從整個世界來看，除了對于個別研究團隊，它已經變得不再重要。伴隨著緩慢的改進以及一些小小的突破，神經網絡始終保持著很低調。直到大概2006年左右，它又在世界范圍內引發了一場大爆炸。
現在
現在我們來看一下神經網絡工具得到重大突破的一些地方：
超過了三層甚至四層深度的新的訓練網絡技術，稱之為深層神經網絡
通過使用GPU（圖像處理單元）來加速訓練
包含大量樣本的訓練數據的有效性
神經網絡框架
現在有非常多的神經網絡框架，他們使用了各種不同的授權協議，允許用戶免費下載。其中很多還是開源框架。大部分的流行框架允許你在GPU上運行神經網絡，并且支持大多數的神經網絡算法。
下文將介紹一些流行的框架，他們都支持GPU，除了模糊神經網絡。
TensorFlow是Google公司推出的最新的神經網絡框架，它專門為分布式而設計。作為一個底層框架，雖然有著非常大的靈活性，但是也比高級框架（例如Keras和TFLearn，下文會有介紹）擁有更陡的學習曲線。目前，Google正在開發Keras集成在TensorFlow中的版本。
推薦Hackaday網站上的兩篇文章“能識別錘子和啤酒瓶的機器人”和“TensorFlow入門”一睹TensorFlow的風采。
開發語言：Python
這是一款用來做多維矩陣高效數值計算的開源庫。它出自蒙特利爾大學，可運行在Windows、Linux和OS X上。Theano發布于2009年，已經存在了很長時間。
開發語言：命令行， Python， MATLAB
Caffe是一款由伯克利人工智能研究所和社區貢獻者共同開發的開源庫。在Caffe中，你可以使用文本文件來定義模型，然后通過命令行工具來進行處理。Caffe同時也有Python和MATLAB接口。例如，首先使用文本文件定義模型，然后在另外一個文本文件中給出詳細的訓練方法，然后通過命令行工具讀入這兩個文件，這樣就能開始訓練神經網絡了。最后，你可以使用Python程序來調用這個已經訓練好的神經網絡來實現一些功能了，比如說把圖片進行分類。
開發語言：Python， C++， C#
這是微軟的認知開發包（CNTK），可運行在Windows和Linux上。微軟目前正在開發一個內部使用Keras的版本。
開發語言：Python
這個庫以TensorFlow或者Theano作為底層，這樣可以使其用起來更加簡單。Keras同時也有支持CNTK的計劃。目前，把Keras融入到TensorFlow的工作正在進行中，而以后就會出現一個僅支持TensorFlow的獨立的版本。
開發語言：Python
跟Keras一樣，是一個基于TensorFlow的高級別的庫。
開發語言：支持超過15種語言，但不支持GPU
這是一個使用C語言開發的高級別的開源庫，僅可用于完全連接和稀疏連接的神經網絡。然而，FANN卻已經流行了很多年，甚至已經包含在一些Linux發行版中。Hackaday最近的一篇“通過強化學習來讓機器人學習走路”中提到了關于FANN的使用。
開發語言：Lua
一款使用C語言開發的開源庫。特別要注意的一點，在Rorch官網上特別注明了該框架支持嵌入式設備，例如iOS、Android和FPGA。
開發語言：Python
PyTorch相對來說還是比較新的，在其官網上注明了目前還屬于早起的測試版，但似乎現在已經吸引了很多人的目光。它運行在Linux和OS X上，并以Torch作為底層。
你應該選擇哪一個框架呢？除編程語言或者操作系統對你來說是影響選擇的一個大問題，如果你覺得數學太難，或者不想深入地挖掘神經網絡的細節，那么盡量選擇一個高級的框架吧。在這種情況下，請遠離TensorFlow，因為相對于Kera、TFLearn或者其他高級框架，你必須去學習更多的API函數。該框架在強調自身具有強大數學功能的同時，也需要你去花費更多的精力來創建神經網絡。另外一個影響你選擇框架的因素是你是否需要做基礎研究，一個高級框架可能不會讓你能接觸到內部邏輯。
在線服務
你是否正在尋找一種可用的神經網絡庫，但你又不想花費太多的時間去學習呢？這里有一些互聯網在線服務可以滿足你的要求。
我們已經看到了無數使用亞馬遜Alexa語音識別服務的例子。Google也提供了包括視覺和語音的云機器學習服務。這方面的例子有：使用樹莓派來對糖果進行排序，以及識別人類的表情。Wekinator是一款針對藝術家和音樂家的軟件，它可用于訓練神經網絡，可以讓人們用手勢來控制屋內的電器的開關。當然了，微軟也有自己的認知服務API，包括視覺、語音、語言等多個方面。
GPU和TPU
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%