作者：Matthew Mayo 翻譯：Andrewseu 網上有很多的深度學習的免費學習資源，但是可能會對從哪里開始有些困惑。七步內從對深度神經網絡的模糊理解到知識淵博的從業者（knowledgeable practitioner）！ 深度學習是機器學習的一個分支，擁有很多的相似性，但是卻也不同，深度神經網絡結構在自然語言處理、計算機視覺、生物信息學和其他領域解決了各種各樣的問題。深度學習經歷了一場巨大的最近研究的重現，并且在很多領域中已經展現出最先進的成果。 本質上，深度學習是超過一層隱藏神經元的神經網絡的執行。但是，這是對深度學習的一個簡單的看法，并且不是一個沒有爭議的觀點。這些深層構架也非常不同，對不同任務或目標優化會有不同的執行。在這樣一個恒定速率進行著的大量研究在以史上未有的速度展現新的和創新的深度學習模型。 最近的一個白熱化的研究課題，深度學習似乎影響著機器學習的所有領域，相關的還有數據科學。粗略看看相關arXiv目錄下最近的論文，很容易看出大量正在被發表的論文都是深度學習相關的。鑒于已經產生的令人驚嘆的成果，很多研究者，從業者和外行都在想深度學習是否是真正的人工智能的邊界。 這系列的閱讀材料和教程旨在給深度神經網絡的新人提供一條路徑去理解這個巨大而復雜的課題。盡管我不假設對神經網絡和深度學習真正的理解，但是我假設你對一般的機器學習理論和實踐具有某種程度的熟悉度。為了克服在一般機器學習理論和實踐的不足，你可以看看最近KDnuggets發布的7 Steps to Mastering Machine Learning With Python。由于我們也看用Python寫的例子的執行，對語言有些熟悉會很有用。介紹和綜述的資源在previodsly mentioned post也是提供的。 這篇博客將以緊密結合的順序使用網絡上免費提供的材料在理論層面上獲得對深度神經網絡的一些理解，然后繼續轉向一些實際的執行。同樣的，借鑒過來的引用材料只屬于創建者，跟資源會一起被標注。如果你看到有人因為他們的工作沒有被正確引用，請告知我，我會很快修改的。 一個完全誠實的免責申明：深度學習是一個復雜而在廣度和深度（pun unintended？）變化很快的領域，因此這篇博客不保證包括所有成為深度學習專家的手冊；這樣的一個轉化將會需要更多的時間，很多附加材料和很多實際建立和測試的模型。但是，我相信的是，使用這里的資源可以幫你在這樣一個路徑下開始。 第一步：介紹深度學習 如果你正在讀這個并且對這個課題感興趣，你可能已經對深度神經網絡已經熟悉，甚至在一個很基礎的層次。神經網絡有一個故事性的歷史，但是我們將不會深入。但是，我們需要如果在開始就有一個普遍高層次的理解。 首先，看看DeepLearning .tv精彩的介紹視頻。在 寫完這個的時候已經有14個視頻了；如果你喜歡看完他們，但是一定要看前五個，包含了神經網絡的基礎和一些更常見的結構。 然后，仔細閱讀Geoff Hinton，Yoshua Bengioh和Yann LeCun的NIPS 2015 Deep Learning Tutorial，一個稍微更低層次的介紹。 完成我們的第一步，讀the first chapter of Neural Networks and Deep Learning，這個由Michael Nielden寫的精妙的，不斷更新的在線書，這會更近一步但是依然很粗淺。 第二步：學習技術 深度神經網絡依賴代數和微積分的數學基礎。然而這篇博客不會產生任何理論上的數學，在繼續之前有一些理解將會很有幫助。 第一，看Andrew Ng的linear algebra review videos。但是不是絕對的必要，想要對線性代數了解更深的話，從Ng的斯坦福課程看看Zico Kolter 和Chuong Do寫的Linear Algebra Review and Reference. 然后看看Professor Leonard的Introduction to the Derivative of a Function. 視頻是很簡潔的，例子是很清晰的，并且提供了從數學的視角來看在反向傳播的過程中到底發生了什么。一會兒會更多。 接下來迅速瀏覽下維基Sigmoid function的詞條，一個在神經網絡中經常通過單個神經元應用的邊界差分函數。 最后，從數學上休息下閱讀谷歌研究科學家 Quoc Le的Deep Learning Tutorial. 第三步：反向傳播和梯度下降 神經網絡包括現代深度構架重要的一部分是反向傳播算法的錯誤，使用離輸入更近的神經元通過網絡更新權重。非常坦率的說，這就是神經網絡繼承他們”力量“（缺乏更好的術語）的地方。反向傳播和一個隨后分布式的最小化權重的優化方法，為了最小化損失函數。在深度學習中一個常見的優化方法是梯度下降。 首先，看看這些斯圖加特大學Marc Toussaint 寫的關于梯度下降的介紹筆記。 然后，看看Matt Mazur寫的this step by step example of backpropagation in action. 繼續，閱讀Jeremy Kun關于 coding backpropagation in Python的信息博客。仔細看看完整代碼也是建議的，嘗試自己寫一遍代碼。 最后，讀Quoc Le寫的Deep Learning Tutorial的第二部分，為了獲取一些更具體更常見的深度結構和他們用途的介紹。 第四步：實踐 具體的神經網絡結構的下一步介紹將會使用在現在研究中最流行的python深度學習庫包括實際執行。在一些情況下，一些不同的庫的優化是為了某個特定的神經網絡結構，并且已經在某些特定的領域立足，我們將會使用三個不同的深度學習庫。這不是多余的，在特定領域的實踐中與最新的庫保持一致時學習時很重要的一步。接下來的訓練也將會讓你自己評價不同的庫，并且形成一個在哪些問題上用哪個的直覺。 現在歡迎你選擇一個庫或者聯合庫進行安裝，是否繼續那些教程取決于你的選擇。如果你希望嘗試一個庫并且使用它來執行接下來步驟的教程，我會推薦TensorFlow,原因如下，我會提到最相關的（至少是在我的眼中）：它執行自動分化（autodifferentiation），意味著你不需要擔心從頭執行反向傳播，更可能使代碼更容易理解（尤其是對一個初學者來說）。 我寫關于TensorFlow的文章是在剛出來的時候TensorFlow Disappoints – Google Deep Learning Falls Shallow，這個標題暗示著比在實際中更失望；我最初關注的是它缺少GPU集叢的網絡訓練（很可能很快會有它自己的方式）.無論如何，如果你沒有看列在下面的白皮書但是想看更多關于TensotFlow的材料，我建議讀我原始的文章，然后跟著Zachary Lipton's 寫的很好的部分，TensorFlow is Terrific – A Sober Take on Deep Learning Acceleration. TensorFlow Google的TensorFlow是基于數據流圖展現的一個通用的機器i學習庫。 安裝TensorFlow在這里 查看白皮書 嘗試它的 文檔 Theano Theano是被蒙特利爾大學的LISA group積極開發的。 安裝Theano在這里 介紹教程 文檔 Caffe Caffe是由加州大學伯克利分校的BVLC開發的。Theano和Tensorflow可以認為是通用的深度學習庫，Caffe是由一個計算機視覺的組開發的，主要考慮的解決那樣的問題；但是，它也是一個通用的庫為了為不同領域建立不同的深度學習框架。 在這里安裝Caffe 閱讀來進行熟悉 同時看看文檔