“機(jī)器學(xué)習(xí)”在最近雖可能不至于到人盡皆知的程度、卻也是非常火熱的詞匯。機(jī)器學(xué)習(xí)是英文單詞“Machine Learning”（簡稱ML）的直譯，從字面上便說明了這門技術(shù)是讓機(jī)器進(jìn)行“學(xué)習(xí)”的技術(shù)。然而我們知道機(jī)器終究是死的，所謂的“學(xué)習(xí)”歸根結(jié)底亦只是人類“賦予”機(jī)器的一系列運算。這個“賦予”的過程可以有很多種實現(xiàn)，而 Python 正是其中相對容易上手、同時性能又相當(dāng)不錯的一門語言。作為綜述，我們只打算談?wù)剻C(jī)器學(xué)習(xí)相關(guān)的一些比較寬泛的知識，介紹與說明為何要使用 Python 來作為機(jī)器學(xué)習(xí)的工具的工作則交給下一篇文章來做。而在最后，我們會提供一個簡短易懂的、具有實際意義的例子來給大家提供一個直觀的感受。

目錄：

人生苦短，我用 Python

第一個機(jī)器學(xué)習(xí)樣例

“緒論”小結(jié)

什么是機(jī)器學(xué)習(xí)？

正如前面所說，由于近期的各種最新成果、使得“機(jī)器學(xué)習(xí)”成為了非常熱門的詞匯。機(jī)器學(xué)習(xí)在各種鄰域的優(yōu)異表現(xiàn)（圍棋界的Master是其中最具代表性的存在），使得各行各業(yè)的人們都或多或少對機(jī)器學(xué)習(xí)產(chǎn)生了興趣與敬畏。然而與此同時，對機(jī)器學(xué)習(xí)有所誤解的群體也日益壯大；他們或?qū)C(jī)器學(xué)習(xí)想得過于神秘、或?qū)⑺氲眠^于萬能。然而事實上，清晨的一句“今天天氣真好”、朋友之間的寒暄“你剛剛是去吃飯了吧”、考試過后的感嘆“復(fù)習(xí)了那么久終有收獲”……這些日常生活中隨處可見的話語，其背后卻已蘊(yùn)含了“學(xué)習(xí)”的思想——它們都是利用以往的經(jīng)驗、對未知的新情況做出的有效的決策。而把這個決策的過程交給計算機(jī)來做、可以說就是“機(jī)器學(xué)習(xí)”的一個最淺白的定義。

我們或許可以先說說機(jī)器學(xué)習(xí)與以往的計算機(jī)工作樣式有什么不同。傳統(tǒng)的計算機(jī)如果想要得到某個結(jié)果、需要人類賦予它一串實打?qū)嵉闹噶睿缓笥嬎銠C(jī)就根據(jù)這串指令一步步地執(zhí)行下去。這個過程中的因果關(guān)系非常明確，只要人類的理解不出偏差、運行結(jié)果是可以準(zhǔn)確預(yù)測的。但是在機(jī)器學(xué)習(xí)中，這一傳統(tǒng)樣式被打破了：計算機(jī)確實仍然需要人類賦予它一串指令，但這串指令往往不能直接得到結(jié)果；相反，它是一串賦予了機(jī)器“學(xué)習(xí)能力”的指令。在此基礎(chǔ)上，計算機(jī)需要進(jìn)一步地接受“數(shù)據(jù)”并根據(jù)之前人類賦予它的“學(xué)習(xí)能力”從中“學(xué)習(xí)”出最終的結(jié)果，這個結(jié)果往往是無法僅僅通過直接編程得出的。是故這里就導(dǎo)出了稍微深一點的機(jī)器學(xué)習(xí)的定義：它是一種讓計算機(jī)利用數(shù)據(jù)而非指令來進(jìn)行各種工作的方法。在這背后，最關(guān)鍵的就是“統(tǒng)計”的思想，它所推崇的“相關(guān)而非因果”的概念是機(jī)器學(xué)習(xí)的理論根基。在此基礎(chǔ)上，機(jī)器學(xué)習(xí)可以說是計算機(jī)使用輸入給它的數(shù)據(jù)、利用人類賦予它的算法得到某種模型的過程，其最終的目的則是使用該模型、預(yù)測未來未知數(shù)據(jù)的信息。

既然提到了統(tǒng)計，那么一定的數(shù)學(xué)理論就不可或缺。相關(guān)的、比較簡短的定義會在第四章給出（PAC框架），這里我們就先只敘述一下機(jī)器學(xué)習(xí)在統(tǒng)計理論下的、比較深刻的本質(zhì)：它追求的是合理的假設(shè)空間（Hypothesis Space）的選取和模型的泛化。（Generalization）能力。該句中出現(xiàn)了一些專用術(shù)語，詳細(xì)的定義會在介紹術(shù)語時提及，這里我們提供一個直觀：

所謂假設(shè)空間，就是我們的模型在數(shù)學(xué)上的“適用場合”

所謂的泛化能力，就是我們的模型在未知數(shù)據(jù)上的表現(xiàn)

注意：上述本質(zhì)嚴(yán)格來說應(yīng)該是 PAC Learning 的本質(zhì)；在其余的理論框架下、機(jī)器學(xué)習(xí)是可以具有不同的內(nèi)核的。

從上面的討論可以看出，機(jī)器學(xué)習(xí)和人類思考的過程有或多或少的類似。事實上，我們在第六、第七章講的神經(jīng)網(wǎng)絡(luò)（Neural Network，簡稱 NN）和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡稱 CNN）背后確實有著相應(yīng)的神經(jīng)科學(xué)的理論背景。然而與此同時我們需要知道的是，機(jī)器學(xué)習(xí)并非是一個“會學(xué)習(xí)的機(jī)器人”和“具有學(xué)習(xí)的人造人”之類的，這一點從上面諸多討論也可以明晰（慚愧的是，我在第一次聽到“機(jī)器學(xué)習(xí)”四個字時，腦海中浮現(xiàn)的正是一個“聰明的機(jī)器人”的圖像，甚至還幻想過它和人類一起生活的場景）。相反的，它是被人類利用的、用于發(fā)掘數(shù)據(jù)背后信息的工具。

當(dāng)然，現(xiàn)在也不乏“危險的人工智能”的說法，霍金大概是其中的“標(biāo)桿”，這位偉大的英國理論物理學(xué)家甚至警告說“人工智能的發(fā)展可能意味著人類的滅亡”。孰好孰壞果然還是見仁見智，但可以肯定的是：本書所介紹的內(nèi)容絕不至于導(dǎo)致世界的毀滅，大家大可輕松愉快地進(jìn)行接下來的閱讀 ( σ’ω’)σ。

機(jī)器學(xué)習(xí)常用術(shù)語

機(jī)器學(xué)習(xí)領(lǐng)域有著許多非常基本的術(shù)語，這些術(shù)語在外人聽來可能相當(dāng)高深莫測、它們事實上也可能擁有非常復(fù)雜的數(shù)學(xué)背景，但我們需要知道：它們往往也擁有著相對淺顯平凡的直觀理解（上一節(jié)的假設(shè)空間和泛化能力就是兩個例子）。本節(jié)會對這些常用的基本術(shù)語進(jìn)行說明與解釋，它們背后的數(shù)學(xué)理論會有所闡述、但不會涉及到過于本質(zhì)的東西。

正如前文反復(fù)強(qiáng)調(diào)的，數(shù)據(jù)在機(jī)器學(xué)習(xí)中發(fā)揮著不可或缺的作用；而用于描述數(shù)據(jù)的術(shù)語有好幾個，它們是需要被牢牢記住的：

“數(shù)據(jù)集”（Data Set）：就是數(shù)據(jù)的集合的意思。其中，每一條單獨的數(shù)據(jù)被稱為“樣本”（Sample）。若沒有進(jìn)行特殊說明，本書都會假設(shè)數(shù)據(jù)集中樣本之間在各種意義下相互獨立。事實上，除了某些特殊的模型（如隱馬爾可夫模型和條件隨機(jī)場），該假設(shè)在大多數(shù)場景下都是相當(dāng)合理的。

對于每個樣本，它通常具有一些“屬性”（Attribute）或說“特征”（Feature），特征所具體取的值就被稱為“特征值”（Feature Value）。

特征和樣本所張成的空間被稱為“特征空間”（Feature Space）和“樣本空間”（Sample Space），可以把它們簡單地理解為特征和樣本“可能存在的空間”。

相對應(yīng)的，我們有“標(biāo)簽空間”（Label Space），它描述了模型的輸出“可能存在的空間”；當(dāng)模型是分類器時、我們通常會稱之為“類別空間”。

其中、數(shù)據(jù)集又可以分為以下三類：

訓(xùn)練集（Training Set）；顧名思義、它是總的數(shù)據(jù)集中用來訓(xùn)練我們模型的部分。雖說將所有數(shù)據(jù)集都拿來當(dāng)做訓(xùn)練集也無不可，不過為了提高及合理評估模型的泛化能力、我們通常只會取數(shù)據(jù)集中的一部分來當(dāng)訓(xùn)練集。

測試集（Test Set）；顧名思義、它是用來測試、評估模型泛化能力的部分。測試集不會用在模型的訓(xùn)練部分；換句話說，測試集相對于模型而言是“未知”的、所以拿它來評估模型的泛化能力是相當(dāng)合理的。

交叉驗證集（Cross-Validation Set，簡稱 CV Set）；這是比較特殊的一部分?jǐn)?shù)據(jù)，它是用來調(diào)整模型具體參數(shù)的。

注意：需要指出的是，獲取數(shù)據(jù)集這個過程是不平凡的；尤其是當(dāng)今“大數(shù)據(jù)”如日中天的情景下，諸如“得數(shù)據(jù)者得天下”的說法也不算誑語。在此我推薦一個非常著名的、含有大量真實數(shù)據(jù)集的網(wǎng)站——UCI，接下來的篇章中也常常會用到其中一些合適的數(shù)據(jù)集來評估我們自己實現(xiàn)的模型。

我們可以通過具體的例子來理解上述概念。比如、我們假設(shè)小明是一個在北京讀了一年書的學(xué)生，某天他想通過宿舍窗外的風(fēng)景（能見度、溫度、濕度、路人戴口罩的情況等）來判斷當(dāng)天的霧霾情況并據(jù)此決定是否戴口罩。此時，他過去一年的經(jīng)驗就是他擁有的數(shù)據(jù)集，過去一年中每一天的情況就是一個樣本。“能見度”、“溫度”、“濕度”、“路人戴口罩的情況”就是四個特征，而（能見度）“低”、（溫度）“低”、（濕度）“高”、（路人戴口罩的）“多”就是相對應(yīng)的特征值。現(xiàn)在小明想了想、決定在腦中建立一個模型來幫自己做決策，該模型將利用過去一年的數(shù)據(jù)集來對如今的情況作出“是否戴口罩”的決策。此時小明可以用過去一年中 8 個月的數(shù)據(jù)量來做訓(xùn)練集、2 個月的量來做測試集、2 個月的量來做交叉驗證集，那么小明就需要不斷地思考（訓(xùn)練模型）：

用訓(xùn)練集訓(xùn)練出的模型是怎樣的？

該模型在交叉驗證集上的表現(xiàn)怎么樣？

如果足夠好了，那么思考結(jié)束（得到最終模型）

如果不夠好，那么根據(jù)模型在交叉驗證集上的表現(xiàn)、重新思考（調(diào)整模型參數(shù)）

最后，小明可能會在測試集上評估一下自己剛剛思考后得到的模型的性能、然后根據(jù)這個性能和模型作出的“是否戴口罩”的決策來綜合考慮自己到底戴不戴口罩。 接下來說明一下上一節(jié)中提到過的重要概念：假設(shè)空間與泛化能力。泛化能力的含義在上文也有說明，為強(qiáng)調(diào)、這里再敘述一遍：

泛化能力針對的其實是學(xué)習(xí)方法，它用于衡量該學(xué)習(xí)方法學(xué)習(xí)到的模型在整個樣本空間上的表現(xiàn)。

這一點當(dāng)然是十分重要的，因為我們拿來訓(xùn)練我們模型的數(shù)據(jù)終究只是樣本空間的一個很小的采樣，如果只是過分專注于它們的話、就會出現(xiàn)所謂的“過擬合”（Over Fitting）的情況。當(dāng)然，如果過分罔顧訓(xùn)練數(shù)據(jù)，又會出現(xiàn)“欠擬合”（Under Fitting）。我們可以用一張圖來直觀感受過擬合和欠擬合（如下圖所示，左為欠擬合、右為過擬合）：

欠擬合與過擬合

所以我們需要“張弛有度”、找到最好的那個平衡點。統(tǒng)計學(xué)習(xí)中的結(jié)構(gòu)風(fēng)險最小化（Structural Risk Minimization、簡稱 SRM）就是研究這個的，它和傳統(tǒng)的經(jīng)驗風(fēng)險最小化（Empirical Risk Minimization、簡稱 ERM）相比，注重于對風(fēng)險上界的最小化、而不是單純使經(jīng)驗風(fēng)險最小化。它有一個原則：在使得風(fēng)險上界最小的函數(shù)子集中、挑選出使得經(jīng)驗風(fēng)險最小的函數(shù)。而這個函數(shù)子集，正是我們之前提到過的假設(shè)空間

注意：所謂經(jīng)驗風(fēng)險，可以理解為訓(xùn)練數(shù)據(jù)集上的風(fēng)險。相對應(yīng)的，ERM 則可以理解為只注重訓(xùn)練數(shù)據(jù)集的學(xué)習(xí)方法，它的理論基礎(chǔ)是經(jīng)驗風(fēng)險在某種足夠合理的數(shù)學(xué)意義上一致收斂于期望風(fēng)險、亦即所謂的“真正的”風(fēng)險。

關(guān)于 SRM 和 ERM 的詳細(xì)討論會涉及到諸如 VC 維和正則化的概念，這里不進(jìn)行詳細(xì)展開、但我們需要有這么一個直觀：為了使我們學(xué)習(xí)方法訓(xùn)練出的模型泛化能力足夠好，我們需要對我們的模型做出一定的“限制”、而這個“限制”就表現(xiàn)在假設(shè)空間的選取上。一個非常普遍的做法是對模型的復(fù)雜度做出一定的懲罰、從而使模型趨于精簡。這與所謂的“奧卡姆剃刀原理”（奧卡姆：我的剃刀還能再戰(zhàn) 500 年）不謀而合：“如無必要，勿增實體”“切勿浪費較多的東西去做，用較少的東西、同樣可以做好事情”

相比起通過選取合適的假設(shè)空間來規(guī)避過擬合，進(jìn)行交叉驗證（Cross Validation）則可以讓我們知道過擬合的程度、從而幫助我們選擇合適的模型。常見的交叉驗證有三種：

S-fold Cross Validation：中文可翻譯成S折交叉驗證，它是應(yīng)用最多的一種方法。其方法大致如下：

將數(shù)據(jù)分成 S 份：D={D1,D2,...,DS}、一共作 S 次試驗

在第 i 次試驗中，使用作為（D?Di）訓(xùn)練集、Di作為測試集對模型進(jìn)行訓(xùn)練、評測

最終選擇平均測試誤差最小的模型

留一交叉驗證（Leave-one-out Cross Validation）：這是S折交叉驗證的特殊情況，此時S=N

簡易交叉驗證：這種實現(xiàn)起來最簡單、也是本博客（在進(jìn)行交叉驗證時）所采用的方法。它簡單地將數(shù)據(jù)進(jìn)行隨機(jī)分組、最后達(dá)到訓(xùn)練集約占原數(shù)據(jù)的 70% 的程度（這個比率可以視情況改變），選擇模型時使用測試誤差作為標(biāo)準(zhǔn)。

機(jī)器學(xué)習(xí)的重要性

道理說了不少，但到底為什么要學(xué)機(jī)器學(xué)習(xí)、機(jī)器學(xué)習(xí)的重要性又在哪里呢？事實上，回顧歷史我們可以發(fā)現(xiàn)，人類的發(fā)展通常伴隨著簡單體力勞動向復(fù)雜腦力勞動的過渡。過去的工作基本都有著明確的定義，告訴你這一步怎么做、下一步再怎么做。而如今這一類的工作已是越來越少，取而代之的是更為寬泛模糊的、概念性的東西，比如說“將本季度的產(chǎn)品推向最合適的市場，在最大化期望利潤的同時、盡量做到風(fēng)險最小化”這種需求。想要做好這樣的任務(wù)，我們需要獲取相應(yīng)的數(shù)據(jù)；雖說網(wǎng)絡(luò)的存在讓我們能夠得到數(shù)之不盡的數(shù)據(jù)，然而從這些數(shù)據(jù)中獲得信息與知識卻不是一項平凡的工作。我們當(dāng)然可以人工地、仔細(xì)地逐項甄選，但這樣顯然就又回到了最初的原點。機(jī)器學(xué)習(xí)這門技術(shù)，可以說正因此應(yīng)運而生

單單抽象地說一大堆空話可能會讓人頭暈?zāi)X脹，我們就舉一舉機(jī)器學(xué)習(xí)具體的應(yīng)用范圍吧，從中大概能夠比較直觀地看出機(jī)器學(xué)習(xí)的強(qiáng)大與重要。發(fā)展到如今，機(jī)器學(xué)習(xí)的“爪牙”可謂已經(jīng)伸展到了各個角落、包括但不限于：

機(jī)器視覺、也就是最近機(jī)器學(xué)習(xí)里很火熱的深度學(xué)習(xí)的一種應(yīng)用

語音識別、也就是微軟 Cortana 背后的核心技術(shù)

數(shù)據(jù)挖掘、也就是耳熟能詳?shù)拇髷?shù)據(jù)相關(guān)的領(lǐng)域

統(tǒng)計學(xué)習(xí)、也就是本書講解的主要范圍之一，有許許多多著名的算法（比如支持向量機(jī) SVM）都源于統(tǒng)計學(xué)習(xí)（但是統(tǒng)計學(xué)習(xí)還是和機(jī)器學(xué)習(xí)有著區(qū)別；簡單地說，統(tǒng)計學(xué)習(xí)偏數(shù)學(xué)而機(jī)器學(xué)習(xí)偏實踐）

機(jī)器學(xué)習(xí)還能夠進(jìn)行模式識別、自然語言處理等等，之前提過的圍棋界的 Master 和最新人工智能在德州撲克上的表現(xiàn)亦無不呈現(xiàn)著機(jī)器學(xué)習(xí)強(qiáng)大的潛力。一言以蔽之，機(jī)器學(xué)習(xí)是當(dāng)今的熱點，雖說不能保證它的熱度能 100% 地一直延續(xù)下去，至少本人認(rèn)為、它能在相當(dāng)長的一段時間內(nèi)保持強(qiáng)大的生命力。