這一點當(dāng)然是十分重要的，因為我們拿來訓(xùn)練模型的數(shù)據(jù)終究只是樣本空間的一個很小的采樣，如果只是過分專注于它們，就會出現(xiàn)所謂的“過擬合”（Over Fitting）的情況。當(dāng)然，如果過分罔顧訓(xùn)練數(shù)據(jù)，又會出現(xiàn)“欠擬合”（Under Fitting）。可以用一張圖來直觀地感受過擬合和欠擬合（如圖1所示，左為欠擬合，右為過擬合）。

圖1 欠擬合與過擬合

所以需要“張弛有度”，找到最好的那個平衡點。統(tǒng)計學(xué)習(xí)中的結(jié)構(gòu)風(fēng)險最小化（Structural Risk Minimization，SRM）就是研究這個的，它和傳統(tǒng)的經(jīng)驗風(fēng)險最小化（Empirical Risk Minimization，ERM）相比，注重于對風(fēng)險上界的最小化，而不是單純地使經(jīng)驗風(fēng)險最小化。它有一個原則：在使風(fēng)險上界最小的函數(shù)子集中挑選出使經(jīng)驗風(fēng)險最小的函數(shù)。而這個函數(shù)子集，正是我們之前提到過的假設(shè)空間。

注意：所謂經(jīng)驗風(fēng)險，可以理解為訓(xùn)練數(shù)據(jù)集上的風(fēng)險。相對應(yīng)的，ERM則可以理解為只注重訓(xùn)練數(shù)據(jù)集的學(xué)習(xí)方法，它的理論基礎(chǔ)是經(jīng)驗風(fēng)險在某種足夠合理的數(shù)學(xué)意義上一致收斂于期望風(fēng)險，亦即所謂的“真正的”風(fēng)險。

關(guān)于SRM和ERM的詳細(xì)討論會涉及諸如VC維和正則化的概念，這里不進行詳細(xì)展開，但需要有這么一個直觀的認(rèn)識：為了使我們學(xué)習(xí)方法訓(xùn)練出的模型泛化能力足夠好，需要對模型做出一定的“限制”，而這個“限制”就表現(xiàn)在假設(shè)空間的選取上。一個非常普遍的做法是對模型的復(fù)雜度做出一定的懲罰，從而使模型趨于精簡。這與所謂的“奧卡姆剃刀原理”不謀而合：“如無必要，勿增實體”“切勿浪費較多的東西去做，用較少的東西、同樣可以做好事情”。

相比起通過選取合適的假設(shè)空間來規(guī)避過擬合，進行交叉驗證（Cross Validation）則可以讓我們知道過擬合的程度，從而幫助我們選擇合適的模型。常見的交叉驗證有以下三種。

S-fold Cross Validation：中文可翻譯成S折交叉驗證，它是應(yīng)用最多的一種方法，其方法大致如下。

. 將數(shù)據(jù)分成S份：D={D_1,D_2,…,D_S}，一共做S次試驗。
. 在第i次試驗中，使用D-D_i作為訓(xùn)練集，D_i作為測試集對模型進行訓(xùn)練和評測。
. 最終選擇平均測試誤差最小的模型。

留一交叉驗證（Leave-one-out Cross Validation）：這是S折交叉驗證的特殊情況，此時S=N。

簡易交叉驗證：這種實現(xiàn)起來最簡單，也是本書（在進行交叉驗證時）所采用的方法。它簡單地將數(shù)據(jù)進行隨機分組，最后達到訓(xùn)練集約占原數(shù)據(jù)70%的程度（這個比例可以視情況改變），選擇模型時使用測試誤差作為標(biāo)準(zhǔn)。

機器學(xué)習(xí)的重要性

道理說了不少，但到底為什么要學(xué)機器學(xué)習(xí)，機器學(xué)習(xí)的重要性又在哪里呢？事實上，回顧歷史可以發(fā)現(xiàn)，人類的發(fā)展通常伴隨著簡單體力勞動向復(fù)雜腦力勞動的過渡。過去的工作基本上都有著明確的定義，告訴你這一步怎么做、下一步再怎么做。而如今這一類的工作已經(jīng)越來越少，取而代之的是更為寬泛模糊的、概念性的東西，比如說“將本季度的產(chǎn)品推向最合適的市場，在最大化期望利潤的同時，盡量做到風(fēng)險最小化”這種需求。想要完成好這樣的任務(wù)，需要獲取相應(yīng)的數(shù)據(jù)；雖說網(wǎng)絡(luò)的存在讓我們能夠得到數(shù)之不盡的數(shù)據(jù)，然而從這些數(shù)據(jù)中獲得信息與知識卻不是一項簡單的工作。我們當(dāng)然可以人工地、仔細(xì)地逐項甄選，但這樣顯然就又回到了最初的原點。機器學(xué)習(xí)這門技術(shù)，可以說正因此應(yīng)運而生。

單單抽象地說一大堆空話可能會讓人頭昏腦漲，我們就舉一舉機器學(xué)習(xí)具體的應(yīng)用范圍，從中大概能夠比較直觀地看出機器學(xué)習(xí)的強大與重要。

發(fā)展到如今，機器學(xué)習(xí)的“爪牙”可謂已經(jīng)伸展到了各個角落、包括但不限于：

機器視覺，也就是最近機器學(xué)習(xí)里很火熱的深度學(xué)習(xí)的一種應(yīng)用；

語音識別，也就是微軟Cortana背后的核心技術(shù)；

數(shù)據(jù)挖掘，也就是耳熟能詳?shù)拇髷?shù)據(jù)相關(guān)的領(lǐng)域；