本文介紹了如何訓練這些神經網絡來解決問題。

　　神經網絡的訓練過程

　　本系列第一部分將討論的CIFAR網絡由不同層的神經元組成，如圖1所示。來自 32 像素× 32 像素的圖像數據被呈現給網絡并通過網絡層。CNN的第一步是檢測和研究要區分的對象的獨特特征和結構。為此使用過濾器矩陣。一旦設計人員對CIFAR等神經網絡進行了建模，這些濾波器矩陣最初仍未確定，并且此階段的網絡仍然無法檢測模式和對象。

　　為此，首先需要確定矩陣的所有參數和元素，以最大限度地提高檢測對象的精度或最小化損失函數。這個過程被稱為神經網絡訓練。對于本系列第一部分所述的常見應用程序，網絡在開發和測試期間進行一次訓練。之后，它們就可以使用了，不再需要調整參數。如果系統正在對熟悉的對象進行分類，則無需進行額外培訓。只有當系統需要對全新的對象進行分類時，才需要進行訓練。

　　訓練網絡需要訓練數據，然后使用一組類似的數據來測試網絡的準確性。例如，在我們的 CIFAR-10 網絡數據集中，數據是十個對象類別中的一組圖像：飛機、汽車、鳥、貓、鹿、狗、青蛙、馬、船和卡車。然而，這是人工智能應用程序整體開發中最復雜的部分，在訓練CNN之前，必須對這些圖像進行命名。本文將討論的訓練過程根據反向傳播原理工作;網絡連續顯示大量圖像，每次同時傳達一個目標值。在我們的示例中，此值是關聯的對象類。每次顯示圖像時，都會優化篩選器矩陣，以便對象類的目標值和實際值匹配。完成此過程后，網絡還可以檢測圖像中在訓練期間未看到的對象。

　　2.由前饋和反向傳播組成的訓練循環。

　　過擬合和欠擬合

　　在神經網絡建模中，經常會出現關于神經網絡應該有多復雜的問題，即它應該有多少層，或者它的濾波器矩陣應該有多大。這個問題沒有簡單的答案。與此相關，討論網絡過擬合和欠擬合非常重要。過擬合是模型過于復雜且參數過多的結果。我們可以通過比較訓練數據損失和測試數據損失來確定預測模型對訓練數據的擬合是太差還是太好。如果訓練期間的損失很低，而當網絡呈現以前從未顯示過的測試數據時，損失會過度增加，這強烈表明網絡已經記住了訓練數據，而不是泛化了模式識別。這主要發生在網絡有太多的參數存儲或太多卷積層時。在這種情況下，應減小網絡大小。

　　損失函數和訓練算法

　　學習分兩步完成。在第一步中，向網絡顯示一個圖像，然后由神經元網絡處理以生成輸出向量。輸出向量的最大值表示檢測到的對象類，就像我們示例中的狗一樣，在訓練情況下，它不一定是正確的。此步驟稱為前饋。

　　輸出端產生的目標值和實際值之間的差值稱為損耗，相關函數稱為損耗函數。網絡的所有元素和參數都包含在損失函數中。神經網絡學習過程的目標是以最小化損失函數的方式定義這些參數。這種最小化是通過一個過程實現的，在這個過程中，輸出端產生的偏差（損耗=目標值減去實際值）通過網絡的所有組件向后反饋，直到到達網絡的起始層。學習過程的這一部分也稱為反向傳播。

　　因此，在訓練過程中會產生一個循環，該循環以逐步方式確定濾波器矩陣的參數。重復此前饋和反向傳播過程，直到損耗值降至先前定義的值以下。

　　優化算法、梯度和梯度下降方法

　　為了說明我們的訓練過程，圖 3 顯示了一個僅由兩個參數 x 和 y 組成的損失函數。z 軸對應于損失。函數本身在這里不起作用，僅用于說明目的。如果我們更仔細地觀察三維函數圖，我們可以看到該函數具有全局最小值和局部最小值。

　　可以使用大量的數值優化算法來確定權重和偏差。最簡單的一種是梯度下降法。梯度下降方法基于這樣一種想法，即在使用梯度的逐步過程中，從損失函數中隨機選擇的起點找到一條路徑，該起點導致全局最小值。梯度作為數學運算符，描述了物理量的進程。它在損失函數的每個點上都提供一個向量（也稱為梯度向量），該向量指向函數值最大變化的方向。向量的大小與變化量相對應。在圖 3 中的函數中，梯度向量將指向右下角某處的最小值（紅色箭頭）。由于表面的平坦度，幅度會很低。在接近進一步區域的峰值時，情況會有所不同。在這里，矢量（綠色箭頭）陡峭地向下指向，并且由于地勢很大，因此具有較大的幅度。

　　3.使用梯度下降法到達目標的不同路徑。

　　使用梯度下降方法，從任意選擇的點開始，迭代地尋找通往最陡峭下降山谷的路徑。這意味著優化算法在起點處計算梯度，并在最陡峭的下降方向上邁出一小步。在這個中間點，重新計算坡度，并繼續進入山谷的路徑。這樣，就創建了一條從起點到山谷中某個點的路徑。這里的問題是起點不是預先定義的，而是必須隨機選擇的。在我們的二維地圖中，細心的讀者會將起點放在函數圖左側的某個地方。這將確保（例如，藍色）路徑的末尾處于全局最小值。另外兩條路徑（黃色和橙色）要么要長得多，要么以局部最小值結束。由于優化算法不僅要優化兩個參數，還要優化數十萬個參數，因此很快就會發現，起點的選擇只能是偶然的正確。在實踐中，這種方法似乎沒有幫助。這是因為，根據所選的起點、路徑，訓練時間可能很長，或者目標點可能不在全局最小值，在這種情況下，網絡的精度會降低。

　　因此，在過去幾年中，已經開發了許多優化算法來繞過上述兩個問題。一些替代方案包括隨機梯度下降法、動量、AdaGrad、RMSProp 和 Adam，僅舉幾例。實踐中使用的算法由網絡開發人員確定，因為每種算法都有特定的優點和缺點。

　　訓練數據

　　如前所述，在訓練過程中，我們向網絡提供標有正確對象類別（如汽車、船舶等）的圖像。在我們的示例中，我們使用了已經存在的 CIFAR-10 數據集。在實踐中，人工智能的應用可能超出了貓、狗和汽車的識別范圍。例如，如果必須開發一個新的應用程序來檢測制造過程中螺釘的質量，那么網絡也必須使用來自好螺釘和壞螺釘的訓練數據進行訓練。創建這樣的數據集可能非常費力和耗時，并且通常是開發 AI 應用程序中最昂貴的步驟。編譯數據集后，將其分為訓練數據和測試數據。如前所述，訓練數據用于訓練。測試數據在開發過程結束時用于檢查經過訓練的網絡的功能。

　　結論

　　在本系列的第一部分“理解卷積神經網絡”中，我們描述了一個神經網絡，并詳細研究了它的設計和功能。現在我們已經定義了函數所需的所有權重和偏差，我們可以假設網絡可以正常工作。在本系列的最后一篇文章中，我們將通過將神經網絡轉換為硬件來測試我們的神經網絡來識別貓。為此，我們將使用MAX78000人工智能微控制器和ADI公司開發的基于硬件的CNN加速器。

　　審核編輯：黃飛