遠在古希臘時期，發明家就夢想著創造能自主思考的機器。神話人物皮格馬利翁（Pygmalion）、代達羅斯（Daedalus）和赫淮斯托斯（Hephaestus）可以被看作傳說中的發明家，而加拉蒂亞（Galatea）、塔洛斯（Talos）和潘多拉（Pandora）則可以被視為人造生命（Ovid and Martin，2004；Sparkes，1996；Tandy，1997）。當人類第一次構思可編程計算機時，就已經在思考計算機能否變得智能（盡管這距造出第一臺計算機還有一百多年）（Lovelace，1842）。如今，人工智能（artificial intelligence，AI）已經成為一個具有眾多實際應用和活躍研究課題的領域，并且正在蓬勃發展。我們期望通過智能軟件自動地處理常規勞動、理解語音或圖像、幫助醫學診斷和支持基礎科學研究。在人工智能的早期，那些對人類智力來說非常困難、但對計算機來說相對簡單的問題得到迅速解決，比如，那些可以通過一系列形式化的數學規則來描述的問題。人工智能的真正挑戰在于解決那些對人來說很容易執行、但很難形式化描述的任務，如識別人們所說的話或圖像中的臉。對于這些問題，我們人類往往可以憑借直覺輕易地解決。針對這些比較直觀的問題，本書討論一種解決方案。該方案可以讓計算機從經驗中學習，并根據層次化的概念體系來理解世界，而每個概念則通過與某些相對簡單的概念之間的關系來定義。讓計算機從經驗獲取知識，可以避免由人類來給計算機形式化地指定它需要的所有知識。層次化的概念讓計算機構建較簡單的概念來學習復雜概念。如果繪制出表示這些概念如何建立在彼此之上的圖，我們將得到一張“深”（層次很多）的圖。基于這個原因，我們稱這種方法為AI深度學習（deep learning）。 AI許多早期的成功發生在相對樸素且形式化的環境中，而且不要求計算機具備很多關于世界的知識。例如，IBM的深藍（Deep Blue）國際象棋系統在1997年擊敗了世界冠軍Garry Kasparov（Hsu，2002）。顯然國際象棋是一個非常簡單的領域，因為它僅含有64個位置并只能以嚴格限制的方式移動32個棋子。設計一種成功的國際象棋策略是巨大的成就，但向計算機描述棋子及其允許的走法并不是這一挑戰的困難所在。國際象棋完全可以由一個非常簡短的、完全形式化的規則列表來描述，并可以容易地由程序員事先準備好。具有諷刺意義的是，抽象和形式化的任務對人類而言是最困難的腦力任務之一，但對計算機而言卻屬于最容易的。計算機早就能夠打敗人類最好的國際象棋選手，但直到最近計算機才在識別對象或語音任務中達到人類平均水平。一個人的日常生活需要關于世界的巨量知識。很多這方面的知識是主觀的、直觀的，因此很難通過形式化的方式表達清楚。計算機需要獲取同樣的知識才能表現出智能。人工智能的一個關鍵挑戰就是如何將這些非形式化的知識傳達給計算機。一些人工智能項目力求將關于世界的知識用形式化的語言進行硬編碼（hard-code）。計算機可以使用邏輯推理規則來自動地理解這些形式化語言中的聲明。這就是眾所周知的人工智能的知識庫（knowledge base）方法。然而，這些項目最終都沒有取得重大的成功。其中最著名的項目是Cy c（Lenat and Guha，1989）。Cy c包括一個推斷引擎和一個使用CycL語言描述的聲明數據庫。這些聲明是由人類監督者輸入的。這是一個笨拙的過程。人們設法設計出足夠復雜的形式化規則來精確地描述世界。例如，Cy c不能理解一個關于名為Fred的人在早上剃須的故事（Linde，1992）。它的推理引擎檢測到故事中的不一致性：它知道人體的構成不包含電氣零件，但由于Fred正拿著一個電動剃須刀，它認為實體——“正在剃須的 Fred”（“FredWhileShaving”）含有電氣部件。因此，它產生了這樣的疑問——Fred在刮胡子的時候是否仍然是一個人。依靠硬編碼的知識體系面臨的困難表明，AI系統需要具備自己獲取知識的能力，即從原始數據中提取模式的能力。這種能力稱為機器學習（machine learning）。引入機器學習使計算機能夠解決涉及現實世界知識的問題，并能做出看似主觀的決策。比如，一個稱為邏輯回歸（logistic regression）的簡單機器學習算法可以決定是否建議剖腹產（Mor-Yosef et al.， 1990）。而同樣是簡單機器學習算法的樸素貝葉斯（naive Bay es）則可以區分垃圾電子郵件和合法電子郵件。這些簡單的機器學習算法的性能在很大程度上依賴于給定數據的表示（representation）。例如，當邏輯回歸用于判斷產婦是否適合剖腹產時，AI系統不會直接檢查患者。相反，醫生需要告訴系統幾條相關的信息，諸如是否存在子宮疤痕。表示患者的每條信息稱為一個特征。邏輯回歸學習病人的這些特征如何與各種結果相關聯。然而，它絲毫不能影響該特征定義的方式。如果將病人的MRI（核磁共振）掃描而不是醫生正式的報告作為邏輯回歸的輸入，它將無法做出有用的預測。MRI掃描的單一像素與分娩過程中并發癥之間的相關性微乎其微。在整個計算機科學乃至日常生活中，對表示的依賴都是一個普遍現象。在計算機科學中，如果數據集合被精巧地結構化并被智能地索引，那么諸如搜索之類的操作的處理速度就可以成指數級地加快。人們可以很容易地在阿拉伯數字的表示下進行算術運算，但在羅馬數字的表示下，運算會比較耗時。因此，毫不奇怪，表示的選擇會對機器學習算法的性能產生巨大的影響。

　　許多人工智能任務都可以通過以下方式解決：先提取一個合適的特征集，然后將這些特征提供給簡單的機器學習算法。例如，對于通過聲音鑒別說話者的任務來說，一個有用的特征是對其聲道大小的估計。這個特征為判斷說話者是男性、女性還是兒童提供了有力線索。然而，對于許多任務來說，我們很難知道應該提取哪些特征。例如，假設我們想編寫一個程序來檢測照片中的車。我們知道，汽車有輪子，所以我們可能會想用車輪的存在與否作為特征。遺憾的是，我們難以準確地根據像素值來描述車輪看上去像什么。雖然車輪具有簡單的幾何形狀，但它的圖像可能會因場景而異，如落在車輪上的陰影、太陽照亮的車輪的金屬零件、汽車的擋泥板或者遮擋的車輪一部分的前景物體等。解決這個問題的途徑之一是使用機器學習來發掘表示本身，而不僅僅把表示映射到輸出。這種方法我們稱之為表示學習（representation learning）。學習到的表示往往比手動設計的表示表現得更好。并且它們只需最少的人工干預，就能讓AI系統迅速適應新的任務。表示學習算法只需幾分鐘就可以為簡單的任務發現一個很好的特征集，對于復雜任務則需要幾小時到幾個月。手動為一個復雜的任務設計特征需要耗費大量的人工、時間和精力，甚至需要花費整個社群研究人員幾十年的時間。表示學習算法的典型例子是自編碼器（autoencoder）。自編碼器由一個編碼器（encoder）函數和一個解碼器（decoder）函數組合而成。編碼器函數將輸入數據轉換為一種不同的表示，而解碼器函數則將這個新的表示轉換回原來的形式。我們期望當輸入數據經過編碼器和解碼器之后盡可能多地保留信息，同時希望新的表示有各種好的特性，這也是自編碼器的訓練目標。為了實現不同的特性，我們可以設計不同形式的自編碼器。當設計特征或設計用于學習特征的算法時，我們的目標通常是分離出能解釋觀察數據的變差因素（factors of variation）。在此背景下，“因素”這個詞僅指代影響的不同來源；因素通常不是乘性組合。這些因素通常是不能被直接觀察到的量。相反，它們可能是現實世界中觀察不到的物體或者不可觀測的力，但會影響可觀測的量。為了對觀察到的數據提供有用的簡化解釋或推斷其原因，它們還可能以概念的形式存在于人類的思維中。它們可以被看作數據的概念或者抽象，幫助我們了解這些數據的豐富多樣性。當分析語音記錄時，變差因素包括說話者的年齡、性別、他們的口音和他們正在說的詞語。當分析汽車的圖像時，變差因素包括汽車的位置、它的顏色、太陽的角度和亮度。在許多現實的人工智能應用中，困難主要源于多個變差因素同時影響著我們能夠觀察到的每一個數據。比如，在一張包含紅色汽車的圖片中，其單個像素在夜間可能會非常接近黑色。汽車輪廓的形狀取決于視角。大多數應用需要我們理清變差因素并忽略我們不關心的因素。顯然，從原始數據中提取如此高層次、抽象的特征是非常困難的。許多諸如說話口音這樣的變差因素，只能通過對數據進行復雜的、接近人類水平的理解來辨識。這幾乎與獲得原問題的表示一樣困難，因此，乍一看，表示學習似乎并不能幫助我們。深度學習（deep learning）通過其他較簡單的表示來表達復雜表示，解決了表示學習中的核心問題。深度學習讓計算機通過較簡單的概念構建復雜的概念。圖1.2展示了深度學習系統如何通過組合較簡單的概念（例如角和輪廓，它們反過來由邊線定義）來表示圖像中人的概念。深度學習模型的典型例子是前饋深度網絡或或多層感知機（multilayer perceptron，MLP）。多層感知機僅僅是一個將一組輸入值映射到輸出值的數學函數。該函數由許多較簡單的函數復合而成。我們可以認為不同數學函數的每一次應用都為輸入提供了新的表示。