1952年，Arthur Samuel在IBM公司研發了一款西游跳棋程序，這個程序具有自學習能力，可以通過對大量棋局的分析逐漸辨識出每一棋局中的“好棋”與“壞棋”，從而不斷提高機器的跳棋水平并很快下贏了Samuel自己。1956，也就是在60年前的達特茅斯人工智能會議上，Samuel介紹了自己的這項工作，并發明了“機器學習”一詞。

在計算科學歷史上，“機器學習”有著多種定義，普遍的觀點認為“機器學習”就是計算機利用數據和“經驗”來改善算法系統自身的性能。斯坦福大學對機器學習的定義是在沒有明確編程指令的情況下，讓計算機自行采取行動的科學。通過已有數據產生“學習算法”模型后，再應用到新的數據集上，從而對新的情況做出策略性判斷，這就是所謂“預測”。可以說，機器學習是關于“學習算法”的科學，而人工智能則是研究開發具有智能的機器。

2016年是人工智能誕生60周年。在最近十年，隨著大數據和云計算（大規模計算）的發展，機器學習進入了發展的黃金期。2016年12月17日，在2016機器智能前沿論壇上，中外專家探討了機器學習的未來發展與展望。

機器學習進入發展黃金期

傳統意義來說來，人工智能分兩步：一是對數據的表示和表達，二是通過算法達到預測和決策的過程。傳統人工智能是基于語義的方式實現數據的表示或表達，而從數據表示到預測往往是通過基于規則的邏輯推理，一個典型代表就是專家系統，這也是第一代機器學習。

對于第一代機器學習來說，規則的定義十分重要，一旦規則定義不準確或有問題，將導致不正確的邏輯推理。此外，基于規則的模型對于淺層推理有效，但沒法用來進行深層次的推理。因此，也就發展出了第二代機器學習，即基于統計模型的機器學習。

在南京大學周志華教授的《機器學習》一書中，對于機器學習的發展階段和歷史有更為細分的劃分與相應的算法介紹。實際上，在二十世紀90年代中期，“統計學習”開始登上歷史的舞臺并迅速成為主流，代表技術即為Support Vector Machine（SVM，支持向量機）以及Kernel Methods等。而統計學習成為主流，則是因為前期的神經元網絡研究出現瓶頸后（主要是因為當時的參數設置以手工為主），學者們才把注意力轉向了統計學習。

隨著統計學習的興起，出現了機器學習的黃金十年。統計學習不僅被用于算法建模，還被用于數據的表示與表達，這樣就弱化了對于相關背景知識的要求。比如計算機視覺和圖像研究屬于計算機科學領域，其背景知識比較容易獲取，而自然語言處理則需要英文或中文的語言學知識，這對于計算機專家來說就有難度了。

在更為廣泛的應用領域，統計模式識別正在取代用于數據表達的專家規則，從而降低了人工智能和機器學習的入門門檻。這樣，從數據表示到學習算法再到推理預測，就都可以全部用機器學習算法實現，這就進入了第三代機器學習階段，即從數據直接到智能的端到端的機器學習。當然，隨著大數據和云計算的出現，以復雜神經元網絡為代表的深度學習也可以用于數據表示與表達。

可以看到，面向數值計算的統計學習和以神經元網絡為代表的深度學習是現代人工智能的兩個主要分支。而在大數據+云計算的時代，這兩大分支都進入了新的發展黃金期。

對抗網絡和對偶學習

由前述可知，機器學習分為三個階段，即第一階段的數據獲取與生成、第二階段的學習算法和第三階段的推理預測。在大數據與云計算的前提下，這三個階段有著新的發展。

在數據獲取與生成階段，最新的研究發向就是用對抗網絡來產生更多的數據。也就是說，如果在現實世界無法獲得更多數據的前提下，就用機器學習算法來模擬更多的現實世界的數據，以供后續“訓練”學習算法之用。

所謂生成模型（Generative Model）是對數據的建模，即用大量數據來訓練這個模型，以期望這個模型能產生更多類似的數據。常見的生成方法有混合高斯模型、樸素貝葉斯法和隱形馬爾科夫模型等等。以混合高斯模型為例，該方法雖然有強大的逼近數據分布的能力，是非常適合概率密度估計的建模方法，但該方法不足以刻畫復雜的數據，因此要用到神經元網絡。

對于可以產生數據的神經元網絡來說，如何訓練它而使得產生的數據更接近真實數據？這就出現了生成對抗網絡（Generative Adversarial Network，GAN）。比如用一個神經元網絡來產生數據，再用另一個神經元網絡來判別數據是否為真實，再通過兩個網絡的結果差異來優化數據生成模型。在著名的AlphaGO的訓練算法中，也采用了類似的概念來生成用于訓練計算機的新棋局，從而實現自對弈。

對于基于深度神經元網絡的生成網絡來說，一個可以改進之處就是如何利用大量未標注的真實數據。因為在訓練神經元網絡的時候，需要大量人工標注的數據，用以訓練算法，比如標注一幅圖為“花卉”。清華大學副教授、卡耐基梅隆大學兼職教授朱軍介紹了多種利用未標注數據的方法。

朱軍還特別介紹一種引入了“Attention聚焦”和“Memory記憶”機制的生成網絡，用于根據有限的高度抽象的參數來生成接近真實的數據。比如在生成新圖像的過程中，原有的神經元網絡模型對真實的圖像參數進行了高度抽象，在這個過程中損失了很多細節數據，在使用另一個神經元網絡生成新圖像的過程中，如果只采用高度抽象后的圖像參數，就無法表達更多的圖像細節。因此，在前期學習真實圖像數據的過程中，可以引入了“Memory記憶”機制，把一些圖像細節數據存儲起來，用于后續生成更接近真實的圖像。

除了在數據生成環節需要克服未標注數據的局限外，在整個端到端的機器學習算法過程中，也需要利用未標注數據。這也就是說在機器學習的訓練學習算法和預測推理階段，如何利用大量利用未標注數據。微軟亞洲研究院首席研究員劉鐵巖介紹了對偶學習，它一方面可讓有監督學習和無監督學習算法大量利用未標注數據，另一方面也可以提高增強學習算法的學習速度。

所謂對偶學習（Dual Learning），就是利用兩個對偶的任務形成一個閉環反饋系統，從而得以從未標注的數據上獲得反饋信息，進而利用該反饋信息提高對偶任務中的兩個機器學習模型。舉例來說，兩個對偶任務可以是中翻英和英翻中，這涉及到了兩個機器學習模型，對偶學習的過程就是先把一句話從中文翻譯成英文、再從英文翻譯成中文，之后再比較生成的中文與原始中文之間的差異，從而提高兩個機器學習模型的性能。在這種場景下，其實不需要標注數據，即不需要知道生成中文句子的“對”與“錯”，只需要知道生成后的中文句子與原始中文句子的差異，即可優化算法模型。

深度問答的挑戰

自從2011年IBM Watson在智力競賽電視節目《危險邊緣》（Jeopardy！）中獲勝后，深度問答作為人工智能和機器學習的一個重要應用場景，就引起了全世界廣泛的關注。深度問答不僅涉及到自然語言理解（NLP），還涉及到對于問題的分析與理解、候選答案的評估以及選擇策略、快速檢索與搜索等技術。

人機問答最早可以追溯到圖靈測試，圖靈測試就是以問答的形式進行的。到了1960年前后出現了基于模板的QA（Template-based QA）、1990年前后出現的基于信息檢索的QA（IR-based QA）、2000年前后出現的基于社區的QA（Community-based QA）和基于大規模知識庫的QA（Large Scale KB-based QA），以及今天的閱讀理解式QA。

中科院自動化所副研究員劉康著重介紹了基于知識庫的深度語義解析和閱讀理解式深度語義理解與知識推理。在基于知識庫的QA中，核心問題在于如何解決問題文本到知識庫之間的映射關系，特別是要消除歧義。現代機器學習方法要解決的問題，就是對問題文本和知識庫的知識分別進行分布式表達或建模，然而再在二者之間再建立起基于深度神經元網絡的對應關系模型，從而實現精準的映射。而為什么要對問題和知識都進行分布式建模，原因主要是現代互聯網上的信息是海量的，因此理解問題文本和理解知識都需要大規模分布式建模。

閱讀理解式QA是另一種形式的問答。所謂閱讀理解式QA就是給定一段話，然后根據這段話的信息來回答問題。這其實需要綜合一段話中的幾句，然后進行深度推理和聯合推理。目前的深度學習方式還不能解決知識推理的挑戰，也不能代替傳統人工智能中基于符號的邏輯推理。另外，在解決閱讀理解的難題中，其實還需要常識知識，然而常識知識的邊界在哪里？常識知識是否會隨著時間而發生變化？這些都是閱讀理解式QA的挑戰。

劉康認為，現在的深度問答正從傳統的符號信息檢索匹配到深度語義理解的變化中，需要對文本內容精準的理解，推理也變得越來越重要，同時問答的過程還需要知識庫、特別是常識知識庫的支持。此外，在開放環境中，用戶的問題復雜多樣，單一知識庫往往不足以滿足用戶的問題，還需要多個知識源的聯合與綜合利用。

科學家、頭條實驗室技術總監李磊介紹了一種QA模型，即基于條件的聚焦的神經元網絡問答（Conditional Focused Neural Question Answering）。在國際計算機語言學協會（ACL）的2016年會上，李磊等人發表了基于大規模知識庫的CFO一文（CFO： Conditional Focused Neural Question Answering with Large-scale Knowledge Bases），詳細介紹了CFO的算法。CFO主要解決開放知識庫中單一答案的QA問題，在CFO之前的最好成績是由Facebook發明的自動問答算法，準確率在62.9%（基于Facebook創建的Simple Question Dataset公開數據集，內含108K個英文問題，也是公開的最大單一答案問題集）。而CFO則能在這個數據集上達到75%的準確率，與Facebook拉開了12%的差距。

今日頭條還在2016年嘗試了新聞寫稿機器人Xiaomingbot，這是基于大數據、自然語言理解和機器學習的人工智能機器人。Xiaomingbot在2016年8月的里約奧運會期間自動寫了450多篇文章，產生了100多萬的閱讀，接近同期該平臺上體育新聞記者的稿件閱讀量。此外，Xiaomingbot寫出的稿件既有短消息也有按比賽時間線進程形成的長報道，還可以自動加入圖片。

當然，提到深度問答就必然要提到IBM Watson。IBM中國研究院大數據機認知計算研究總監蘇中介紹了在《危險邊緣》（Jeopardy！）中獲勝的基于大規模并行計算概率算法的Watson模型，如今IBM已經把Watson的算法能力通過基于Bluemix的IBM Watson開發者云服務對外輸出。

建立智能社會組織的模型

2016機器智能前沿論壇上，最有意思也是最具有社會和商業價值的機器學習前沿方向，是來自美國Santa Fe Institute研究所的David Wolpert教授的智能社會組織建模研究。他也是IEEE院士、三本書和200多篇論文的作者，論文領域覆蓋了物理學基礎、機器學習、博弈論、信息理論、熱力學和分布優化等。David Wolpert于1996年提出了“沒有免費的午餐”定理，現在已廣泛應用于機器學習領域。

David Wolpert表示，除了人類自身之外，人類社會也是一個智能體。在人類社會當中有很多的互動交流以及各種活動，人類社會能夠處理信息、相互溝通，也能迅速了解在哪里可以獲取信息、信息如何被使用等。現在，人類社會作為整體的智能性已經比個人大腦更為強大，所以對于智能社會組織的研究更加有意義，但這還是一個全新的領域，也只有初步的研究。

從人類社會發展來看，人類的組織達到一定規模后，就難以再擴大。就像企業擴張到一定規模后，隨著層級越來越多，越難將信息準確地從頂層傳遞到底層，而隨著信息在中間層傳遞的失衡，將會導致信息誤傳，從而阻礙企業進一步擴大。當然，人類也在不斷嘗試對組織結構進行創新。以近代互聯網公司谷歌為代表，在公司初創期提出了扁平化的組織結構，然而隨著谷歌公司規模的不斷擴張，最終還是走向了多層級化的公司結構。

那么，如何以一種扁平化的方式擴展公司規模，使得員工的溝通效率不受到層級增多的影響？這就需要找到一種方式，以更好的在企業組織間傳遞信息。在David Wolpert模擬企業結構的過程中，把員工的社會關系看成一種信息通信息網絡結構，員工則類似于信息通信網絡中的節點。網絡工程師的任務是要通過算法來優化和設計信息通訊網絡的通信路徑，類似的方式引進到智能社會組織的研究中，就是如何實現一個更為智能的信息交換方式。

在研究和設計智能社會組織的時候，需要考慮不少已經存在的理論。其中一個著名的理論是Dunbar數字，由英國人類學家Robin Dunbar提出，即人類個體能夠和周圍的人維持穩定社會關系的理論上限值，通常被認為是150人。這是因為在給定時間范圍內，一個人能夠同時傾聽其他人以及對其他人說不同事情的能力，受大腦皮層容量的限制。一旦超越這個范圍，就需要外在機制來維持群體的穩定性和凝聚力。

因此，把網絡通信的編碼和設計原理應用到類似企業這樣的社會組織中，就需要回答三個問題：受限于企業組織規模和溝通能力（類比網絡規模和邊緣通信能力），能夠從管理者傳達到工人（類比網絡發送端和接收端）的最大信息量；中層管理者（類比網絡里的中間節點）如何傳遞信息，以確保工人能最大化的接收信息（類比網絡的最大吞吐量）；在企業里增加中層管理者（類比網絡里的中間節點）的收益。

David Wolpert為此研究了多種機制，特別是借鑒了網絡中郵件傳輸的機制。因為在復雜網絡環境下，一個郵件能夠得以快速的從一個發送端傳遞到另一個接收端，中間其實把郵件劃分為了不同的小數據包，再把這些小數據包通過不同網絡、不同主機快速接力式傳遞給終端，終端結點再把小數據包重新恢復成一個郵件。

從David Wolpert的研究中，可以得到一些很有意思的發現。比如把社交媒體作為第三方公開公共節點來存儲部分信息，確保了企業組織的部分信息可以準確、高效傳遞到各個層級，各個層級再根據內部傳遞下來的其它信息自行組合，從而準確且個性化地“還原”出原始信息。這其實就是社會化組織的模式，相當于企業把部分節點從企業內部轉移到了社會上，相應地也把企業組織部分的社會化了。當然，這個理論也從另一角度驗證了社交媒體或社會化媒體崛起的必然邏輯。