深度監督學習的局限和破解思路
大小：0.3 MB 人氣： 2017-10-09 需要積分：1
標簽：深度學習(119547)
8月26至27日，由中國人工智能學會（CAAI）發起并主辦、中科院自動化研究所與CSDN共同承辦的 第二屆中國人工智能大會（CCAI 2016）［http://ccai.caai.cn/］將在北京盛大召開。本次大會將持續匯聚全球人工智能領域的頂級專家學者和產業界人士，圍繞 人機交互、機器學習、模式識別、產業實戰人工智能前沿話題進行深入交流和探討。微軟人工智能首席科學家鄧力博士將受邀出席本次大會，并做題為《 驅動大數據人工智能多種應用的三類深度學習模式》的主題報告。大會前夕，鄧力博士接受CSDN記者的簡短采訪，針對大數據、深度學習以及人工智能的其他技術領域進行解析。
鄧力博士介紹，他的主題報告將會講述深度監督學習、深度非監督學習和深度強化學習之間的關系和區別，以及這三類深度學習模式跟大數據的關系，并通過實踐案例來說明三類學習算法的適用環境及效果。他認為，目前基于大數據的人工智能的應用局限之一在于依賴于要求輸入輸出有匹配的大訓練數據的深度監督學習，而破解目前大數據人工智能的缺失的思路包括深度非監督學習和深度強化學習，以及新型的基于高維張量的結構表征。
他還解釋了強化學習的適用領域，深度學習與強化學習結合的優勢，并指出深度強化學習對微軟的Bot愿景的作用——深度強化學習不但掌控每一單種Bot的對話輸出的內容，更掌控各種Bots之間的協調和切換。
微軟人工智能首席科學家 鄧力
世界著名人工智能、機器學習和語音語言信號處理專家，現任微軟人工智能首席科學家和深度學習技術中心研究經理。他在美國威斯康星大學先后獲碩士和博士學位，然后在加拿大滑鐵盧大學任教獲得終身正教授。其間，他還任麻省理工學院研究職位。1999 年加入微軟研究院歷任數職，并在2014 年初創辦深度學習技術中心，主持微軟公司和研究院的人工智能和深度學習領域的技術創新。鄧力博士的研究方向包括自動語音與說話者識別、口語識別與理解、語音–語音翻譯、機器翻譯、語言模式、自然語言處理、統計方法與機器學習、神經科學，聽覺和其他生物信息處理、深層結構學習、類腦機器智能、圖像語言多模態深度學習，商業大數據深度分析預測等。他在上述領域做出了重大貢獻，是ASA（美國聲學學會）會士、IEEE（美國電氣和電子工程師協會）會士和理事、ISCA（國際語音通信協會）會士，并憑借在深度學習與自動語音識別方向做出的杰出貢獻榮獲2015年度IEEE 信號處理技術成就獎和2013年度最佳論文獎。同時，他也曾在頂級雜志和會議上發表過與上述領域相關的300 余篇學術論文，出版過5 部著作，發明及合作發明了超過70 多項專利。鄧力博士還擔任過IEEE 信號處理雜志和《音頻、語音與語言處理學報》（IEEE/ACM Transactions on Audio， Speech & Language Processing）的主編。
以下為內容采訪實錄
AlphaGo戰勝李世石并不令人驚訝
CSDN：當前人工智能領域的技術研究和應用進展，有哪些是您意想不到的？AlphaGo？
鄧力：基于我自2009年來對深度神經網絡巨大學習容量的體驗和理解，我對目前深度學習對人工智能領域的技術研究和各方應用的大規模的成功推動以及成就沒有感覺有意想不到進展。由深度強化學習主導的 AlphaGo 以四比一戰勝李世石并不令人驚訝。
CSDN：您對強化學習和深度學習的結合贊賞有加，那么強化學習適合在哪些領域普及？
鄧力：強化學習適用于控制和決策任何有階段性的過程，好比下棋，機械機器人行動，和很多商業決策。應用強化學習時最好回報信號要清楚或容易定義，比如下棋。否則就要用內在動機來驅動強化學習，比如用于聊天機器人。方向之一是整合信息論與動態規劃，這還屬于研究階段。大型狀態空間以前對強化學習是個大難題，但現在引入深度學習之后問題就基本解決了。具有大型行動空間（比如把合成型的自然語言作為對話機器人的“行動”輸出）的強化學習我們團隊正在深入研究。用深度學習來解決大型行動空間要比解決大型狀態空間麻煩不少。我們團隊在這方面發了一些論文。
CSDN：您如何看待深度學習與更多的其他方法（如貝葉斯方法）結合及前景？
鄧力：目前基于神經網絡的深度學習可以很好地同貝葉斯方法和生成式模型結合起來。優點在于能夠賦予深度學習以解釋性，也可降低深度學習對輸入輸出匹配的訓練數據量的要求。如用到深度強化學習， 這種結合能大大提高學習效率，因為它讓強化學習中的探索步驟更為快速而且探索空間變成更為廣大。
CSDN：除此之外，您認為哪些與深度學習完全無關的技術領域也值得我們關注？
鄧力：命題邏輯和一階邏輯的推理表面上看似乎與深度學習無關。近來用深度學習做邏輯推理出了不少很好的工作。我們團隊在2016年ICLR有篇長文章。然而用純符號的命題邏輯和一階邏輯做推理要比用深度神經網絡容易解釋得多，好比計算機的高級語言要比匯編語言容易看懂得多。這種解釋性在實際應用上很重要。但是純符號的邏輯方法和模型比起深度神經網絡難學的多。幸好在認知科學中有一套正在發展的理論，它把任意一個純符號樹狀或圖狀結構（可以高效率且具有強解釋性用在邏輯推理上）跟一個高維度的張量建立起同構。因為張量是最自然用于深度學習的數據結構，這種同構就讓我們的人工智能系統能有效地實現結構到結構的符號映射（比如自然語言或計算機程序的輸入輸出），但同時又能直接用深度神經網絡的方法去學習和優化這種結構映射（這包括復雜多步的邏輯推理）。
微軟人工智能研發路線
CSDN：微軟計劃在人工智能領域成為領軍者，能否介紹您的工作在其中的作用？您最近半年的主要工作進展在哪方面？
鄧力：我目前用50%時間在微軟美國總部的研究院管理和領導深度學習技術中心，這里有一支很強的技術和研究團隊。另外50%時間在微軟的商業部門任首席人工智能科學家，將人工智能和各類深度學習的技術和研究成果應用到人工智能產品和云端服務。最近半年我們團隊的主要工作包括：
將深度學習技術成功地應用到商業大數據的分析、預測、客戶評分，等等，取得顯著成果；
利用深度強化學習推動多類自然語言對話機器人的研發；
自然語言、視覺和知識庫相結合的多媒態研究與應用；
新型深度學習架構、算法、結構表征基礎研究的進展。
CSDN：微軟做了不少人工智能的API提供給開發者，您是否認為人工智能會成為未來app的普遍屬性？當前開發人員需要學習哪些人工智能相關的知識？如何上手？
鄧力：微軟的Cognitive Services （微軟認知服務，其開發文檔和教程可以參考官網：https://www.azure.cn/cognitive-services/）會提供越來越多的人工智能工具給開發者。不少已經可以從Microsoft Bot Framework 調用了。Microsoft Bot Framework 網站（https://dev.botframework.com/） 有相當詳細的信息。
CSDN：關于微軟Bots的理想，您認為它的實現需要哪些主要的技術積累？
鄧力：具有強大功能的人工智能是Bots的理想愿景實現的最關鍵之一。主要的技術積累是以上講到的深度學習，特別是深度強化學習。深度強化學習不但掌控每一單種Bot 的對話輸出的最佳內容，更掌控各種Bots 之間的最佳協調和切換。
CCAI分享大數據與深度學習
CSDN：請簡要介紹您在本次大會的報告主題《驅動大數據人工智能多種應用的三類深度學習模式》？
鄧力：主要想講三類深度學習模式——深度監督學習、深度非監督學習和深度強化學習之間的關系和區別。在哪種人工智能應用中選用哪種模式？為什么？洞見（insights）在哪里？想用我團隊用過的成功（和失敗）的例子來為大家提供一些洞見。
還想講這三類深度學習模式跟大數據的關系。輸入輸出有匹配的大訓練數據一般會讓深度監督學習成功 （端到端的backpropagation 對有匹配的大數據的訓練實在有效），但輸入輸出匹配成本很高。相反，無輸入輸出匹配的大數據成本要低得多。要利用比現有輸入輸出有匹配的大訓練數據高出幾個數量級的無輸入輸出匹配的大訓練數據來訓練深度學習系統，必須開發全新的深度非監督學習算法。如果成功，這會給人工智能帶來一個新的里程碑。
CSDN：能否再解釋基于大數據的人工智能的應用局限，以及一些破解高質量的大數據人工智能的缺失的一些思路？
鄧力：目前基于大數據的人工智能的應用局限之一在于依賴于深度監督學習，就是說要在有輸入輸出匹配的大訓練數據之后才能使用端到端的backpropagation。不但成本很高，而且系統很不靈活，很難快速適應新環境。如果需要解決復雜的邏輯推理問題，基于大數據和深度學習的人工智能系統往往給不出理想的答案。這種依賴于深度監督學習的系統還缺乏常識和直覺。
破解高質量大數據缺失的思路包括以上講的深度非監督學習和深度強化學習，以及新型的基于高維張量的結構表征和知識庫。
CSDN：哪些人適合聽這個報告？需要什么預備知識？他們會有什么收獲？
鄧力：研究人員，研究生，ICT 公司和政府管理者。對人工智能和深度學習感興趣的人。希望聽完這個報告之后會對人工智能和深度學習有更深一步的理解，尤其在如何把理論用到實踐。
CSDN：最后一個問題，您如何看待國外與國內人工智能技術和應用的差異？在企業應用、人才培養上，國外有哪些好的經驗值得國內借鑒？
鄧力：國外與國內人工智能技術和應用的差異日趨縮小。我很多以前在美國、英國從事人工智能和深度學習的朋友都回國創業。
國外好的經驗是注重創新，鼓勵快速失敗。
?
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%