色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

深度學習和智能理論在未來會帶來什么?

lviY_AI_shequ ? 來源:YXQ ? 2019-07-08 15:50 ? 次閱讀

近日,圖靈獎得主、深度學習巨頭Geoffrey Hinton和Yann LeCun在ACM FCRC 2019上發表了精彩演講。

二人分別在大會上做了題為《深度學習革命》和《深度學習革命:續集》的精彩演講。目前視頻已經公開:

https://www.youtube.com/watch?v=VsnQf7exv5I

新智元對演講內容進行了整理。

Geoffrey Hinton:《深度學習革命》

Geoffrey Hinton

Hinton表示,自從20世紀50年代開始,人工智能存在兩種范式:分別是邏輯啟發的方法生物學啟發的方法

邏輯啟發的方法(The logic-inspired approach)智能的本質是使用符號規則來操縱符號表達。我們應該專注于推理

生物學啟發的方法(The biologically-inspired approach):智能的本質是學習神經網絡中連接的優勢。我們應該專注于學習和感知

不同的范式便使得最終的目標有所不同。因此,在內部表示(internal representation)方面也存在著兩種觀點:

內部表示是符號表達式。程序員可以用一種明確的語言把它們交給計算機;可以通過對現有表示應用規則派生新的表示。

內部表示與語言完全不同。它們是神經活動的向量(big vectors);它們對神經活動的其他載體有直接的因果影響;這些向量是從數據中學到的。

由此也導致了兩種讓計算機完成任務的方式。

首先是智能設計:有意識地精確計算出你將如何操縱符號表示來執行任務,然后極其詳細地告訴計算機具體要做什么。

其次是學習:向計算機展示大量輸入和所需輸出的例子。讓計算機學習如何使用通用的學習程序將輸入映射到輸出。

Hinton舉了一個例子:人們花了50年的時間,用符號型人工智能(symbolic AI)來完成的任務就是“看圖說話”。

針對這項任務,人們嘗試了很長時間來編寫相應的代碼,即便采用神經網絡的方法依舊嘗試了很長一段時間。最終,這項任務得到很好解決的方法竟然是基于純學習的方法

因此,對于神經網絡而言,存在如下的核心問題

包含數百萬權重和多層非線性神經元的大型神經網絡是非常強大的計算設備。但神經網絡能否從隨機權重開始,并從訓練數據中獲取所有知識,從而學習一項困難的任務(比如物體識別或機器翻譯)?

針對這項問題,前人們付出了不少的努力:

針對如何訓練人工神經網絡,Hinton認為分為兩大方法,分別是監督訓練和無監督訓練。

監督訓練:向網絡顯示一個輸入向量,并告訴它正確的輸出;調整權重,減少正確輸出與實際輸出之間的差異。

無監督訓練:僅向網絡顯示輸入;調整權重,以便更好地從隱含神經元的活動中重建輸入(或部分輸入)。

而反向傳播(backpropagation algorithm)只是計算權重變化如何影響輸出錯誤的一種有效方法。不是一次一個地擾動權重并測量效果,而是使用微積分同時計算所有權重的誤差梯度。

當有一百萬個權重時,反向傳播方法要比變異方法效率高出一百萬倍。

然而,反向傳播算法卻又讓人感到失望。

在20世紀90年代,雖然反向傳播算法的效果還算不錯,但并沒有達到人們所期待的那樣——深度網絡訓練非常困難;在中等規模的數據集上,一些其他機器學習方法甚至比反向傳播更有效。

符號型人工智能的研究人員稱,期望在大型深層神經網絡中學習困難的任務是愚蠢的,因為這些網絡從隨機連接開始,且沒有先驗知識。

Hinton舉了三個非常荒誕的理論:

而后,深度學習開始被各種拒絕:

2007年:NIPS program committee拒絕了Hinton等人的一篇關于深度學習的論文。因為他們已經接收了一篇關于深度學習的論文,而同一主題的兩篇論文就會“顯得過多”。

2009年:一位評審員告訴Yoshua Bengio,有關神經網絡的論文在ICML中沒有地位。

2010年:一位CVPR評審員拒絕了Yann LeCun的論文,盡管它擊敗了最先進的論文。審稿人說它沒有告訴我們任何關于計算機視覺信息,因為一切都是“學到的”。

而在2005年至2009年期間,研究人員(在加拿大!)取得了幾項技術進步,才使反向傳播能夠更好地在前饋網絡中工作。

到了2012年,ImageNet對象識別挑戰賽(ImageNet object recognition challenge)有大約100萬張從網上拍攝的高分辨率訓練圖像。

來自世界各地的領先計算機視覺小組在該數據集上嘗試了一些當時最好的計算機視覺方法。其結果如下:

這次比賽的結果后,計算機視覺相關的組委會們才突然發覺原來深度學習是有用的

Hinton在演講中討論了一種全新的機器翻譯方式。

對于每種語言,我們都有一個編碼器神經網絡和一個解碼器神經網絡。編碼器按原句中的單詞順序讀取(它最后的隱藏狀態代表了句子所表達的思想)。而解碼器用目標語言表達思想。

自2014年年以來,神經網絡機器翻譯得了很大的發展。

接下來,Hinton談到了神經網絡視覺的未來

他認為卷積神經網絡獲得了巨大的勝利,因為它若是在一個地方能行得通,在其它地方也能使用。但它們識別物體的方式與我們不同,因此是對抗的例子。

人們通過使用對象的坐標系與其部分的坐標系之間的視點不變幾何關系來識別對象。Hinton認為神經網絡也能做到這一點(參考鏈接:arxiv.org/abs/1906.06818)。

那么,神經網絡的未來又是什么呢?

Hinton認為:

幾乎所有人工神經網絡只使用兩個時間尺度:對權重的緩慢適應和神經活動的快速變化。但是突觸在多個不同的時間尺度上適應。它可以使快速權重(fast weight)進行short-term memory將使神經網絡變得更好,可以改善優化、可以允許真正的遞歸。

Yann LeCun演講:《深度學習革命:續集》

Yann LeCun

Jeff剛才提到了監督學習,監督學習在數據量很大時效果很好,可以做語音識別、圖像識別、面部識別、從圖片生成屬性、機器翻譯等。

如果神經網絡具有某些特殊架構,比如Jeff在上世紀八九十年代提出的那些架構,可以識別手寫文字,效果很好,到上世紀90年代末時,我在貝爾實驗室研發的這類系統承擔了全美手寫文字識別工作的10%-20%,不僅在技術上,而且在商業上也是一個成功。

到后來,整個社群一度幾乎拋棄了神經網絡,一方面是因為是缺乏大型數據集,還有部分原因是當時編寫的軟件過于復雜,投資很大,還有一部分原因是當時的計算機速度不夠快,不足以運行其他所有應用。

卷積神經網絡其實是受到了生物學的啟發,它并不是照搬生物學,但確實從中得到很多啟發,比如視覺皮層的結構,以及在學習信號處理時自然而然產生的一些觀點,比如filtering是處理音視頻信號的好辦法,而卷積是filtering的一種方式。這些經典理念早在上世紀五六十年代就由Hubel和wiesel等人在神經科學領域提出,日本科學家Fukushima在上世紀80年代對其也有貢獻。

我從這些觀點和成果中受到啟發,我發現可以利用反向傳播訓練神經網絡來復現這些現象。卷積網絡的理念是,世界上的物體是由各個部分構成的,各個部分由motif構成,而motif是由材質和邊緣的基本組合,邊緣是由像素的分布構成的。如果一個層級系統能夠檢測到有用的像素組合,再依次到邊緣、motif、最后到物體的各個部分,這就是一個目標識別系統。

層級表示不僅適用于視覺目標,也適用于語音、文本等自然信號。我們可以使用卷積網絡識別面部、識別路上的行人。

在上世紀90年代到2010年左右,出現了一段所謂“AI寒冬”,但我們沒有停下腳步,在人臉識別、行人識別,將機器學習用在機器人技術上,使用卷積網絡標記整個圖像,圖像中的每個像素都會標記為“能”或“不能”被機器人穿越,而且數據收集是自動的,無需手動標記。

幾年之后,我們使用類似的系統完成目標分割任務,整個系統可以實現VGA實時部署,對圖像上的每個像素進行分割。這個系統可以檢測行人、道路、樹木,但當時這個結果并未馬上得到計算機社群的認可。

最近的視覺識別系統的一個范例是Facebook的“全景特征金字塔網絡”,可以通過多層路徑提取圖像特征,由多層路徑特征生成輸出圖像,其中包含圖像中全部實例和目標的掩模,并輸出分類結果,告訴你圖像中目標的分類信息。不僅是目標本身的分類,還包括背景、材質等分類,比如草地、沙地、樹林等。可以想象,這種系統對于自動駕駛會很有用。

醫療成像及圖像分割

卷積網絡對于醫學成像應用也很有幫助。與上面提到的網絡類似,它也分為解碼器部分,負責提取圖像特征,另一部分負責生成輸出圖像,對其進行分割。

神經網絡機器翻譯

在翻譯應用上,采用了許多網絡架構上的創新,如自注意力機制、輕量卷積、動態卷積等,實現基于語境的動態卷積網絡內核。在ICML2019上的最新機器翻譯卷積網絡模型,其參數數量達到200M至300M,WMT數據集上的BLEU得分:英語-德語29.7,英語-法語43.2,漢語-英語24.4。

自動駕駛系統

游戲

無模型強化學習很適合游戲領域應用。現在強化學習領域的一大問題就是數據的缺乏,使用強化學習訓練系統需要大量的重復試驗和試錯,要達到人類訓練15分鐘的水平,機器需要大概80小時的實時游戲,對于圍棋來說,要達到超人的水平,機器需要完成大約2000萬盤的自對弈。Deepmind最近的《星際爭霸2》AI則完成了大約200年的游戲時間。

這種海量重復試驗的方式在現實中顯然不可行,如果你想教一個機器人抓取目標,或者教一臺自動駕駛車學會駕駛,如此多的重復次數是不行的。純粹的強化學習只能適用于虛擬世界,那里的嘗試速度要遠遠快于現實世界。

這就引出了一個問題:為什么人和動物的學習速度這么快?

和自動駕駛系統不同,我們能夠建立直覺上真實的模型,所以不會把車開下懸崖。這是我們掌握的內部模型,那么我們是怎么學習這個模型的,如何讓機器學會這個模型?基本上是基于觀察學會的。

動物身上也存在類似的機制。預測是智能的不可或缺的組成部分,當實際情況和預測出現差異時,實際上就是學習的過程。

上圖顯示了嬰兒學習早期概念和語言的過程。嬰兒基本上是通過觀察學習這個世界的,但其中也有一小部分是通過交流。

自監督學習:預測與重建

以視頻內容預測為例,給定一段視頻數據,從其中一段視頻內容預測另外一段空白處的內容。自監督學習的典型場景是,事先不公布要空出哪一段內容,實際上根本不用真的留出空白,只是讓系統根據一些限制條件來對輸入進行重建。系統只通過觀察來完成任務,無需外部交互,學習效率更高。

機器在學習過程中被輸入了多少信息?對于純強化學習而言,獲得了一些樣本的部分碎片信息(就像蛋糕上的櫻桃)。對于監督學習,每個樣本獲得10-10000bit信息(蛋糕表面的冰層),對于半監督學習,每個樣本可獲得數百萬bit的信息(整個蛋糕內部)。

自監督學習的必要性

機器學習的未來在與自監督和半監督學習,而非監督學習和純強化學習。自監督學習就像填空,在NLP任務上表現很好(實際上是預測句子中缺失的單詞),但在圖像識別和理解任務上就表現一般。

為什么?因為這世界并不全是可預測的。對于視頻預測任務,結果可能有多重可能,訓練系統做出唯一一種預測的結果往往會得到唯一“模糊”的結果,即所有未來結果的“平均”。這并不是理想的預測。

我們需要利用隱變量來處理不確定性。訓練樣本只是整個可能的輸出集合的表示。

幾百年以來,理論的提出往往伴隨著之后的偉大發明和創造。深度學習和智能理論在未來會帶來什么?值得我們拭目以待。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 人工智能
    +關注

    關注

    1791

    文章

    47200

    瀏覽量

    238269
  • 深度學習
    +關注

    關注

    73

    文章

    5500

    瀏覽量

    121113

原文標題:圖靈獎得主Hinton和 LeCun最新演講:深度學習如何繼續革命?

文章出處:【微信號:AI_shequ,微信公眾號:人工智能愛好者社區】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    GPU深度學習中的應用 GPUs圖形設計中的作用

    隨著人工智能技術的飛速發展,深度學習作為其核心部分,已經成為推動技術進步的重要力量。GPU(圖形處理單元)深度
    的頭像 發表于 11-19 10:55 ?442次閱讀

    NPU深度學習中的應用

    隨著人工智能技術的飛速發展,深度學習作為其核心驅動力之一,已經眾多領域展現出了巨大的潛力和價值。NPU(Neural Processing Unit,神經網絡處理單元)是專門為
    的頭像 發表于 11-14 15:17 ?519次閱讀

    《AI for Science:人工智能驅動科學創新》第一章人工智能驅動的科學創新學習心得

    ,無疑為讀者鋪設了一條探索人工智能(AI)如何深刻影響并推動科學創新的道路。閱讀這一章后,我深刻感受到了人工智能技術科學領域的廣泛應用潛力以及其
    發表于 10-14 09:12

    FPGA做深度學習能走多遠?

    。FPGA的優勢就是可編程可配置,邏輯資源多,功耗低,而且賽靈思等都在極力推廣。不知道用FPGA做深度學習未來怎樣發展,能走多遠,你怎么看。 A:FPGA
    發表于 09-27 20:53

    深度學習算法嵌入式平臺上的部署

    隨著人工智能技術的飛速發展,深度學習算法各個領域的應用日益廣泛。然而,將深度學習算法部署到資源
    的頭像 發表于 07-15 10:03 ?1331次閱讀

    深度學習算法集成電路測試中的應用

    隨著半導體技術的快速發展,集成電路(IC)的復雜性和集成度不斷提高,對測試技術的要求也日益增加。深度學習算法作為一種強大的數據處理和模式識別工具,集成電路測試領域展現出了巨大的應用潛力。本文將從
    的頭像 發表于 07-15 09:48 ?972次閱讀

    深度學習中的時間序列分類方法

    的發展,基于深度學習的TSC方法逐漸展現出其強大的自動特征提取和分類能力。本文將從多個角度對深度學習時間序列分類中的應用進行綜述,探討常用
    的頭像 發表于 07-09 15:54 ?878次閱讀

    深度學習視覺檢測中的應用

    能力,還使得機器能夠模仿人類的某些智能行為,如識別文字、圖像和聲音等。深度學習的引入,極大地推動了人工智能技術的發展,特別是圖像識別、自然
    的頭像 發表于 07-08 10:27 ?701次閱讀

    基于深度學習的小目標檢測

    計算機視覺領域,目標檢測一直是研究的熱點和難點之一。特別是小目標檢測方面,由于小目標圖像中所占比例小、特征不明顯,使得檢測難度顯著增加。隨著深度
    的頭像 發表于 07-04 17:25 ?862次閱讀

    人工智能、機器學習深度學習是什么

    科技日新月異的今天,人工智能(Artificial Intelligence, AI)、機器學習(Machine Learning, ML)和深度
    的頭像 發表于 07-03 18:22 ?1268次閱讀

    深度學習與卷積神經網絡的應用

    隨著人工智能技術的飛速發展,深度學習和卷積神經網絡(Convolutional Neural Network, CNN)作為其中的重要分支,已經多個領域取得了顯著的應用成果。從圖像識
    的頭像 發表于 07-02 18:19 ?887次閱讀

    深度學習與傳統機器學習的對比

    人工智能的浪潮中,機器學習深度學習無疑是兩大核心驅動力。它們各自以其獨特的方式推動著技術的進步,為眾多領域
    的頭像 發表于 07-01 11:40 ?1328次閱讀

    深度學習自動駕駛中的關鍵技術

    隨著人工智能技術的飛速發展,自動駕駛技術作為其中的重要分支,正逐漸走向成熟。自動駕駛系統中,深度學習技術發揮著至關重要的作用。它通過模擬人腦的學習
    的頭像 發表于 07-01 11:40 ?755次閱讀

    FPGA深度學習應用中或將取代GPU

    現場可編程門陣列 (FPGA) 解決了 GPU 在運行深度學習模型時面臨的許多問題 在過去的十年里,人工智能的再一次興起使顯卡行業受益匪淺。英偉達 (Nvidia) 和 AMD 等公司的股價也大幅
    發表于 03-21 15:19

    詳解深度學習、神經網絡與卷積神經網絡的應用

    如今的網絡時代,錯綜復雜的大數據和網絡環境,讓傳統信息處理理論、人工智能與人工神經網絡都面臨巨大的挑戰。近些年,深度學習逐漸走進人們的視線
    的頭像 發表于 01-11 10:51 ?2025次閱讀
    詳解<b class='flag-5'>深度</b><b class='flag-5'>學習</b>、神經網絡與卷積神經網絡的應用
    主站蜘蛛池模板: 国产精品高清视频在线| 成年妇女免费播放| 成人网络电视破解版| 好姑娘社区在线视频| 欧美日韩精品久久久免费观看| 天天影视香色欲综合网| 亚洲综合AV色婷婷五月蜜臀| 99热这里只有 精品| 国产一级毛片在线| 欧美日韩另类在线观看视频| 亚洲精品无码AAAAAA片| xx69美国| 两个人的视频hd全免费| 香港成人社区| 抽插内射高潮呻吟V杜V| 猫咪av永久最新域名| 亚洲国产欧美另类| 成人区在线观看免费视频| 美女扒开腿让男生桶爽免费APP | 国产精品成人免费观看| 免费视频国产在线观看网站| 亚洲AV久久无码精品蜜桃| 嗯啊好爽视频| 黄色免费网址在线观看| 高h浪荡文辣文神奇宝贝| 2021精品乱码多人收藏| 午理论理影片被窝| 欧美一区二区在线观看| 解开白丝老师的短裙猛烈进入| xxxjapanese丰满奶水| 小泽玛丽av无码观看| 国产高清免费观看| 日韩精品无码视频一区二区蜜桃| 99国内精精品久久久久久婷婷| 久久大香萑太香蕉av| 亚洲视频在线观看| 九九热精品视频在线观看| 野花香在线观看免费高清播放视频 | 一级大乳奶| 亚洲国产日韩a精品乱码| 亚洲AV 中文字幕 国产 欧美|