色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

斯坦福AI Lab主任、NLP大師Manning:將深度學習應用于自然語言處理領域的領軍者

DPVg_AI_era ? 來源:lq ? 2019-07-07 07:47 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

斯坦福大學AI實驗室主任、人工智能和計算語言學領域的權威專家Christopher Manning教授,在美國長灘CVPR大會現(xiàn)場分享了人工智能研究的最新趨勢和挑戰(zhàn),以及他參加本次大會的思考。

Christopher Manning是斯坦福大學計算機與語言學教授,也是將深度學習應用于自然語言處理領域的領軍者。

他在斯坦福大學獲得博士學位之后,曾先后執(zhí)教于卡耐基梅隆大學和悉尼大學。Manning教授的研究專注于利用機器學習方法處理計算語言學問題,以使計算機能夠智能處理、理解并生成人類語言。Manning教授是ACM Fellow,AAAI Fellow 和ACL Fellow,他的多部著作,如《統(tǒng)計自然語言處理基礎》、《信息檢索導論》等成為經(jīng)典教材。

今年是Manning教授第一次參加CVPR大會。他受邀作為主講嘉賓參加了“視覺問題問答”研討會。他指導的論文“GQA, a new dataset for compositional question answering over real-world images”也在大會發(fā)表。

Chris Manning:受隔壁吳恩達影響,開始關注深度學習

Robin.ly主持人Margaret Laffan:Chris,很高興能在CVPR邀請到你參加我們的訪談!今天你參加了哪些討論?

Chris Manning:

謝謝!我今天參加了視覺問答研討會,聽到了一些非常有意思的報告,還參與了很多互動環(huán)節(jié)。參加問答研討會的都是這個領域中非常優(yōu)秀研究人員,我很高興成為這個群體中的一員,也讓我受益匪淺。

主持人:你最開始是一名計算語言學研究員,后來在自然語言處理和機器學習方面獲得了非常多的成就。能簡要介紹一下您在深度學習領域的一些經(jīng)歷嗎?

Chris Manning:

好的。我的年紀比較大了,見證了神經(jīng)網(wǎng)絡的第二次浪潮,即80年代末到90年代初的并行分布式處理或連接主義時代。那個時候我還是斯坦福大學的研究生,大衛(wèi)·魯姆哈特(David Rumelhart)還在斯坦福大學任教,我參加了他的神經(jīng)網(wǎng)絡課程,對這個領域有了一點了解,但并沒有把它作為我的研究領域。在過去的十幾年,我漸漸對深度學習產(chǎn)生了興趣。當時我的辦公室就在吳恩達(Andrew Ng)的隔壁,而Andrew非常熱衷于利用這方面的技術來促進通用認知的發(fā)展。我受到了他的影響,開始關注深度學習領域的研究。

Manning教授(圖片來源:Stanford University School of Engineering)

主持人:從學術界的角度來看,你覺得當時面臨的最大的挑戰(zhàn)是什么?

Chris Manning:

我不確定我跟學術界的想法是否一致。但對我來說,這個問題可以追溯到上世紀80年代,關于將神經(jīng)網(wǎng)絡作為人類語言模型的是否有效存在很多爭議。我們一直沒有搞清楚人類語言的成分結構,單詞如何組成短語,短語如何組成從句,從句又如何組成完整的句子。因為人們似乎沒有任何方法可以很好地模擬這種人類語言的層次遞歸結構,80年代包含全連接層的扁平神經(jīng)網(wǎng)絡架構在本世紀頭十年再次引起了人們的關注,所以我最初非常熱衷于這方面的研究。我于2009年至2013年間在斯坦福大學所完成的工作,很多都是跟Richard Socher合作的,主要目的就是了解如何構建樹形結構和遞歸神經(jīng)網(wǎng)絡,并深入探索這些概念。

從研究到產(chǎn)品

主持人:與此同時,我們也看到了行業(yè)技術的發(fā)展,誕生了Alexa之類的語音助手產(chǎn)品。你如何看待從學術研究到產(chǎn)品開發(fā)的轉(zhuǎn)化趨勢?

Chris Manning:

像Alexa和Siri那樣的對話助手對自然語言處理產(chǎn)生了巨大的影響。最開始這些變化跟深度學習和自然語言處理關系不大,因為基本上用的都是人工編輯的腳本。所以這些積極的影響是得益于基于規(guī)則的自然語言處理的再度出現(xiàn),跟機器學習和我從1995年到2010年主要研究的那種概率自然語言處理關系都不是很大。隨著時間推移,人們對這個領域的興趣日漸濃厚,我自己也開始研究如何構建基于神經(jīng)網(wǎng)絡的對話助手。我認為這是一個值得進一步推進的領域,不過難度很高。

上周末,在長灘舉行了ICML機器學習會議,來自微軟的幾位研究人員演示了如何打造對話助手。他們的觀點是,人們?nèi)匀粺o法訓練端到端的完善的神經(jīng)網(wǎng)絡對話助手,也不應該指望它們能夠正常工作。事實上,所有已經(jīng)部署在商業(yè)領域的系統(tǒng)都是機器學習和神經(jīng)網(wǎng)絡部件相結合的產(chǎn)物,許多功能仍然需要手工編碼。

斯坦福AI實驗室:研究方向五花八門

主持人:你現(xiàn)在負責管理斯坦福大學人工智能實驗室。考慮到人工智能的廣度和深度,能否介紹一下該實驗室當前的研究重點?

Chris Manning:

斯坦福AI實驗室實際上是一個結構相當松散的部門,并不需要一個負責人來告訴各個實驗室要做什么樣的研究。各個下屬實驗室的負責人可以自行決定研究課題。

但是你仍然可以看到明顯的趨勢。雖然有少數(shù)幾個方向仍然在使用手動搭建的控制系統(tǒng)進行機器人操作,但是深度學習的影響,甚至整個機器學習領域的影響是普遍存在的,幾乎覆蓋了所有領域。自然語言處理和視覺領域更是備受關注,幾乎成為了斯坦福人工智能實驗室的主要研究領域,這種情況跟十年前相比已經(jīng)大不相同。

在過去幾年中發(fā)生的另一個積極的變化是,我們聘請了幾位頂尖的機器人專家,開展了一些機器人相關的研究項目。機器學習依然是實驗室的重中之重,其中一些應用包括可持續(xù)計算之類特定的問題,以及強化學習在教育領域的應用等等??偟膩碚f研究方向涉獵很廣,五花八門。

斯坦福大學計算機系

計算機視覺的趨勢和挑戰(zhàn)

主持人:我們來聊一聊計算機視覺。這個領域一直在不斷發(fā)展、進步和成熟,那么你認為計算機視覺未來的趨勢和挑戰(zhàn)是什么?

Chris Manning:

沒錯,計算機視覺在近些年取得了巨大的進步。這個領域在十年前只能簡單的識別人臉,功能遠遠沒有現(xiàn)在這么強大;然而現(xiàn)在,計算機視覺已經(jīng)可以在很多領域發(fā)揮重要作用,盡管很多應用還比較初級?,F(xiàn)在這個領域已經(jīng)出現(xiàn)了巨大的商業(yè)機會,在醫(yī)療領域有著大規(guī)模的應用。比如我們現(xiàn)在可以收集很多醫(yī)學影像數(shù)據(jù),建立深度學習系統(tǒng),可以達到甚至超過人類醫(yī)生的水準。從這個角度來說是一個很大進步。

但從某種意義上說,計算機視覺領域的大多數(shù)應用仍然相對比較初級。我們還需要完成更多的解釋性任務,可以稱之為更高級別的計算機視覺,也就是看到一個場景,可以理解其中所發(fā)生的事情。比如如果有人經(jīng)過這里,就會知道有人在接受采訪。但是如果你把這個相同的場景展示給計算機視覺系統(tǒng),它會識別出有兩個人、有泛光燈、有攝像機,可能會知道這兩個人正在互相看著對方,但卻無法理解這個場景代表了一個什么樣的事件。因此,我認為推動更高語義層面的理解是視覺領域一個重要前沿課題。在這個層面,自然語言處理和視覺的關系更加緊密,無論是從文本還是圖像入手,要解決的問題都變得更加相似。我認為另一個重要領域是對世界上正在發(fā)生的事情有一個更全面的理解,將我們看到的二維場景以及三維模型聯(lián)系起來,可以幫助我們預測未來會發(fā)生什么。

Manning教授在CVPR2019接受專訪

主持人:我最近在意大利的一家博物館看到,他們可以讓訪客跟史前時代的立體景象進行互動,這樣的進步讓我覺得非常不可思議。自動駕駛領域在過去的幾年中取得的進展也非常驚人,你對此有什么看法?

Chris Manning:

這顯然是一個巨大的進步,讓人們看到了大范圍的商業(yè)應用。但我們?nèi)孕枰3忠欢ǖ闹斏鲬B(tài)度。一方面,要認可所取得的巨大進步,事情正在往好的方向發(fā)展,像Waymo那樣的自動駕駛汽已經(jīng)可以在灣區(qū)的道路上進行測試。另一方面,它也讓我們認識到現(xiàn)實世界存在很多特殊情況。人類對處理特殊的情況經(jīng)驗很豐富,因為我們對周圍的環(huán)境非常熟悉,了解很多常識。但是自動駕駛系統(tǒng)還遠沒有達到這樣的程度,它們非常善于在一切正常的情況下沿著車道行駛,對一些特殊情況卻無法做出判斷。比如路中央有一個人在揮舞旗子,車輛就很難判斷這個人到底是在干什么。

自然語言處理的技術挑戰(zhàn)

主持人:我接下來有一些技術性的問題。如您所知,許多基于特征的方法中會使用句法解析。現(xiàn)在的趨勢是,句法解析在特征工程中的使用得越來越少了,更多時候是用在端到端系統(tǒng)中。那么你如何看待句法解析研究的未來?

Chris Manning:

這個問題問得很好,這種說法也是正確的。縱觀自然語言處理的歷史,句法解析被視為基礎性的工作,有助于后續(xù)的研發(fā),比如打造機器翻譯工具。包括我在內(nèi)的許多自然語言處理領域的研究人員花了很多時間,想要找到更好的句法解析方法。實際上,針對當前的很多任務,句法解析的效果不一定是最好的。目前,人們已經(jīng)用最新的深度學習系統(tǒng)完成了一些任務,無論是問答系統(tǒng),還是機器翻譯。如果你正在訓練大型神經(jīng)網(wǎng)絡模型,其中并不包括明確的句法結構訓練,但是這樣的模型所呈現(xiàn)的數(shù)據(jù)仍然比我們之前獲得的任何結果都要好。這樣一來,你可能會覺得所有關于句法解析的研究可能都是有誤導性的。

我對此有幾點想法。一個是,如果你有一個包含大量數(shù)據(jù)的任務,你已經(jīng)可以在沒有明確句法結構信息的情況下端到端的訓練模型了,還能得到比較好的結果。為什么這種方法能夠獲得比較好的結果?事實上,我最近與一名學生John Hewitt一起研究了一些深層語境語言模型,如ELMo(“嵌入語言模型”)和BERT,它們都是基于大量文本數(shù)據(jù)進行訓練的,其中不涉及任何句法結構。而事實上,我們已經(jīng)能夠確定,像ELMo和BERT這樣的模型正在學習句法結構,它們接受了數(shù)十億字的文本訓練,已經(jīng)開始識別模式并理解其功能,并自動進行歸納。因此從某種意義上說,這些模型證明了語言學家對句法的看法基本上是正確的:識別結構信號的類型并理解什么是關系從句對于能夠用語言進行預測和讓這些模型學習句法結構是非常重要的。從某種意義上說,這是一種進步,因為我們使用機器學習能夠獲得更好的結果,并且最終可能會得到比人類的手動添加符號結構更豐富的表現(xiàn)方式。

但另一方面,這一切的前提是擁有大量文本。我認為在很多情況下,你擁有的數(shù)據(jù)事實上很有限,無法進行端到端訓練,而具有句法結構是一個非常好的先決條件。例如今天我聽了一個視覺問答報告,他們將視覺場景圖與句子結構中的非獨立部分進行了匹配,展示了如何為視覺問答任務提供輔助信息。幾乎在任何訓練數(shù)據(jù)量有限的地方,你都可以利用句子結構以及單詞相互關聯(lián)的額外信息來得到重要的結論。所以我認為在很多情況下,明確的規(guī)則和句法結構仍然適用。

主持人:能不能談一談我們應該如何將知識庫整合到基于神經(jīng)網(wǎng)絡的自然語言系統(tǒng)中?

Chris Manning:

這也是一個很好的問題。我認為這個問題還沒有完全解決。在我看來一個比較簡單的答案,也是目前最好的答案就是:就像我們在做其他任務時可以學習和參考一些文本數(shù)據(jù)一樣,我們也可以在做其他任務時試圖構建一個知識庫。目前,實現(xiàn)這一目標的最簡單的方法是將注意力機制引入到知識庫元素中。可以說注意力機制模式是自然語言處理中非常成功的技術,已經(jīng)被用在在新一代的神經(jīng)網(wǎng)絡翻譯系統(tǒng)中。對于諸如推理和獲取知識之類的工作,使用注意力機制就是比較好的方法。很多人在試圖打造類似鍵值神經(jīng)網(wǎng)絡,用一個鍵值信息來查看知識庫中的內(nèi)容,并將該內(nèi)容傳遞回神經(jīng)網(wǎng)絡。雖然我們始終感覺應該有其他方法可以更直接的獲取知識,但目前這是獲得神經(jīng)網(wǎng)絡所能學習或參考的外部知識最成功的方法了。

自然語言處理的商業(yè)化進程

主持人:下一個問題是,你認為自然語言處理中哪些成果比較容易商業(yè)化?

Chris Manning:

我認為這很大程度上取決于你所處的領域和你的目標。比如,最近神經(jīng)網(wǎng)絡機器翻譯已經(jīng)取得了巨大的成功,但只有一小部分公司對這一成果感興趣。我認為對于更一般的應用實例,最受歡迎的應該是對話助手。因為對于許多公司來說,吸引新客戶,或者與已有的客戶進行互動交流蘊含著巨大的機會,但是從事這些工作的人力還比較有限。如果這些工作可以通過對話助手完成,那么從吸引潛在客戶到客服工作就能實現(xiàn)一個巨大的進步。這樣的工作很有意義,但跟人類相比,打造成功的、具備豐富的專業(yè)知識的對話助手難度很大。從另一個角度來看,其中涉及到的有很多問題都比較簡單,或者會重復性很高。因此,只要讓一個對話助手能處理80%的簡單問題,或者吸引一些新的客戶,就能夠滿足大部分要求,并且適用于各個領域的公司。

主持人:現(xiàn)實中有沒有結合了計算機視覺和自然語言處理的應用場景讓您覺得比較有意思的?

Chris Manning:

坦率的說,目前能夠?qū)崿F(xiàn)商業(yè)化的技術并不多,能夠?qū)⒍呓Y合產(chǎn)生商業(yè)效益的就更少了。但是實際上這樣的機會還是有的,比如描述用手機攝像頭拍攝到的場景能夠幫助盲人和游客了解身處的環(huán)境。不過目前我還沒看到充分結合了兩種技術的比較成功的應用場景。(完)

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關注

    關注

    1806

    文章

    48987

    瀏覽量

    249134
  • 深度學習
    +關注

    關注

    73

    文章

    5560

    瀏覽量

    122767
  • 自然語言處理

    關注

    1

    文章

    628

    瀏覽量

    14147

原文標題:斯坦福AI Lab主任、NLP大師Manning:我的第一次CVPR

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    詳解《斯坦福 AI 報告 2025》:國產(chǎn)模型崛起、清華論文領先

    、記者及公眾深入了解AI領域的復雜性和最新動態(tài)。剛剛,「斯坦福AI指數(shù)報告2025」發(fā)布,與2024報告(全方位解讀「斯坦福2024
    的頭像 發(fā)表于 04-17 18:05 ?793次閱讀
    詳解《<b class='flag-5'>斯坦福</b> <b class='flag-5'>AI</b> 報告 2025》:國產(chǎn)模型崛起、清華論文領先

    自然語言處理與機器學習的關系 自然語言處理的基本概念及步驟

    Learning,簡稱ML)是人工智能的一個核心領域,它使計算機能夠從數(shù)據(jù)中學習并做出預測或決策。自然語言處理與機器學習之間有著密切的關系
    的頭像 發(fā)表于 12-05 15:21 ?1968次閱讀

    語音識別與自然語言處理的關系

    在人工智能的快速發(fā)展中,語音識別和自然語言處理NLP)成為了兩個重要的技術支柱。語音識別技術使得機器能夠理解人類的語音,而自然語言處理則讓
    的頭像 發(fā)表于 11-26 09:21 ?1476次閱讀

    什么是LLM?LLM在自然語言處理中的應用

    隨著人工智能技術的飛速發(fā)展,自然語言處理NLP領域迎來了革命性的進步。其中,大型語言模型(LLM)的出現(xiàn),標志著我們對
    的頭像 發(fā)表于 11-19 15:32 ?3633次閱讀

    ASR與自然語言處理的結合

    ASR(Automatic Speech Recognition,自動語音識別)與自然語言處理NLP)是人工智能領域的兩個重要分支,它們在許多應用中緊密結合,共同構成了
    的頭像 發(fā)表于 11-18 15:19 ?1018次閱讀

    循環(huán)神經(jīng)網(wǎng)絡在自然語言處理中的應用

    自然語言處理NLP)是人工智能領域的一個重要分支,它致力于使計算機能夠理解、解釋和生成人類語言。隨著
    的頭像 發(fā)表于 11-15 09:41 ?804次閱讀

    使用LSTM神經(jīng)網(wǎng)絡處理自然語言處理任務

    自然語言處理NLP)是人工智能領域的一個重要分支,它旨在使計算機能夠理解、解釋和生成人類語言。隨著深度
    的頭像 發(fā)表于 11-13 09:56 ?1143次閱讀

    自然語言處理的未來發(fā)展趨勢

    隨著技術的進步,自然語言處理NLP)已經(jīng)成為人工智能領域的一個重要分支。NLP的目標是使計算機能夠理解、解釋和生成人類
    的頭像 發(fā)表于 11-11 10:37 ?1713次閱讀

    自然語言處理與機器學習的區(qū)別

    在人工智能的快速發(fā)展中,自然語言處理NLP)和機器學習(ML)成為了兩個核心的研究領域。它們都致力于解決復雜的問題,但側(cè)重點和應用場景有所
    的頭像 發(fā)表于 11-11 10:35 ?1523次閱讀

    使用LLM進行自然語言處理的優(yōu)缺點

    自然語言處理NLP)是人工智能和語言領域的一個分支,它致力于使計算機能夠理解、解釋和生成人類語言
    的頭像 發(fā)表于 11-08 09:27 ?2428次閱讀

    Llama 3 在自然語言處理中的優(yōu)勢

    自然語言處理NLP)的快速發(fā)展中,我們見證了從基于規(guī)則的系統(tǒng)到基于機器學習的模型的轉(zhuǎn)變。隨著深度學習
    的頭像 發(fā)表于 10-27 14:22 ?726次閱讀

    GPU深度學習應用案例

    能力,可以顯著提高圖像識別模型的訓練速度和準確性。例如,在人臉識別、自動駕駛等領域,GPU被廣泛應用于加速深度學習模型的訓練和推理過程。 二、自然語
    的頭像 發(fā)表于 10-27 11:13 ?1330次閱讀

    AI大模型在自然語言處理中的應用

    AI大模型在自然語言處理NLP)中的應用廣泛且深入,其強大的語義理解和生成能力為NLP任務帶來了顯著的性能提升。以下是對
    的頭像 發(fā)表于 10-23 14:38 ?1522次閱讀

    AI智能化問答:自然語言處理技術的重要應用

    自然語言處理NLP)是人工智能領域的一個重要分支,它致力于使計算機能夠理解、解釋和生成人類語言。問答系統(tǒng)作為
    的頭像 發(fā)表于 10-12 10:58 ?1088次閱讀
    <b class='flag-5'>AI</b>智能化問答:<b class='flag-5'>自然語言</b><b class='flag-5'>處理</b>技術的重要應用

    圖像識別技術包括自然語言處理

    圖像識別技術與自然語言處理是人工智能領域的兩個重要分支,它們在很多方面有著密切的聯(lián)系,但也存在一些區(qū)別。 一、圖像識別技術與自然語言處理的關
    的頭像 發(fā)表于 07-16 10:54 ?1560次閱讀
    主站蜘蛛池模板: xxx在线播放 | 日韩一区二区三区四区区区 | 亚洲人交性视频 | 久久AV喷吹AV高潮欧美 | free高跟丝袜秘书hd | 日本高清无卡码一区二区久久 | 国产真实强被迫伦姧女在线观看 | 男人插女人逼逼 | 樱花草在线观看影院 | 午夜DV内射一区区 | 717影院理论午夜伦不卡久久 | 强伦姧久久久久久久久久 | 污污内射久久一区二区欧美日韩 | 欧美末成年videos丨 | 99成人在线| 国自产精品手机在线视频 | 欧美亚洲综合另类无码 | 国产亚洲精品高清视频免费 | 日韩 国产 欧美视频二区 | 久久免费精品一区二区 | 日产国产欧美韩国在线 | 亚洲精品电影久久久影院 | 国产在线观看免费观看 | 伊人香蕉在线播放视频免费 | G国产精品无马 | 亚洲精品色播一区二区 | 亚洲第一免费播放区 | 花蝴蝶免费观看影视 | 宅男午夜大片又黄又爽大片 | 亚洲成人免费看 | 伊人影院亚洲 | 成人伊人青草久久综合网 | 蜜芽在线播放免费人成日韩视频 | 色欲AV无码乱码精品国产 | 小黄文纯肉短篇 | 两个人看的www免费高清直播 | 国产欧美无码亚洲毛片 | 日日摸夜添夜夜夜添高潮 | 白百合在线观看 | 有人有片的观看免费视频 | 一个人在线观看免费高清视频在线观看 |

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品