色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

NLP遷移學習面臨的問題和解決

汽車玩家 ? 來源: AI公園 ? 作者:Muhammad Khalifa ? 2020-05-04 12:03 ? 次閱讀

導讀

NLP遷移學習中的一些問題,感覺有點道理。

自然語言處理(NLP)最近取得了巨大的進步,每隔幾天就會發布最新的結果。排行榜瘋狂是指最常見的NLP基準,如GLUE和SUPERGLUE,它們的得分越來越接近人類的水平。這些結果大多是通過超大(數十億個參數)模型從大規模數據集中遷移學習得到的。本文的目的是指出遷移學習面臨的問題和挑戰,并提出一些可能的解決方法。

計算量

目前NLP中最成功的遷移學習形式是序列遷移學習(STL),通常采用語言預訓練的形式(https://arxiv.org/abs/1801.06146)。最近幾乎所有的SOTA結果主要是由兩步方案驅動的:

大型通用語料庫上進行語言模型的建模(數據越多越好)。

Finetune目標任務上的模型(或其子集)。

ELMO, BERT, GPT, GPT-2, XLNET and RoBERTa是都是用的同樣的技術。這些方法的一個主要問題是巨大的資源需求。我所說的資源是指數據和計算能力。例如,據估計,在512個TPU v3芯片上訓練XLNET大約需要25萬美元,相比于在3/4的數據集中訓練的BERT,只提升了1-2%。

這就引出了下一個問題:

難以復現

可復現性已經成為機器學習研究中的一個問題。例如,Dacrema et al.)分析了18個不同的基于神經的推薦系統,發現其中只有7個經過合理的努力是可復現的。一般來說,為了能夠使用或建立在一個特定的研究理念,這個理念必須易于復現。由于需要大量的計算資源來訓練這些巨大的NLP模型并復現它們的結果,小型科技公司、初創公司、研究實驗室和獨立研究人員將無法競爭。

不再需要排行榜的任務

Anna Rogers在她的博客文章為什么“更多的數據和計算= SOTA”不是研究新聞。她認為,排行榜的主要問題在于,一個模型的排名完全取決于它的任務分數,而沒有考慮到達到這個分數所需的數據量、計算量或訓練時間。

Rohit Pgarg建議在任務精度和計算資源的二維尺度上比較模型的性能。請看下面的圖表。我建議我們添加另一個維度,它對應于模型訓練時候的數據量。但是,這種可視化并不能洞察哪種模型通常更好。還有Alexandr Savinov的一個非常有趣的評論,他建議使用算法能夠在一單位CPU時間內將多少輸入信息“打包”到一單位輸出(模型參數)表示中。

NLP遷移學習面臨的問題和解決

在比較模型性能時,使用計算資源作為任務準確性的額外度量

這不像是我們學習的方式

孩子們通過嘈雜、模糊的輸入和極少的監督來學習語言。一個孩子只要接觸一個單詞幾次,就能開始理解它的意思。這與STL設置中使用的訓練前步驟非常不同,在STL設置中,模型需要查看數百萬個上下文,其中包括一個特定的單詞,以掌握該單詞的含義。一個非常重要的問題是,是否可以只從原始文本中學習語義而不受任何外部監督。如果你對關于這個話題的twitter辯論感興趣,請訪問這個帖子:https://twitter.com/jacobandreas/status/1023246560082063366。如果答案是否定的,那就意味著在訓練前,這些模型實際上并沒有給他們真正的語言理解能力。然而,我們在日常生活中確實使用了遷移學習。例如,如果我們知道如何駕駛一輛手動汽車,我們就很容易利用所學的知識(如使用剎車和油門踏板)來駕駛一輛自動汽車。但這是人類學習語言的必經之路嗎?不太可能。然而,有人可能會說,只要一種方法能產生好的結果,它是否與人類的學習方式相似實際上并不重要。不幸的是,這些模型產生的一些好的結果是有問題的,我們將在下一節看到。

從另一個角度來看,人類在語言學習上采取了一種持續終生的學習方式。每當我們學習一個新任務時,這種學習通常不會干擾之前學習過的任務。另一方面,當新的訓練數據的分布發生變化的時候,普通的只在一個任務上訓練過的機器學習模型(包括遷移學習方法)通常不能利用過去學到知識,這種現象稱為災難性的遺忘。

膚淺的語言理解

語言建模任務的確是一個復雜的任務。例如這個句子:“The man in the red shirt is running fast. He must be…”,為了讓模型完成這句話,模型必須理解running fast通常意味著being in a hurry。那么這些預先訓練過的模型到底能理解多少語言呢?不幸的是,事實并非如此。Niven et al., 2019分析了BERT在論證推理和理解任務(ARCT)上的表現。ARCT可以這樣描述:給定一個聲明和一個推理,任務是選擇正確的證據,而不是另一個干擾項。正確的證明應符合,而其他證明應符合。參見下圖。

NLP遷移學習面臨的問題和解決

論證和理解任務的范例

值得一提的是,BERT在這項任務中獲得了極具競爭力的77%的準確性,僅比人類基線低3分。首先,這說明BERT有很強的推理能力。為了進一步調查,Niven et al., 2019使用了所謂的“探針”。也就是說,他們在這個任務上對BERT進行了finetune,但是對BERT的輸入只是正確的和可選的證據,而沒有暴露它的聲明或推理。假設是,如果BERT依賴證據中的一些統計線索,即使他只看到證據而沒有其他信息,他也應該表現良好。有趣的是,他們的研究結果顯示,與使用推理和聲明相比,他們的準確率僅下降了6%。這表明,BERT實際上并沒有進行任何類型的推理,但證明本身有足夠的線索,使BERT能夠達到如此高的準確性。值得注意的是,用一個沒有BERT所依賴的這些線索的對抗性的測試集代替了這個測試集,BERT只能達到53%的正確率,剛好高于隨機概率。

另一篇相關論文是“Can a Machine Really Finish your Sentence?”(Zellers et al., 2019)。他們考慮的是常識自然語言推理的任務,即機器應該選擇最可能的后續語句。例如,給定句子:“the team played so well”,系統應該選擇“They won the game”作為后續。作者認為,盡管BERT能夠達到86%的正確率(僅比人類基線低2點),如此高的正確率并不是由于BERT的高級推理形式,而是由于BERT學會了識別數據集特有的分布偏差。他們發現,通過對抗性篩選(一種旨在為任何可能的訓練、測試分割生成對抗性數據集的技術)創建一個更困難的數據集(HellaSwag), BERT準確率下降到53%。本文討論了數據集性能和任務性能之間的細微差別。對特定任務的數據集執行得非常好并不意味著解決了底層任務。

NLP遷移學習面臨的問題和解決

BERT在SWAG上的表現與HellaSwag相比

很明顯,這里發生了一些事情。是否可能BERT的好結果實際上是由它利用各種分布線索和偏差劫持目標數據集的能力驅動的?對BERT的研究結果進行更多的調查能得出其他類似的發現和結論嗎?如果是這樣,我相信我們不僅需要建立更好的模型,還需要建立更好的數據集。我們需要的數據集能夠真實地反映底層任務的困難,而不是讓模型很容易達到欺騙的準確性和排行榜分數。

高碳不環保

信不信由你,但是訓練這些壯觀的模型對環境有負面影響。Strubell等人比較了訓練大型Transformer架構產生的 排放與其他來源造成的排放。令人驚訝的是,使用神經結構搜索訓練單個Transformer arhcitectue所釋放的 大約是一輛汽車一生所釋放的 的6.0倍。

NLP遷移學習面臨的問題和解決

Schwartz等人介紹了他們所謂的“綠色人工智能”,這是一種實踐,使人工智能更加“高效”和“包容”。與我們上面討論的類似,他們強烈建議除了任務準確性之外,還應該增加效率。他們還認為,研究論文有必要包括“價格標簽”或模型訓練的成本。這將鼓勵對更高效、更少資源需求的模型架構的研究。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • nlp
    nlp
    +關注

    關注

    1

    文章

    488

    瀏覽量

    22033
  • 遷移學習
    +關注

    關注

    0

    文章

    74

    瀏覽量

    5559
收藏 人收藏

    評論

    相關推薦

    GPU深度學習應用案例

    能力,可以顯著提高圖像識別模型的訓練速度和準確性。例如,在人臉識別、自動駕駛等領域,GPU被廣泛應用于加速深度學習模型的訓練和推理過程。 二、自然語言處理 自然語言處理(NLP)是深度學習的另一個重要應用領域。GPU可以加速
    的頭像 發表于 10-27 11:13 ?383次閱讀

    大算力芯片面臨的技術挑戰和解決策略

    在灣芯展SEMiBAY2024《HBM與存儲器技術與應用論壇》上,億鑄科技創始人、董事長兼CEO熊大鵬發表了題為《超越極限:大算力芯片面臨的技術挑戰和解決策略》的演講。
    的頭像 發表于 10-23 14:50 ?411次閱讀

    預訓練和遷移學習的區別和聯系

    預訓練和遷移學習是深度學習和機器學習領域中的兩個重要概念,它們在提高模型性能、減少訓練時間和降低對數據量的需求方面發揮著關鍵作用。本文將從定義、原理、應用、區別和聯系等方面詳細探討預訓
    的頭像 發表于 07-11 10:12 ?1021次閱讀

    nlp邏輯層次模型的特點

    NLP(自然語言處理)邏輯層次模型是一種用于理解和生成自然語言文本的計算模型。它將自然語言文本分解為不同的層次,以便于計算機更好地處理和理解。以下是對NLP邏輯層次模型特點的分析: 詞匯層次 詞匯
    的頭像 發表于 07-09 10:39 ?378次閱讀

    nlp神經語言和NLP自然語言的區別和聯系

    來改變我們的行為和情感。NLP的目標是幫助人們實現自我改進,提高溝通技巧,增強領導力和解決問題的能力。 NLP的主要組成部分包括: 感知:了解我們如何接收和處理信息。 語言:研究我們如何使用語言來表達我們的思想和情感。 編程:研
    的頭像 發表于 07-09 10:35 ?768次閱讀

    nlp自然語言處理框架有哪些

    自然語言處理(Natural Language Processing,簡稱NLP)是計算機科學和人工智能領域的一個重要分支,它致力于使計算機能夠理解和處理人類語言。隨著技術的發展,NLP領域出現了
    的頭像 發表于 07-09 10:28 ?554次閱讀

    nlp自然語言處理的主要任務及技術方法

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能和語言學領域的一個分支,它研究如何讓計算機能夠理解、生成和處理人類語言。NLP技術在許多領域都有廣泛
    的頭像 發表于 07-09 10:26 ?1069次閱讀

    nlp自然語言處理模型怎么做

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能領域的一個重要分支,它涉及到計算機對人類語言的理解和生成。隨著深度學習技術的發展,NLP領域取得了顯著
    的頭像 發表于 07-05 09:59 ?624次閱讀

    nlp自然語言處理模型有哪些

    自然語言處理(Natural Language Processing,NLP)是計算機科學和人工智能領域的一個重要分支,旨在使計算機能夠理解、解釋和生成人類語言。以下是對NLP領域一些模型的介紹
    的頭像 發表于 07-05 09:57 ?713次閱讀

    深度學習nlp的區別在哪

    深度學習和自然語言處理(NLP)是計算機科學領域中兩個非常重要的研究方向。它們之間既有聯系,也有區別。本文將介紹深度學習NLP的區別。 深度學習
    的頭像 發表于 07-05 09:47 ?912次閱讀

    遷移學習的基本概念和實現方法

    遷移學習(Transfer Learning)是機器學習領域中的一個重要概念,其核心思想是利用在一個任務或領域中學到的知識來加速或改進另一個相關任務或領域的學習過程。這種方法在數據稀缺
    的頭像 發表于 07-04 17:30 ?1620次閱讀

    NLP技術在機器人中的應用

    人類語言的能力,還使得機器人能夠以更加自然、流暢的方式與人類進行交互,從而在服務、教育、醫療、娛樂等多個領域展現出巨大的潛力和價值。本文將從NLP技術在機器人中的應用現狀、核心技術、應用場景、面臨的挑戰及未來發展趨勢等方面進行深入探討。
    的頭像 發表于 07-04 16:04 ?497次閱讀

    NLP技術在人工智能領域的重要性

    在自然語言處理(Natural Language Processing, NLP)與人工智能(Artificial Intelligence, AI)的交織發展中,NLP技術作為連接人類語言與機器
    的頭像 發表于 07-04 16:03 ?524次閱讀

    NLP模型中RNN與CNN的選擇

    在自然語言處理(NLP)領域,循環神經網絡(RNN)與卷積神經網絡(CNN)是兩種極為重要且廣泛應用的網絡結構。它們各自具有獨特的優勢,適用于處理不同類型的NLP任務。本文旨在深入探討RNN與CNN
    的頭像 發表于 07-03 15:59 ?512次閱讀

    什么是自然語言處理 (NLP)

    自然語言處理(Natural Language Processing, NLP)是人工智能領域中的一個重要分支,它專注于構建能夠理解和生成人類語言的計算機系統。NLP的目標是使計算機能夠像人類一樣
    的頭像 發表于 07-02 18:16 ?1167次閱讀
    主站蜘蛛池模板: 大学生一级毛片免费看| 无码精品AV久久久奶水| 快穿之诱受双性被灌满h| 黄页网站18以下勿看免费| 国产麻豆AV伦| 国产精品看高国产精品不卡| 成人 迅雷下载| 扒开小处30p| YELLOW视频在线观看最新 | 久久免费大片| 久久精品成人免费网站| 久久国产乱子伦免费精品| 久久不射网| 就去色一色| 免费看欧美一级特黄a大片| 久久中文字幕亚洲| 美国一级黄色| 挠黑色超薄丝袜脚心vk40分钟| 美女直播喷水| 女人精69xxxxx舒心| 日本吃孕妇奶水免费观看| 色欲AV久久综合人妻蜜桃| 无套内射纹身女视频| 亚婷婷洲AV久久蜜臀无码| 亚洲欧美日韩人成| 在线免费观看视频a| 68日本xxxxxxxx79| WWW国产精品人妻一二三区| 第四色播日韩AV第一页| 国产精品日本不卡一区二区| 国产乱国产乱老熟300部视频| 好男人WWW免费高清视频在线| 久久精品国产只有精品 | 攻把受做得合不拢腿play| 国产高清免费视频免费观看| 国产午夜精品理论片在线| 久久99r66热这里有精品| 男男免费看| 少妇人妻偷人精品视蜜桃| 亚洲精品视频在线观看免费| 中国女人精69xxxxxx视频|