色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

微軟DeBERTa登頂SuperGLUE排行榜

深度學習自然語言處理 ? 來源:機器之心 ? 作者:機器之心 ? 2021-02-05 09:25 ? 次閱讀

最新的 NLU 測試基準 SuperGLUE 中,微軟提出的 DeBERTa 登頂榜單,并超越人類。

去年 6 月,來自微軟的研究者提出一種新型預訓練語言模型 DeBERTa,該模型使用兩種新技術改進了 BERT 和 RoBERTa 模型。8 月,該研究開源了模型代碼,并提供預訓練模型下載。最近這項研究又取得了新的進展。 微軟最近通過訓練更大的版本來更新 DeBERTa 模型,該版本由 48 個 Transformer 層組成,帶有 15 億個參數。本次擴大規模帶來了極大的性能提升,使得單個 DeBERTa 模型 SuperGLUE 上宏平均(macro-average)得分首次超過人類(89.9 vs 89.8),整體 DeBERTa 模型在 SuperGLUE 基準排名中居于首位,以 90.3 的得分顯著高出人類基線(89.8)。目前該模型以 90.8 的宏平均(macro-average)得分高居 GLUE 基準排名的首位。

SuperGLUE 排行榜,2021 年 1 月 6 日。 DeBERTa 是一種基于 Transformer,使用自監督學習在大量原始文本語料庫上預訓練的神經語言模型。像其他 PLM 一樣,DeBERTa 旨在學習通用語言表征,可以適應各種下游 NLU 任務。DeBERTa 使用 3 種新技術改進了之前的 SOTA PLM(例如 BERT、RoBERTa、UniLM),這 3 種技術是:

分解注意力(disentangled attention)機制;

增強型掩碼解碼器;

一種用于微調的虛擬對抗訓練方法。

ee5e6fae-603d-11eb-8b86-12bb97331649.png

DeBERTa 的架構。 最近該研究在 arXiv 上提交了 DeBERTa 的最新論文,文中詳細介紹了 DeBERTa 模型的方法及最新的實驗結果。

論文鏈接:https://arxiv.org/pdf/2006.03654v2.pdf 下面我們來詳細看一下該模型用到的 3 種新技術。 分解注意力機制 與 BERT 不同,DeBERTa 中每個詞使用兩個對其內容和位置分別進行編碼的向量來表示,使用分解矩陣分別根據詞的內容和相對位置來計算詞間的注意力權重。采用這種方法是因為:詞對的注意力權重(衡量詞與詞之間的依賴關系強度)不僅取決于它們的內容,還取決于它們的相對位置。例如,「deep」和「learning」這兩個詞在同一個句子中接連出現時的依賴關系要比它們出現在不同句子中強得多。 增強型掩碼解碼器 與 BERT 一樣,DeBERTa 也使用掩碼語言建模(MLM)進行了預訓練。DeBERTa 將語境詞的內容和位置信息用于 MLM。分解注意力機制已經考慮了語境詞的內容和相對位置,但并沒有考慮這些詞的絕對位置,但這在很多情況下對于預測至關重要。 例如句子「a new store opened beside the new mall」其中,「store」和「mall」在用于預測時被掩碼操作。盡管兩個詞的局部語境相似,但是它們在句子中扮演的句法作用是不同的。(例如,句子的主角是「store」而不是「mall」)。

這些句法上的細微差別在很大程度上取決于詞在句子中的絕對位置,因此考慮單詞在語言建模過程中的絕對位置是非常重要的。DeBERTa 在 softmax 層之前合并了絕對詞位置嵌入,在該模型中,模型根據詞內容和位置的聚合語境嵌入對被掩碼的詞進行解碼。 規模不變的微調 虛擬對抗訓練是一種提升模型泛化性的正則化方法。它通過提高模型對對抗樣本(adversarial examples)的魯棒性來實現這一點,其中對抗樣本是通過對輸入進行細微的干擾而創建的。對模型進行正則化,以便在給出一種特定任務樣本時,該模型產生的輸出分布與在該樣本的對抗型干擾版本上產生的輸出分布相同。對于 NLU 任務,干擾被用于詞嵌入,而不是原始的詞序列。

但是,嵌入向量的值范圍(范數)在不同的詞和模型上有所不同。對于具有數十億個參數的較大模型,方差會比較大,從而導致對抗訓練不穩定性。受層歸一化的啟發,為了提高訓練穩定性,該研究開發了一種規模不變的微調(Scale-Invariant-Fine-Tuning (SiFT))方法,該方法將干擾用于歸一化的詞嵌入。 實驗 該研究用實驗及結果評估了 DeBERTa 在 NLU 和 NLG 的各種 NLP 任務上的性能。 在 NLU 任務上的主要結果 受此前 BERT、 RoBERTa 和 XLNet 等論文的影響,該研究使用大型模型和基礎模型進行結果展示。 大型模型性能結果如下表所示:

f06a7432-603d-11eb-8b86-12bb97331649.png

表 1:在 GLUE 開發集上的結果對比。 表 1 總結了 8 個 GLUE 任務的結果,其中將 DeBERTa 與具有類似 transformer 結構的一些模型進行了比較,這些模型包括 BERT、 RoBERTa、XLNet、ALBERT 以及 ELECTRA。注意,RoBERTa、 XLNet 以及 ELECTRA 訓練數據的大小為 160G,而 DeBERTa 訓練數據大小為 78G。 該研究還對 DeBERTa 進行了一些其他的基準評估:

問答:SQuAD v1.1、SQuAD v2.0、RACE、ReCoRD 以及 SWAG;

自然語言推理:MNLI;

命名體識別(NER):CoNLL-2003。

結果如表 2 所示。

f1d2e9ee-603d-11eb-8b86-12bb97331649.png

表 2:在 MNLI in/out-domain、 SQuAD v1.1、 SQuAD v2.0、 RACE、 ReCoRD、 SWAG、 CoNLL 2003 NER 開發集上的結果展示。 基礎模型性能比較 基礎模型預訓練的設置與大型模型的設置類似,基礎模型結構遵循 BERT 的基礎模型結構,性能評估結果如表 3 所示。

f3227da0-603d-11eb-8b86-12bb97331649.png

表 3:在 MNLI in/out-domain (m/mm)、SQuAD v1.1 和 v2.0 開發集上的結果對比。 生成任務結果比較 該研究在數據集 Wikitext-103 上,進一步對帶有自回歸語言模型 (ARLM) 的 DeBERTa 模型進行了評估。

f38363ae-603d-11eb-8b86-12bb97331649.png

表 4:在 Wikitext-103 數據集上,不同語言模型對比結果。 DeBERTa_base 在開發集和測試集上都獲得了比較好的 PPL 結果,MLM 和 ARLM 聯合訓練進一步降低了 PPL,這展示了 DeBERTa 的有效性。 模型分析 消融實驗:為了驗證實驗設置,該研究從頭開始預訓練 RoBERTa 基礎模型。并將重新預訓練的 RoBERTa 稱為 RoBERTa-ReImp_base。為了研究 DeBERTa 模型不同部分對性能的影響,研究人員設計了三種變體:

EMD 表示沒有 EMD 的 DeBERTa 基礎模型;

C2P 表示沒有內容到位置 term 的 DeBERTa 基礎模型;

P2C 表示沒有位置到內容 term 的 DeBERTa 基礎模型。由于 XLNet 也使用了相對位置偏差,所以該模型與 XLNet + EMD 模型比較接近。

f3edd4fa-603d-11eb-8b86-12bb97331649.png

表 5 總結了 DeBERTa 基礎模型消融實驗在四個基準數據集上的結果。 預訓練效率 為了研究模型預訓練的收斂性,該研究以預訓練 step 數的函數的形式可視化微調下游任務的性能,如圖 1 所示,對于 RoBERTa ReImp 基礎模型和 DeBERTa 基礎模型,該研究每 150K 個預訓練 step 存儲一個檢查點,然后對兩個有代表性的下游任務(MNLI 和 SQuAD v2.0)上的檢查點進行微調,之后分別報告準確率和 F1 得分。

f5715fcc-603d-11eb-8b86-12bb97331649.png

圖 1:DeBERTa 及其相似模型在 MNLI 、 SQuAD v2.0 開發集上的預訓練性能曲線。 擴展至 15 億參數 更大的預訓練模型會顯示出更好的泛化結果。因此,該研究建立了一個擁有 15 億個參數的 DeBERTa,表示為 DeBERTa_1.5B,該模型有 48 層。在 160G 預訓練數據集上訓練 DeBERTa_1.5B,并且使用數據集構造了一個大小為 128K 的新詞匯表。

f6a34504-603d-11eb-8b86-12bb97331649.png

表 6:DeBERTa_1.5B 和其他幾種模型在 SuperGLUE 測試集上的結果。

原文標題:NLU新里程碑,微軟DeBERTa登頂SuperGLUE排行榜,顯著超越人類

文章出處:【微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

責任編輯:haq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 微軟
    +關注

    關注

    4

    文章

    6591

    瀏覽量

    104027
  • 神經網絡
    +關注

    關注

    42

    文章

    4771

    瀏覽量

    100720

原文標題:NLU新里程碑,微軟DeBERTa登頂SuperGLUE排行榜,顯著超越人類

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    潤和軟件榮登2024智慧金融企業排行榜

    近日,DBC德本咨詢發布“2024人工智能分類排行榜”,江蘇潤和軟件股份有限公司(以下簡稱“潤和軟件”)憑借在金融領域的深厚技術實力和創新應用,入選技術與應用層中“2024智慧金融企業排行”榜單。
    的頭像 發表于 11-13 16:12 ?404次閱讀

    調用云數據庫更新排行榜

    內容,并能夠向朋友或群體推薦特定的項目。 需求功能模塊 主題選擇:用戶可以選擇不同的主題(如“電影”、“音樂”、“書籍”等)。 排行榜展示: 顯示每個主題下的排行榜(如TOP 10電影、TOP 5推薦書
    發表于 09-03 16:03

    2024年激光位移傳感器品牌排行榜前十最新名單

    關于2024年激光位移傳感器品牌排行榜前十最新名單,由于市場上品牌眾多且競爭激烈,具體的排名可能會因時間、市場變化及評價標準的不同而有所差異。以下是根據當前2024年可獲得的信息,結合市場表現
    的頭像 發表于 09-03 14:49 ?1736次閱讀
    2024年激光位移傳感器品牌<b class='flag-5'>排行榜</b>前十最新名單

    IBM入選2024世界物聯網500強排行榜

    近日,世界物聯網 500強峰會在北京成功舉行。本次峰會圍繞“智聯世界 共贏未來”主題,舉行了開幕式、500強企業論壇、國際合作論壇、發布 2024世界物聯網 500強排行榜等活動。IBM 大中華區
    的頭像 發表于 08-16 11:19 ?969次閱讀

    博泰車聯網五度蟬聯“世界物聯網排行榜500強企業”

    7月19日,2024世界物聯網500強峰會在北京隆重召開,并發布了全球矚目的世界物聯網500強排行榜。?憑借領先的技術實力和行業影響力,?博泰車聯網再度入選該榜單,位列銅第4位,總第304位
    的頭像 發表于 07-23 10:31 ?764次閱讀

    安全光幕十大品牌排行榜最新2024年

    隨著工業自動化的快速發展,安全光幕作為工業自動化領域的“守護神”,安全光幕作為重要的安全保護裝置得到了廣泛應用,其重要性不言而喻。快來看看2024年的十大品牌排行榜,你會為誰打call呢?
    的頭像 發表于 06-27 13:51 ?603次閱讀
    安全光幕十大品牌<b class='flag-5'>排行榜</b>最新2024年

    2023中國PCB百強(TOP 100)排行榜

    2023中國PCB百強(TOP 100)排行榜
    的頭像 發表于 06-06 16:11 ?4388次閱讀
    2023中國PCB百強(TOP 100)<b class='flag-5'>排行榜</b>

    HarmonyOS開發案例:【排行榜頁面】

    本課程使用聲明式語法和組件化基礎知識,搭建一個可刷新的排行榜頁面。在排行榜頁面中,使用循環渲染控制語法來實現列表數據渲染,使用@Builder創建排行列表布局內容,使用裝飾器@State、@Prop、@Link來管理組件狀態。
    的頭像 發表于 04-30 16:16 ?1970次閱讀
    HarmonyOS開發案例:【<b class='flag-5'>排行榜</b>頁面】

    2023工業機器人排行榜發布

    近日,由中國科學院主管、科學出版社主辦的商業期刊《互聯網周刊》(CIW)聯合德本咨詢(DBC)、中國社會科學院信息化研究中心(CIS)發布了“2023工業機器人排行榜”。
    的頭像 發表于 04-20 09:24 ?856次閱讀
    2023工業機器人<b class='flag-5'>排行榜</b>發布

    銳成芯微再次榮登中國IC設計排行榜TOP 10 IP公司榜單

    近日,“2024中國IC設計Fabless100排行榜”公布,銳成芯微憑借在IP領域的持續創新能力和競爭優勢,獲得行業與評審廣泛認可,繼2023年初次上榜后,再次榮登“TOP 10 IP公司”榜單,綜合排名第四。
    的頭像 發表于 04-02 18:16 ?1239次閱讀
    銳成芯微再次榮登中國IC設計<b class='flag-5'>排行榜</b>TOP 10 IP公司榜單

    敏芯股份再次入選中國IC設計排行榜TOP10傳感器公司

    4月1日下午,全球最大的技術信息集團ASPENCORE旗下中文媒體站《電子工程專輯》發布了2024年最新“中國IC設計100家排行榜”,向半導體業界人士展示了100家中國最優秀的IC設計公司,敏芯股份再次入選傳感器TOP10榜單。
    的頭像 發表于 04-02 11:41 ?953次閱讀
    敏芯股份再次入選中國IC設計<b class='flag-5'>排行榜</b>TOP10傳感器公司

    炬芯科技上榜2024中國IC設計Fabless 100排行榜之TOP10無線連接公司

    由全球電子技術領域知名媒體集團AspenCore主辦的2024國際集成電路展覽會暨研討會(IIC)在上海國際會議中心成功舉辦,并于會議期間重磅發布了2024年中國IC設計Fabless 100排行榜
    的頭像 發表于 04-02 11:33 ?1172次閱讀
    炬芯科技上榜2024中國IC設計Fabless 100<b class='flag-5'>排行榜</b>之TOP10無線連接公司

    中穎電子入選Fabless 100排行榜TOP10微控制器公司榜單

    中穎電子入選 AspenCore 2024中國IC設計Fabless 100排行榜TOP10微控制器公司榜單
    的頭像 發表于 04-01 14:12 ?553次閱讀
    中穎電子入選Fabless 100<b class='flag-5'>排行榜</b>TOP10微控制器公司榜單

    山工機械榮登2023中國工程機械用戶品牌關注度排行榜

    2024年1月,中國路面機械網發布了《2023中國工程機械用戶品牌關注度排行榜》。
    的頭像 發表于 02-25 14:17 ?557次閱讀
    山工機械榮登2023中國工程機械用戶品牌關注度<b class='flag-5'>排行榜</b>

    京東方位列2023 IFI專利授權排行榜全球第15位

    1月9日,全球知名專利服務機構IFI Claims發布的2023年度統計報告顯示,BOE(京東方)位列美國專利授權排行榜全球第15位,連續第六年躋身全球TOP20,成為為數不多上榜的中國企業之一。
    的頭像 發表于 01-10 09:09 ?929次閱讀
    主站蜘蛛池模板: 母狗黄淑珍| 亚洲伊人情人综合网站| 边摸边吃奶边做带声音| 快播h动漫网站| 一本道高清码v京东热| 国产欧美一本道无码| 上原结衣快播| 不卡的在线AV网站| 欧美亚洲日韩国码在线观看| 99er热精品视频国产免费| 葵司中文第一次大战黑人| 怡春院院日本一区二区久久| 久久精品熟女亚洲AV国产| 欧美乱妇15p图| 中文字幕高清在线观看| 国产欧美国产综合第一区| 欧美人与善交大片| 国产成人在线播放| 女人高潮了拔出来了她什么感觉| 成人毛片100部免费看| 尤物国产在线精品三区| 泰国淫乐园实录| 国语精彩对白2021| 亚洲人成无码久久久AAA片 | 四虎一级片| 果冻传媒完整免费网站在线观看| 中文在线日韩亚洲制服| 男人被绑着强行摸j| 《乳色吐息》无删减版在线观看| 花蝴蝶hd免费| 午夜性伦鲁啊鲁免费视频| www在线小视频免费| 欧美性黑吊xxx| 97夜夜澡人人爽人人模人人喊| 国产精华av午夜在线观看| 亚洲国产综合另类视频| 国产精品96久久久久久AV网址| 色拍拍噜噜噜啦啦新网站| 国产免费阿v精品视频网址| 亚洲国产AV无码综合在线| 日本丝袜护士|