色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一種將信息直接編碼到預訓練的語言模型中的結構

深度學習自然語言處理 ? 來源:船長尼莫 ? 作者:船長尼莫 ? 2022-12-05 10:15 ? 次閱讀

邊界信息的挖掘,對于NER的任務是非常重要的,這種類似于分詞的功能,能夠很好的挖掘到詞語,并且把一個句子拆分成多個詞語的構成。

以目前世界杯火的例子來說:“葡萄牙有望得到冠軍”,可以按照邊界信息,分割成為以下的組成,接著有了這種邊界信息,我們可以用來做很多的上游任務。

在之前的工業技術分享中,NER的上一步就是由分割任務來做的。

NLP基礎任務的極限在哪里?一文告訴你工業界是如何做NER的

下面我們進行本次論文的分享:

Unsupervised Boundary-Aware Language Model Pretraining for ChineseSequence Labeling | EMNLP2022

在這項工作中,提出了無監督的計算邊界,并提出了一種將信息直接編碼到預訓練的語言模型中的結構,從而產生了邊界感知BERT(BABERT)。船長在此處辯證的分析一下,無監督有什么好處,有什么壞處?

好處:

可以節省大量的人力,本模型可以直接用于中文的邊界信息計算任務中。

壞處:

有監督的結果一般都比無監督的結果要好,從結果的角度來看,肯定是受限的。

實際上這里最好是利用半監督學習,使用到之前標注的詞庫信息,在進而進行無監督的訓練,這點才是值得肯定的地方。

模型結構

0f5fb8a8-73b4-11ed-8abf-dac502259ad0.png

圖1:邊界感知預訓練語言模型的總體架構。總共由三部分組成:(a) 邊界信息提取器;(b)邊界感知表示;(c) 邊界感知BERT學習。

邊界信息提取器

其實為什么第一個部分是邊界信息提取器呢?因為我們的模型需要先猜一個結果,然后再判斷他是否“正確”,再進行迭代來不斷地進行學習。那么具體如何提取邊界信息,本文分成了兩個步驟。

從原始語料庫中收集所有N-grams,以建立一個詞典,在其中我們統計每個詞的頻率,并過濾掉低頻項,去除掉噪聲詞語。

考慮到詞頻不足以表示漢語上下文中的靈活邊界關系,本文進一步計算了兩個無監督指標,這兩個指標可以捕獲語料庫中的大部分邊界信息。在下文中,我們將詳細描述這兩個指標。

公式預警,讀者覺得復雜可以直接調到邊界信息感知的BERT學習

點交互信息 PMI

給定一個N-gram,將其分成兩個子字符串,并計算它們之間的互信息(MI)作為候選。然后,我們枚舉所有子字符串對,并選擇最小MI作為總PMI,以估計緊密性。設g={c1…cm}是由m個字符組成的N-gram,使用以下公式計算PMI:

0f83bbf4-73b4-11ed-8abf-dac502259ad0.png

p()代表了文章中出現的概率。當m等于1的時候PMI這時也是最大的,即為1。除去這種情況后,如果PMI指數很高,也就意味著總字符串和子字符串有著同時出現的概率,例如總字符串“貝克漢姆”和子字符串“貝克”+“漢姆”,這時就讓N-Gram “貝克”和“漢姆”更像是兩個實體。

左右交叉熵

給定一個N-gram g,我們首先收集到左邊的鄰接字符集合Sl,之后我們用g和Sl的條件概率來計算左交叉熵:

0fb0015a-73b4-11ed-8abf-dac502259ad0.png

右交叉熵是同理的:

0fc5f398-73b4-11ed-8abf-dac502259ad0.png

直觀地說,左右交叉熵(LRE)代表了N-gram中相鄰字符的數量。對于較低的LRE“漢姆”,表示它更可能是短語或實體的一部分。相反,具有更高LRE(例如,“貝克漢姆”),說明和上下文的交互很多,那么它很可能是單獨的一個實體,這點是毋庸置疑的,越高說明當前的詞語是單個實體的概率更大。作者使用的指標能夠感知到什么是上下文,什么是實體,從而更好的做好邊界計算的邏輯。

最后,我們利用PMI和LRE來測量中文上下文中的靈活邊界關系,然后用上面的無監督統計指標更新每個N-gram。

邊界信息表示

邊界信息計算的核心就是上下文和實體之間的差別,針對于字符Ci,我們抽取出和Ci相關的N-Gram來代表Ci的上下文。設計一種組合方法,通過使用特定的條件和規則來集成S中N個詞的統計特征,旨在避免統計信息的稀疏性和上下文獨立性限制。

具體地,我們將信息合成方法分為PMI和熵表示。首先,我們連接了所有和字符Ci相關的N-Gram,去形成PMI的表達:

0fd7a502-73b4-11ed-8abf-dac502259ad0.png

a=1+2+··+N是包含ci的N-Gram的數量。注意,在PMI表示中,每個N的位置是固定的。我們嚴格遵循N-gram長度的順序和ci在N-gram中的位置來連接它們對應的PMI,確保位置和上下文信息可以被編碼到交叉熵信息中:

0fed50dc-73b4-11ed-8abf-dac502259ad0.png

從而也就有了公式5,就是左右交叉熵。那么最終,我們就有了邊界信息的表示,通過PMI和左右交叉熵的整合可以得到:

101e516e-73b4-11ed-8abf-dac502259ad0.png

公式6很有意思,作者在文中提到,三個表達方式的順序是很特殊的,左邊的交叉熵放在了最左面,而右邊的交叉熵放在了最右邊,中間的是用來計算當前是否是實體的概率。那么我們可以這么理解這個公式,ei代表了 前文+實體+后文,也就是一種清晰的解決方案。

這個地方關于公式的地方讀者可以自行跳過,下面我們來舉一個具體的例子幫助理解,詳見圖2:

10389830-73b4-11ed-8abf-dac502259ad0.png

圖2:字符邊界感知表示的“”在文本中“南京市江大橋”

圖2顯示了邊界感知表示的示例。首先整句話呢,會按照N-Gram (N=3)來進行拆分,所以我們有了下面的字符串序列,接著,我們三個公式開始計算各自的數值,LE包含了三個詞,而PMI包含了所有詞,RE包含了三個詞,最終會把三個計算的數值并在一起作為邊界信息感知的表達方式。

邊界信息感知的BERT學習

邊界信息感知的BERT是BERT預訓練模型中的一種,在這節中,我們主要描述了如何把邊界信息引入到BERT的訓練中。

邊界信息感知的目標訓練

那么如何讓BERT擁有這種信息的感知呢?實際上用MSE來規范BERT的hidden states,讓這個和公式6中的ei來不斷地接近。詳細公式如公式7所示,其中h代表了BERT中某一層的隱狀態,W是可學習參數矩陣。

1079e57e-73b4-11ed-8abf-dac502259ad0.png

不過話說回來,船長平日做實驗的時候,很少有發現MSE loss針對這種回歸有效的,因為兩個向量本身就在不同的向量空間,如何讓他們兩個接近呢?其實很難。

最終BERT的預訓練損失函數,由兩部分組成,也即公式7+完形填空任務。完形填空任務類似于把某一個單詞挖空,然后讓BERT去預測這個單詞,這種方式能夠加強BERT對于上下文的感知能力。

序列標注任務的微調

微調的方法是很簡單粗暴的,對于序列標注的任務,只需要序列標注的信號,輸入文本,模型的輸出層加上CRF進行預測。因為本模型和BERT的結構幾乎一樣,所以在使用起來可以完全按照BERT+CRF的框架來走。

如何引入詞語?

回到了我們做NER的初心,如何利用好詞語的信息,是增強NER的關鍵之一,那么本文的方式就是利用Adapter的方式來引入詞語的信息,他的方法和我之前分析過的論文是類似的,感興趣的讀者可以看看我之前發的文章。

如何把單詞插入到預訓練模型?達摩院研究告訴你答案


數據集

1088b68a-73b4-11ed-8abf-dac502259ad0.png

圖3:基準數據集的句子數統計。對于沒有測試部分的數據集,我們從相應的訓練集中隨機選擇10%的句子作為測試集。

本文的數據集有三種類型,分別是NER (Named Entity Recognition), POS (Part-Of-Speech Tagging),CWS (Chinese Word Segmentation)。

結果

109e538c-73b4-11ed-8abf-dac502259ad0.png

從結果的角度來講,提升是比較明顯的,相對于原始的BERT,很多數值都已經刷到了SOTA,確實是一篇很容易借鑒的工作。

寫在最后

在本文,提出了BABERT,一種用于中文序列標記的新的無監督邊界感知預訓練模型。在BABERT中,給定一個中文句子,使用無監督統計信息計算邊界感知表示以捕獲邊界信息,并在預訓練期間將這些信息直接注入BERT的參數學習。與之前的工作不同,BABERT開發了一種以無監督方式利用邊界信息的有效方法,從而減輕了基于監督詞典的方法的局限性。在三個不同任務的十個基準數據集上的實驗結果表明,方法非常有效,并且優于其他中文的預訓練模型。此外,與監督詞典擴展相結合可以在大多數任務上實現進一步的改進和最先進的結果。

接下來船長提幾個問題,讀者可以思考一下:

我想用這個模型,如何使用呢?

首先,先拿論文的框架訓練出BABERT,然后在自己的語料上訓練/微調,最終可以當做一個普通BERT來使用,我們可以做NER任務,也可以去做CWS任務。

這個模型好用嗎?

客觀的來說,這個模型有一些地方很難調參,比如說MSE Loss,還有MSE Loss中的隱狀態的層數,我們并不知道哪一層的結果最好。總不能每次實驗都去確定層數吧?這點很困難。除了上述的,其他的都比較好復現。






審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • SCWS技術
    +關注

    關注

    0

    文章

    2

    瀏覽量

    5822
  • PMI
    PMI
    +關注

    關注

    0

    文章

    15

    瀏覽量

    9254
  • NER
    NER
    +關注

    關注

    0

    文章

    7

    瀏覽量

    6209

原文標題:如何將邊界信息融入到預訓練模型中?最新頂會告訴你答案

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    KerasHub統、全面的訓練模型

    深度學習領域正在迅速發展,在處理各種類型的任務訓練模型變得越來越重要。Keras 以其用戶友好型 API 和對易用性的重視而聞名,始終處于這
    的頭像 發表于 12-20 10:32 ?69次閱讀

    什么是大模型、大模型是怎么訓練出來的及大模型作用

    ,基礎模型。 ? 大模型個簡稱,完整的叫法,應該是“人工智能訓練模型”。
    的頭像 發表于 11-25 09:29 ?1231次閱讀
    什么是大<b class='flag-5'>模型</b>、大<b class='flag-5'>模型</b>是怎么<b class='flag-5'>訓練</b>出來的及大<b class='flag-5'>模型</b>作用

    直播預約 |數據智能系列講座第4期:訓練的基礎模型下的持續學習

    鷺島論壇數據智能系列講座第4期「訓練的基礎模型下的持續學習」10月30日(周三)20:00精彩開播期待與您云相聚,共襄學術盛宴!|直播信息報告題目
    的頭像 發表于 10-18 08:09 ?215次閱讀
    直播預約 |數據智能系列講座第4期:<b class='flag-5'>預</b><b class='flag-5'>訓練</b>的基礎<b class='flag-5'>模型</b>下的持續學習

    【《大語言模型應用指南》閱讀體驗】+ 基礎知識學習

    的表達方式和生成能力。通過預測文本缺失的部分或下個詞,模型逐漸掌握語言的規律和特征。 常用的模型
    發表于 08-02 11:03

    語言模型訓練

    能力,逐漸成為NLP領域的研究熱點。大語言模型訓練是這技術發展的關鍵步驟,它通過在海量無標簽數據上進行
    的頭像 發表于 07-11 10:11 ?422次閱讀

    訓練模型的基本原理和應用

    訓練模型(Pre-trained Model)是深度學習和機器學習領域中的個重要概念,尤其是在自然語言處理(NLP)和計算機視覺(CV)
    的頭像 發表于 07-03 18:20 ?2770次閱讀

    語言模型:原理與工程時間+小白初識大語言模型

    語言模型進行訓練,此處訓練為自然
    發表于 05-12 23:57

    【大語言模型:原理與工程實踐】大語言模型的應用

    輸出的關鍵詞或短語。對于任何輸入,大語言模型都會根據提示詞提供相應的輸出。例如,“天空是”就是個提示詞,引導模型輸出關于天空的描述。提示詞的完善度和
    發表于 05-07 17:21

    【大語言模型:原理與工程實踐】大語言模型訓練

    數據格式的轉換、數據字段的匹配和整合等。通過數據級凈化,可以進步提高數據的質量和可用性,為后續的數據分析和建模提供更有價值的數據支持。 在得到了大語言模型的數據之后,就是對其進行
    發表于 05-07 17:10

    【大語言模型:原理與工程實踐】大語言模型的基礎技術

    就無法修改,因此難以靈活應用于下游文本的挖掘。 詞嵌入表示:每個詞映射為個低維稠密的實值向量。不同的是,基于訓練的詞嵌入表示先在語
    發表于 05-05 12:17

    【大語言模型:原理與工程實踐】核心技術綜述

    我也不打算把網上相關的信息在總結下,這樣的話,工作量很大。 我主要看了-大語言模型基礎技術這節 大語言
    發表于 05-05 10:56

    【大語言模型:原理與工程實踐】揭開大語言模型的面紗

    學習能力。這些模型以生成能力強和靈活性強為特點,逐漸演變成一種通用計算平臺。其參數多樣性、生成能力和涌現性使其不僅在自然語言處理領域表現出色,還能適應多種復雜任務。參數多樣性讓模型能學
    發表于 05-04 23:55

    【大語言模型:原理與工程實踐】探索《大語言模型原理與工程實踐》

    處理訓練架構Transformer,以及這些技術在現實世界的如何應用。通過具體案例的分析,作者展示了大語言
    發表于 04-30 15:35

    語言模型語言與知識:一種神秘的分離現象

    自然語言處理領域存在著個非常有趣的現象:在多語言模型,不同的語言之間似乎存在著
    發表于 02-20 14:53 ?524次閱讀
    大<b class='flag-5'>語言</b><b class='flag-5'>模型</b><b class='flag-5'>中</b>的<b class='flag-5'>語言</b>與知識:<b class='flag-5'>一種</b>神秘的分離現象

    語言模型推斷的批處理效應

    隨著開源訓練大型語言模型(Large Language Model, LLM )變得更加強大和開放,越來越多的開發者
    的頭像 發表于 01-04 12:32 ?628次閱讀
    大<b class='flag-5'>語言</b><b class='flag-5'>模型</b>推斷<b class='flag-5'>中</b>的批處理效應
    主站蜘蛛池模板: 国偷自产视频一区二区99| 青青视频 在线 在线播放| 婷婷六月激情综合一区| 中文字幕在线不卡精品视频99| 二色AV天堂在线| 乱码AV午夜噜噜噜噜| 亚洲国产成人综合| 高h np 强j 乱l 双性| 麻豆国产精品va在线观看约| 亚洲国产果果在线播放在线| 丰满五十老女人性视频| 男女夜晚在爽视频免费观看| 亚洲一区免费在线观看| 国产精品99亚发布| 秋霞电影院午夜伦高清| 97SE亚洲国产综合自在线不卡| 精品国产国偷自产在线观看| 玩两个少妇女邻居| 拔萝卜电视剧高清免费| 美女强奷到抽搐在线播放| 夜夜女人国产香蕉久久精品| 国产乱码精品一区二区三区四川| 任你懆视频 这里只有精品| 99RE久久精品国产| 久久毛片网站| 亚洲视频 在线观看| 国产亚洲精品影视在线| 同桌上课把奶露出来给我玩| 达达兔欧美午夜国产亚洲| 漂亮的av女演员| 97超碰免费人妻中文| 久久三级网站| 欲香欲色天天天综合和网| 很很射影院| 亚洲第一页在线播放| 国产毛多水多高潮高清| 偷上邻居熟睡少妇| 国产成人亚洲精品无广告| 手机伊在人线香蕉2| 灌饱娇嫩H将军公主最新章节 | 天堂视频在线观看免费完整版|