色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

快速了解文本語義相似度領域的研究脈絡和進展

深度學習自然語言處理 ? 來源:深度學習自然語言處理 ? 作者:深度學習自然語言 ? 2022-08-16 10:04 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

本文旨在幫大家快速了解文本語義相似度領域的研究脈絡和進展,其中包含了本人總結的文本語義相似度任務的處理步驟,文本相似度模型發(fā)展歷程,相關數(shù)據(jù)集,以及重要論文分享。

文本相似度任務處理步驟

通過該領域的大量論文閱讀,我認為處理文本相似度任務時可以分為一下三個步驟:

預處理:如數(shù)據(jù)清洗等。此步驟旨在對文本做一些規(guī)范化操作,篩選有用特征,去除噪音。

文本表示:當數(shù)據(jù)被預處理完成后,就可以送入模型了。在文本相似度任務中,需要有一個模塊用于對文本的向量化表示,從而為下一步相似度比較做準備。這個部分一般會選用一些 backbone 模型,如 LSTM,BERT 等。

學習范式的選擇:這個步驟也是文本相似度任務中最重要的模塊,同時也是區(qū)別于 NLP 領域其他任務的一個模塊。其主要原因在于相似度是一個比較的過程,因此我們可以選用各種各樣的比較的方式來達成目標。可供選擇的學習方式有:孿生網絡模型,交互網絡模型,對比學習模型等。

文本相似度模型發(fā)展歷程

從傳統(tǒng)的無監(jiān)督相似度方法,到孿生模型,交互式模型,BERT,以及基于BERT的一些改進工作,如下圖:

bbcb77b8-1cfb-11ed-ba43-dac502259ad0.png

總體來說,在 BERT 出現(xiàn)之前,文本相似度任務可以說是一個百花齊放的過程。大家通過各種方式來做相似度比較的都有。從 BERT 出現(xiàn)之后,由于 BERT 出色的性能,之后的工作主要是基于 BERT 的改進。在這個階段,大家所采用的數(shù)據(jù)集,評價指標等也逐漸進行了統(tǒng)一。

數(shù)據(jù)集

在 BERT 以后,大家在文本相似度任務上逐漸統(tǒng)一了數(shù)據(jù)集的選擇,分別為 STS12,STS13,STS14,STS15,STS16,STS-B,SICK-R 七個數(shù)據(jù)集。STS12-16 分別為 SemEval 比賽 2012~2016 年的數(shù)據(jù)集。此外,STS-B 和 SICK-R 也是 SemEval 比賽數(shù)據(jù)集。在這些數(shù)據(jù)集中,每一個文本對都有一個 0~5 分的人工打標相似度分數(shù)(也稱為 gold label),代表這個文本對的相似程度。

評價指標

首先,對于每一個文本對,采用余弦相似度對其打分。打分完成后,采用所有余弦相似度分數(shù)和所有 gold label 計算 Spearman Correlation。

其中,Pearson Correlation 與 Spearman Correlation 都是用來計算兩個分布之間相關程度的指標。Pearson Correlation 計算的是兩個變量是否線性相關,而 Spearman Correlation 關注的是兩個序列的單調性是否一致。并且論文《Task-Oriented Intrinsic Evaluation of Semantic Textual Similarity》證明,采用 Spearman Correlation 更適合評判語義相似度任務。Pearson Correlation 與 Spearman Correlation 的公式如下:

bbfbd610-1cfb-11ed-ba43-dac502259ad0.png

論文分享

Siamese Recurrent Architectures for Learning Sentence Similarity, AAAI 2016

https://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/download/12195/12023

bc1747ec-1cfb-11ed-ba43-dac502259ad0.png

Siamese LSTM 是一個經典的孿生網絡模型,它將需要對比的兩句話分別通過不同的 LSTM 進行編碼,并采用兩個 LSTM 最后一個時間步的輸出來計算曼哈頓距離,并通過 MSE loss 進行反向傳導。

Bilateral Multi-Perspective Matching for Natural Language Sentences, IJCAI 2017

https://arxiv.org/abs/1702.03814

bc263d10-1cfb-11ed-ba43-dac502259ad0.png

BiMPM 是一個經典的交互式模型,它將兩句話用不同的 Bi-LSTM 模型分別編碼,并通過注意力的方式使得當前句子的每一個詞都和另一個句子中的每一個詞建立交互關系(左右句子是對稱的過程),從而學習到更深層次的匹配知識。在交互之后,再通過 Bi-LSTM 模型分別編碼,并最終輸出。

對于交互的過程,作者設計了四種交互方式,分別為:

句子 A 中每個詞與句子 B 的最后一個詞進行交互

句子 A 中每個詞與句子 B 的每個詞進行交互,并求 element-wise maximum

通過句子 A 中的詞篩選句子 B 中的每一個詞,并將句子 B 的詞向量加權求和,最終于 A 詞對比

與 c 幾乎一致,只不過將加權求和操作變成 element-wise maximum

具體的交互形式是由加權的余弦相似度方式完成。

bc39e1da-1cfb-11ed-ba43-dac502259ad0.png

bc461d60-1cfb-11ed-ba43-dac502259ad0.png

其中,Wk 是參數(shù)矩陣,可以理解為 attention 的 query 或者 key,v1 和 v2 分別是要進行交互的兩個詞,這樣計算 l 次余弦相似度,就會得到 m 向量(一個 l 維向量)。

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

https://arxiv.org/abs/1810.04805

BERT 可以認為是語義相似度任務的分水嶺。BERT 論文中對 STS-B 數(shù)據(jù)集進行有監(jiān)督訓練,最終達到了 85.8 的 Spearman Correlation 值。這個分數(shù)相較于后續(xù)絕大部分的改進工作都要高,但 BERT 的缺點也很明顯。對于語義相似度任務來說:

在有監(jiān)督范式下,BERT 需要將兩個句子合并成一個句子再對其編碼,如果需要求很多文本兩兩之間的相似度,BERT 則需要將其排列組合后送入模型,這極大的增加了模型的計算量。

在無監(jiān)督范式下,BERT 句向量中攜帶的語義相似度信息較少。從下圖可以看出,無論是采用 CLS 向量還是詞向量平均的方式,都還比不過通過 GloVe 訓練的詞向量求平均的方式要效果好。

bc559024-1cfb-11ed-ba43-dac502259ad0.png

基于以上痛點,涌現(xiàn)出一批基于 BERT 改進的優(yōu)秀工作。

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, EMNLP 2019

https://arxiv.org/abs/1908.10084

Sentence-BERT 是一篇采用孿生 BERT 架構的工作。Sentence-BERT 作者指出,如果想用 BERT 求出 10000 個句子之間兩兩的相似度,排列組合的方式在 V100 GPU 上測試需要花費 65 小時;而如果先求出 10000 個句子,再計算余弦相似度矩陣,則只需要花費 5 秒左右。因此,作者提出了通過孿生網絡架構訓練 BERT 句向量的方式。

Sentence-BERT 一共采用了三種 loss,也就是三種不同的方式訓練孿生 BERT 架構,分別為 Cross-entropy loss,MSE loss 以及 Triple loss,模型圖如下:

bc673bb2-1cfb-11ed-ba43-dac502259ad0.png

On the Sentence Embeddings from Pre-trained Language Models, EMNLP 2020

https://arxiv.org/abs/2011.05864

BERT-flow 是一篇通過對 BERT 句向量做后處理的工作。作者認為,直接用 BERT 句向量來做相似度計算效果較差的原因并不是 BERT 句向量中不包含語義相似度信息,而是其中包含的相似度信息在余弦相似度等簡單的指標下無法很好的體現(xiàn)出來。

首先,作者認為,無論是 Language Modelling 還是 Masked Language Modelling,其實都是在最大化給定的上下文與目標詞的共現(xiàn)概率,也就是 Ct 和 Xt 的貢獻概率。Language Modelling 與 Masked Language Modelling 的目標函數(shù)如下:

bc782e0e-1cfb-11ed-ba43-dac502259ad0.png

因此,如果兩句話預測出的 Xt 一致,那么兩句話的 Ct 向量很有可能也是相似的!考慮如下兩句話:

今天中午吃什么?

今天晚上吃什么?

通過這兩句話訓練出的語言模型都通過上下文預測出了“吃“這個字,那說明這兩句話的句向量也很可能是相似的,具有相似的語義信息。

其次,作者通過觀察發(fā)現(xiàn),BERT 的句向量空間是各向異性的,且高頻詞距離原點較近,低頻詞距離較遠,且分布稀疏。因此 BERT 句向量無法體現(xiàn)出其中包含的相似度信息。

bc86c338-1cfb-11ed-ba43-dac502259ad0.png

因此,作者認為可以通過一個基于流的生成模型來對 BERT 句向量空間進行映射。具體來說,作者希望訓練出一個標準的高斯分布,使得該分布中的點可以與 BERT 句向量中的點一一映射。由于該方法采用的映射方式是可逆的,因此就可以通過給定的 BERT 句向量去映射回標準高斯空間,然后再去做相似度計算。由于標準高斯空間是各向同性的,因此能夠將句向量中的語義相似度信息更好的展現(xiàn)出來。

bc9ed608-1cfb-11ed-ba43-dac502259ad0.png

SimCSE: Simple Contrastive Learning of Sentence Embeddings, EMNLP 2021

https://arxiv.org/abs/2104.08821

SimCSE 是一篇基于對比學習的語義相似度模型。首先,對比學習相較于文本對之間的匹配,可以在拉近正例的同時,同時將其與更多負例之間的距離拉遠,從而訓練出一個更加均勻的超球體向量空間。作為一類無監(jiān)督算法,對比學習中最重要的創(chuàng)新點之一是如何構造正樣本對,去學習到類別內部的一些本質特征。

SimCSE 采用的是一個極其樸素,性能卻又出奇的好的方法,那就是將一句話在訓練的時候送入模型兩次,利用模型自身的 dropout 來生成兩個不同的 sentence embedding 作為正例進行對比。模型圖如下:

bcaafb86-1cfb-11ed-ba43-dac502259ad0.png

ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer, ACL 2021

https://arxiv.org/abs/2105.11741

ConSERT 同樣也是一篇基于對比學習的文本相似度工作。ConSERT 是采用多種數(shù)據(jù)增強的方式來構造正例的。其中包括對抗攻擊,打亂文本中的詞順序,Cutoff以及 Dropout。這里需要注意的是,雖然 ConSERT 與 SimCSE 都采用了 Dropout,但 ConSERT 的數(shù)據(jù)增強操作只停留在 embedding layer,而 SimCSE 則是采用了 BERT 所有層中的 Dropout。此外,作者實驗證明,在這四種數(shù)據(jù)增強方式中,Token Shuffling 和 Token Cutoff 是最有效的。

Exploiting Sentence Embedding for Medical Question Answering, AAAI 2018

https://arxiv.org/abs/1811.06156

注:由于本人工作中涉及的業(yè)務主要為智慧醫(yī)療,因此會有傾向的關注醫(yī)療人工智能領域的方法和模型。

MACSE 是一篇針對醫(yī)學文本的句向量表征工作,雖然其主要關注的是 QA 任務,但他的句向量表征方式在文本相似度任務中同樣適用。

醫(yī)學文本區(qū)別于通用文本的一大特征就是包含復雜的多尺度信息,如下:

bcc39448-1cfb-11ed-ba43-dac502259ad0.png

因此,我們就需要一個能夠關注到醫(yī)學文本多尺度信息的模型。

bcd2bb6c-1cfb-11ed-ba43-dac502259ad0.png

在本文中,通過多尺度的卷積操作,就可以有效的提取到文本中的多尺度信息,并且通過注意力機制對多尺度信息進行加權,從而有效的關注到特定文本中在特定尺度上存在的重要信息。

實驗結果匯總

以下為眾多基于 BERT 改進的模型在標準數(shù)據(jù)集上測試的結果,出自 SimCSE 論文:

bcf801d8-1cfb-11ed-ba43-dac502259ad0.png

可以看到,BERT-flow 相較于原生 BERT 提升了將近 10 個點,而基于對比學習的工作又要比基于后處理的工作的效果好很多。此外需要注意的是,在這里 Sentence-BERT 被歸為了有監(jiān)督模型中。這是因為 Sentence-BERT 雖然沒有用到 STS 標簽,但訓練時用的是 NLI 數(shù)據(jù)集,也用到了 NLI 中人工打標的標簽,因此 SimCSE 作者將 Sentence-BERT 歸為了有監(jiān)督模型中。

好了,以上就是文本語義相似度領域的研究脈絡和進展,希望能對大家有所幫助。當然 2022 年也有不少優(yōu)秀的工作出現(xiàn),不過這一部分就留到以后吧!

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 模型
    +關注

    關注

    1

    文章

    3524

    瀏覽量

    50478
  • 語義
    +關注

    關注

    0

    文章

    21

    瀏覽量

    8743
  • 文本
    +關注

    關注

    0

    文章

    119

    瀏覽量

    17459

原文標題:一文詳解文本語義相似度的研究脈絡和最新進展

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    在AI領域的最新進展

    近日,我們在武漢舉辦了Create2025百AI開發(fā)者大會,與全球各地的5000多名開發(fā)者,分享了百在AI領域的新進展
    的頭像 發(fā)表于 04-30 10:14 ?643次閱讀

    蘭州大學:研究團隊在溫度傳感用發(fā)光材料領域取得新進展

    ? 近日,蘭州大學材料與能源學院王育華教授課題組在溫度傳感用發(fā)光材料領域取得了新進展。相關研究成果以“Luminescence Thermometry via MultiParameter
    的頭像 發(fā)表于 04-25 15:23 ?253次閱讀
    蘭州大學:<b class='flag-5'>研究</b>團隊在溫度傳感用發(fā)光材料<b class='flag-5'>領域</b>取得新<b class='flag-5'>進展</b>

    《AI Agent 應用與項目實戰(zhàn)》閱讀心得3——RAG架構與部署本地知識庫

    。RAG技術建立在向量數(shù)據(jù)庫的基礎上,通過高維向量空間中的相似計算來實現(xiàn)語義層面的匹配,這比傳統(tǒng)的關鍵詞搜索更能捕捉文本的深層語義關聯(lián)。
    發(fā)表于 03-07 19:49

    愛立信在電信領域取得重大進展

    近日,愛立信宣布在電信領域取得了一項重大進展——將大幅提高移動運營商在管理不同環(huán)境中的用戶連接體驗的能力。
    的頭像 發(fā)表于 02-12 10:34 ?6728次閱讀

    【「基于大模型的RAG應用開發(fā)與優(yōu)化」閱讀體驗】+Embedding技術解讀

    與文檔庫中每個文檔向量的相似,來檢索最相關的文檔。這一過程依賴于Embedding模型對文本語義的準確捕捉。檢索到的文檔與用戶的問題一起被Embedding模型轉換為向量,形成新的上
    發(fā)表于 01-17 19:53

    SparseViT:以非語義為中心、參數(shù)高效的稀疏化視覺Transformer

    ? 背景簡介 隨著圖像編輯工具和圖像生成技術的快速發(fā)展,圖像處理變得非常方便。然而圖像在經過處理后不可避免的會留下偽影(操作痕跡),這些偽影可分為語義和非語義特征。因此目前幾乎所有的圖像篡改檢測模型
    的頭像 發(fā)表于 01-15 09:30 ?472次閱讀
    SparseViT:以非<b class='flag-5'>語義</b>為中心、參數(shù)高效的稀疏化視覺Transformer

    利用VLM和MLLMs實現(xiàn)SLAM語義增強

    語義同步定位與建圖(SLAM)系統(tǒng)在對鄰近的語義相似物體進行建圖時面臨困境,特別是在復雜的室內環(huán)境中。本文提出了一種面向對象SLAM的語義增強(SEO-SLAM)的新型SLAM系統(tǒng),借
    的頭像 發(fā)表于 12-05 10:00 ?1425次閱讀
    利用VLM和MLLMs實現(xiàn)SLAM<b class='flag-5'>語義</b>增強

    EBSD技術在磁性材料研究中的應用進展

    EBSD技術:磁性材料研究的新視角在材料科學研究中,對磁性材料的微觀結構和晶體學特性的深入理解至關重要。電子背散射衍射(EBSD)技術,作為一種先進的顯微分析技術,已經在磁性材料的研究領域
    的頭像 發(fā)表于 11-12 23:45 ?717次閱讀
    EBSD技術在磁性材料<b class='flag-5'>研究</b>中的應用<b class='flag-5'>進展</b>

    AI大模型的最新研究進展

    AI大模型的最新研究進展體現(xiàn)在多個方面,以下是對其最新進展的介紹: 一、技術創(chuàng)新與突破 生成式AI技術的爆發(fā) : 生成式AI技術正在迅速發(fā)展,其強大的生成能力使得AI大模型在多個領域得到廣泛應用
    的頭像 發(fā)表于 10-23 15:19 ?1561次閱讀

    北京大學研究團隊在新型激光領域取得重要進展

    原理示意圖及1470nm極壞腔激光的實現(xiàn) 近日,北京大學電子學院陳景標教授團隊在新型激光領域研究方面取得突破性進展,成功利用精細達最低極限值2的光學諧振腔實現(xiàn)了線寬在kHz量級的極壞
    的頭像 發(fā)表于 10-21 06:26 ?500次閱讀
    北京大學<b class='flag-5'>研究</b>團隊在新型激光<b class='flag-5'>領域</b>取得重要<b class='flag-5'>進展</b>

    紫光展銳分析5G廣播技術的發(fā)展脈絡

    本期,我們將一起了解關于5G廣播技術的發(fā)展脈絡,探究它如何提供“免流量刷視頻”等多元豐富的視聽服務。
    的頭像 發(fā)表于 08-26 09:24 ?993次閱讀
    紫光展銳分析5G廣播技術的發(fā)展<b class='flag-5'>脈絡</b>

    中國科學院大學:實現(xiàn)可再生高靈敏生物傳感器新進展

    高靈敏和優(yōu)異的循環(huán)使用次數(shù),制約了該領域快速發(fā)展。 中國科學院大學張鳳嬌副教授、中國科學院大學/中國科學院化學研究所狄重安研究員與中國人
    的頭像 發(fā)表于 08-14 19:14 ?2150次閱讀
    中國科學院大學:實現(xiàn)可再生高靈敏<b class='flag-5'>度</b>生物傳感器新<b class='flag-5'>進展</b>

    【《時間序列與機器學習》閱讀體驗】+ 了解時間序列

    據(jù)分析處理的專業(yè)書籍。再看一下目錄結構: 可看出書的前五章以理論為主,先后介紹了時間序列分析的基礎知識、時間序列的信息提取、時間序列預測、時間序列異常檢測和時間序列的相似和聚類;后面三章以應用為
    發(fā)表于 08-11 17:55

    OpenAI正深入探索文本水印技術的前沿領域

    8月5日最新資訊透露,OpenAI正積極投身于文本水印技術的尖端探索,但與此同時,公司也坦誠地指出了這一創(chuàng)新領域所面臨的艱巨技術障礙與未解之謎。
    的頭像 發(fā)表于 08-05 12:59 ?867次閱讀

    【《大語言模型應用指南》閱讀體驗】+ 基礎知識學習

    、機器翻譯、文本生成等領域具有廣泛應用。它們能夠基于用戶的提問或描述生成相關的答案或執(zhí)行指令,極大地提升了信息檢索和利用的效率。 2. 局限性 盡管大語言模型在自然語言理解方面取得了顯著進展,但它們仍然存在
    發(fā)表于 08-02 11:03
    主站蜘蛛池模板: 一本道手机无码在线看 | 国产精品无码久久av | 东北小伙FREECHINESE野外 东北嫖妓对白粗口 | 大屁股国产白浆一二区 | 色综合久久88色综合天天提莫 | 男男高H啪肉Np文多攻多一受 | 欧美一区二区三区免费播放 | 甜性涩爱下载 | 99久久夜色精品国产亚洲AV卜 | 国产全肉乱妇杂乱视频 | 久久蜜视频 | 中文字幕精品视频在线 | 88.7在线收听| 精品免费在线视频 | 国内精品久久久久影院亚洲 | 欧美激情精品久久久久久不卡 | 九色PORNY真实丨首页 | 蜜柚在线观看免费高清官网视频 | 亚洲AV噜噜88 | 快播电影网站大全 | 久久精品亚洲AV高清网站性色 | 伊人热| 国内久久久久影院精品 | 德国美女密密麻麻浓毛 | bl 纯肉 高Hbl被强文 | 国内精品久久久久久久试看 | 免费高清在线影片一区 | 一区二区三区四区国产 | 毛片在线网址 | 久久高清免费视频 | 人人看人人看 | 色婷婷欧美在线播放内射 | 国产色偷偷男人的天堂 | 国产成人高清精品免费5388密 | 热巴两次用约老师屁股发底线球 | 2020精品极品国产色在线 | 天天影视网网色色欲 | 久久re视频这里精品免费1 | 日韩精品亚洲专区在线电影不卡 | 亚洲欧美日韩精品自拍 | 欧美精品成人a多人在线观看 |

    電子發(fā)燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品