一種新穎的標(biāo)簽驅(qū)動(dòng)去噪框架(LDF)
然后,查詢集利用原型生成相應(yīng)的查詢表示。最后,通過測量每個(gè)原型表示與相應(yīng)查詢表示之間的距離來進(jìn)行類別....
基于VLP模型的語義對齊機(jī)制
在本文中,我們利用圖像描述模型提出一個(gè)新穎的探針方法。通過這個(gè)方法,我們從文本角度分析了VLP模型的....
用于學(xué)習(xí)對象級、語言感知和語義豐富視覺表征的GLIP模型
Visual recognition 模型通常只能預(yù)測一組固定的預(yù)先確定的目標(biāo)類別,這限制了在現(xiàn)實(shí)世....
Transformer常用的輕量化方法
引言:近年來,Transformer模型在人工智能的各個(gè)領(lǐng)域得到了廣泛應(yīng)用,成為了包括計(jì)算機(jī)視覺,自....
MRC和QA中使用的思想方法在信息抽取任務(wù)中的應(yīng)用
主要的評測標(biāo)準(zhǔn)有常見的準(zhǔn)確率P、召回率R和F1值。在上述四個(gè)任務(wù)的前三個(gè)中,使用P、R、F1可以滿足....
用于模型評估和選擇的常見方法
機(jī)器學(xué)習(xí)已經(jīng)成為我們生活的中心,無論是作為消費(fèi)者、客戶、研究者還是從業(yè)人員。
一種基于prompt和對比學(xué)習(xí)的句子表征學(xué)習(xí)模型
我們發(fā)現(xiàn)prompt,再給定不同的template時(shí)可以生成不同方面的positive pair,且....
基于BIO序列標(biāo)注的方法和基于片段的圖解析方法
該論文的出發(fā)點(diǎn)是將端到端基于片段的(span-based)語義角色標(biāo)注(SRL)轉(zhuǎn)換為基于詞的(wo....
一個(gè)全新的文本到視頻跨模態(tài)檢索子任務(wù)
PRVR任務(wù)旨在從大量未剪輯的長視頻中檢索出與查詢文本部分相關(guān)的對應(yīng)視頻。若一個(gè)未經(jīng)剪輯的長視頻中存....
分享微博在特征Embedding建模方向做的一些工作
首先我們對比自然語言處理和圖像處理:NLP 最基本的數(shù)據(jù)元素是單詞,每個(gè)單詞有一定的含義,可能指代某....
面向社交媒體的多模態(tài)屬性級情感分析
另一方面,相比于單一的文本數(shù)據(jù),多模態(tài)數(shù)據(jù)包含了多種不同信息,這些信息之間往往一一對應(yīng)、互為補(bǔ)充,如....
半監(jiān)督學(xué)習(xí)代碼庫存在的問題與挑戰(zhàn)
當(dāng)使用監(jiān)督學(xué)習(xí)(Supervised Learning)對大量高質(zhì)量的標(biāo)記數(shù)據(jù)(Labeled Da....
擴(kuò)散模型應(yīng)用在自然語言處理中的應(yīng)用
對該證據(jù)下界的變形的形式,我們可以直觀地這么理解:證據(jù)下界等價(jià)于這么一個(gè)過程,我們用編碼器將輸入 x....
GAT模型如何來編碼依存關(guān)系
? 本文貢獻(xiàn)有如下兩點(diǎn): 提出了一個(gè)面向方面的樹結(jié)構(gòu),通過重塑和修剪普通的依存樹來關(guān)注目標(biāo)方面。 提....
基于用于自然語言生成的“語境調(diào)優(yōu)”技術(shù)
自然語言生成(又稱為文本生成)旨在基于輸入數(shù)據(jù)用人類語言生成合理且可讀的文本。隨著預(yù)訓(xùn)練語言模型的發(fā)....
借助機(jī)器翻譯來生成偽視覺-目標(biāo)語言對進(jìn)行跨語言遷移
然而之前的基于機(jī)器翻譯的CCR工作大多忽略了這個(gè)問題,它們通常使用大規(guī)模的預(yù)訓(xùn)練模型在通過機(jī)器翻譯得....
文本噪聲標(biāo)簽在預(yù)訓(xùn)練語言模型(PLMs)上的特性
數(shù)據(jù)的標(biāo)簽錯(cuò)誤隨處可見,如何在噪聲數(shù)據(jù)集上學(xué)習(xí)到一個(gè)好的分類器,是很多研究者探索的話題。在 Lear....
CLarET:實(shí)現(xiàn)上下文到事件相關(guān)感知的預(yù)訓(xùn)練模型
自然語言文本里描述的“事件”,通常是由一個(gè)謂詞及其論點(diǎn)組成的一個(gè)文本片段(span),是一個(gè)細(xì)粒度的....
文本分類中處理樣本不均衡和提升模型魯棒性的trick
文本分類看似簡單,但實(shí)則里面有好多門道。作者水平有限,只能將平時(shí)用到的方法和trick在此做個(gè)記錄和....
基于訓(xùn)練階段使用知識(shí)庫+KNN檢索相關(guān)信息輔助學(xué)習(xí)方法
上面收的引入知識(shí)庫+KNN的方法,緩解了模型參數(shù)需要強(qiáng)記憶訓(xùn)練樣本的問題。此外,文中還通過KNN檢索....
關(guān)于AE、OE、SC的序列標(biāo)注問題
首先從中利用CNN編碼上下文特征,然后將共享向量視為query方面,并用注意力機(jī)制計(jì)算query和上....
基于重疊和嵌套事件抽取領(lǐng)域的主流方法
具體的詞對關(guān)系分類示例如圖2所示。其中S-T表示兩個(gè)詞是某個(gè)觸發(fā)詞的頭部和尾部,S-A表示兩個(gè)詞是某....
什么是嵌套實(shí)體識(shí)別
嵌套命名實(shí)體識(shí)別是命名實(shí)體識(shí)別中的一個(gè)頗具挑戰(zhàn)的子問題。我們在《實(shí)體識(shí)別LEAR論文閱讀筆記》與《實(shí)....
如何計(jì)算模型對預(yù)測結(jié)果的信心
在很多問題中,獲取標(biāo)注準(zhǔn)確的大量數(shù)據(jù)需要很高的成本,這也往往限制了深度學(xué)習(xí)的應(yīng)用。主動(dòng)學(xué)習(xí)通過對未標(biāo)....
研究人員為多模態(tài)NER任務(wù)提出新穎的關(guān)系增強(qiáng)圖卷積網(wǎng)絡(luò)
命名實(shí)體識(shí)別(NER)是信息抽取的一項(xiàng)基本任務(wù),它的目的是識(shí)別文本片段中的實(shí)體及類型,如人名(PER....
一個(gè)基于參數(shù)更新的遷移學(xué)習(xí)的統(tǒng)一框架
它提出一個(gè)基于參數(shù)更新的遷移學(xué)習(xí)的統(tǒng)一框架,建立多種參數(shù)優(yōu)化方法之間的聯(lián)系,從而方便理解不同方法背后....
針對文本生成任務(wù)提出一種基于提示的遷移學(xué)習(xí)方法
理解是一個(gè)復(fù)雜且多面的能力,包括對文本詞匯、背景知識(shí)、語言結(jié)構(gòu)的理解。因此,我們采用GLUE, Su....
預(yù)先訓(xùn)練的語言模型能像人類一樣聰明地解釋明喻嗎?
明喻主要分為兩類:封閉式明喻(ClosedSimile),以及開放式明喻(OpenSimile)。如....
NLP中的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)與學(xué)習(xí)
近些年來,人工神經(jīng)網(wǎng)絡(luò)方法已經(jīng)成為了自然語言處理中最重要的范式之一。但是,大量依賴人工設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)....
基于“結(jié)構(gòu)決定性質(zhì)”零樣本三維藥物設(shè)計(jì)方法
藥物設(shè)計(jì)(Drug Design)旨在針對給定的生物靶點(diǎn)(通常為蛋白質(zhì)口袋)提供符合設(shè)計(jì)要求的候選分....