面向中文搜索的開放域文檔視覺問答任務(wù)解決方案
現(xiàn)有開放域問答系統(tǒng)主要以文本集合作為信息來源回答用戶提問，如圖1所示，現(xiàn)有系統(tǒng)通常需要花費大量成本根....
通過Token實現(xiàn)多視角文檔向量表征的構(gòu)建
該篇論文與前兩天分享的DCSR-面向開放域段落檢索的句子感知的對比學(xué)習(xí)一文有異曲同工之妙，都是在檢索....
對比學(xué)習(xí)中的4種典型范式的應(yīng)用分析
對比學(xué)習(xí)是無監(jiān)督表示學(xué)習(xí)中一種非常有效的方法，核心思路是訓(xùn)練query和key的Encoder，讓這....
雙塔模型擴(kuò)量負(fù)樣本的方法比較
雙塔模型在訓(xùn)練時是對一個batch內(nèi)樣本訓(xùn)練。一個batch內(nèi)每個樣本 (user和item對)為正....
基于Zero-Shot的多語言抽取式文本摘要模型
抽取式文本摘要目前在英文上已經(jīng)取得了很好的性能，這主要得益于大規(guī)模預(yù)訓(xùn)練語言模型和豐富的標(biāo)注語料。但....
采用雙塔BERT模型對文本字符和label進(jìn)行編碼
這是一篇來自于 ACL 2022 的文章，總體思想就是在 meta-learning 的基礎(chǔ)上，....
匯總在事件抽取方向的相關(guān)廠商調(diào)研結(jié)果
值得關(guān)注的是在論元提取（要素抽取）階段，除了CRF外，他們也嘗試了MRC（閱讀理解范式）、Biaff....
基于pipeline的文本糾錯系統(tǒng)框架分析
這是比較早期的一個中文文本糾錯系統(tǒng)，該系統(tǒng)結(jié)合了規(guī)則模版和統(tǒng)計的方法，很大程度的解決了同期糾錯系統(tǒng)誤....
面向?qū)嶓w對象的文本描述情感極性及色彩強(qiáng)度分析
在做這題的時候我就會思考如何做得優(yōu)雅，最好方法是simple yet effective的。最好就是....
用于少數(shù)鏡頭命名實體識別的分解元學(xué)習(xí)
我們在一些 benchmark 上進(jìn)行了實驗，實驗表明我們提出的框架比之前的 SOTA 模型表現(xiàn)更好....
文本預(yù)訓(xùn)練的模型架構(gòu)及相關(guān)數(shù)據(jù)集
多模態(tài)預(yù)訓(xùn)練的數(shù)據(jù)通常來源于大規(guī)模的模態(tài)間對齊樣本對。由于時序維度的存在，視頻當(dāng)中包含了比圖片更加豐....
在檢索任務(wù)中訓(xùn)練數(shù)據(jù)在推理時也大有用處
有點類似 Prompt 學(xué)習(xí)，但本文主要關(guān)注有監(jiān)督學(xué)習(xí)的設(shè)置。結(jié)果不僅效果很好，而且很容易擴(kuò)展（只要....
Zero-shot-CoT是multi-task的方法
大規(guī)模預(yù)訓(xùn)練語言模型借助于針對特定任務(wù)設(shè)計的prompt（無論是few shot還是zero sho....
事件模式歸納的歷史以及相關(guān)概念
一個典型的原子事件類型歸納的研究是Nathanael Chambers和Dan Jurafsky在2....
幾種基于深度學(xué)習(xí)的中文糾錯模型
Confusionset-guided Pointer Network看起來跟之前提及的CopyNe....
微調(diào)前給預(yù)訓(xùn)練模型參數(shù)增加噪音提高效果的方法
為了減輕上述問題，提出了NoisyTune方法，即，在finetune前加入給預(yù)訓(xùn)練模型的參數(shù)增加少....
一種緩解負(fù)采樣偏差的對比學(xué)習(xí)句表示框架DCLR
近年來，預(yù)訓(xùn)練語言模型在各種 NLP 任務(wù)上取得了令人矚目的表現(xiàn)。然而，一些研究發(fā)現(xiàn)，由預(yù)訓(xùn)練模型得....
SemEval 2022: 多語種慣用語識別評測冠軍系統(tǒng)簡介
提交的系統(tǒng)使用XLM-RoBERTa作為編碼器，在預(yù)處理過程中對訓(xùn)練數(shù)據(jù)的慣用語短語（MWE）進(jìn)行特....
關(guān)于Prompt在NER場景的應(yīng)用總結(jié)
將序列標(biāo)注任務(wù)轉(zhuǎn)換成一個生成任務(wù)，在Encoder端輸入為原始文本，Decoder端輸入的是一個已填....
如何顯著提升Vision Transformer的訓(xùn)練效率
為了降低門檻，讓更多人能夠應(yīng)用ViT，我們開發(fā)一系列方法來加速整個訓(xùn)練。我們基于MetaAI的圖像分....
基于e-CARE的因果推理相關(guān)任務(wù)
因果推理是人類的一項核心認(rèn)知能力。借助因果推理能力，人類得以理解已觀測到的各種現(xiàn)象，并預(yù)測將來可能發(fā)....
PaddleNLP v2.3帶來兩大重磅能力
針對以上難題，中科院軟件所和百度共同提出了一個大一統(tǒng)諸多任務(wù)的通用信息抽取技術(shù)UIE（Univers....
稠密檢索模型在zero-shot場景下的泛化能力
稠密檢索任務(wù)旨在通過給定的query，在一個龐大的document語料庫中召回與query高度相關(guān)的....
若干蒸餾方法之間的細(xì)節(jié)以及差異
以往的知識蒸餾雖然可以有效的壓縮模型尺寸，但很難將teacher模型的能力蒸餾到一個更小詞表的stu....
基于k近鄰與高斯噪聲的虛擬困難樣本增強(qiáng)方法
然而在無監(jiān)督SimCSE中，作者僅使用dropout的方式進(jìn)行了正樣本增強(qiáng)，沒有額外引入困難樣本，這....
緩解模型訓(xùn)練成本過高的問題
模型壓縮可以分為模型剪枝（pruning）和模型蒸餾（distillation）。由于模型中的參數(shù)對....
一種基于亂序語言模型的預(yù)訓(xùn)練模型-PERT
由于亂序語言模型不使用[MASK]標(biāo)記，減輕了預(yù)訓(xùn)練任務(wù)與微調(diào)任務(wù)之間的gap，并由于預(yù)測空間大小為....
Multilingual多語言預(yù)訓(xùn)練語言模型的套路
Facebook在Crosslingual language model pretraining（N....
結(jié)合句子間差異的無監(jiān)督句子嵌入對比學(xué)習(xí)方法-DiffCSE
句向量表征技術(shù)目前已經(jīng)通過對比學(xué)習(xí)獲取了很好的效果。而對比學(xué)習(xí)的宗旨就是拉近相似數(shù)據(jù)，推開不相似數(shù)據(jù)....
機(jī)器翻譯中細(xì)粒度領(lǐng)域自適應(yīng)的數(shù)據(jù)集和基準(zhǔn)實驗
細(xì)粒度領(lǐng)域自適應(yīng)問題是一個重要的實際應(yīng)用問題。當(dāng)研發(fā)人員需要為某個特定主題提供翻譯服務(wù)（比如為某個主....
工商網(wǎng)監(jiān)