如何用語言模型（LM）實現建模能力
當初筆者進入 NLP 的大門，就是相信：由于語言強大的表達能力以及語言模型強大的建模能力，Reaso....
基于有效樣本數的類平衡損失
本文綜述了康奈爾大學、康奈爾科技、谷歌Brain和Alphabet公司的基于有效樣本數的類平衡損失(....
Adapter在finetune全模型參數的效果
目前在大規模預訓練模型上進行finetune是NLP中一種高效的遷移方法，但是對于眾多的下游任務而言....
Few-shot NER的三階段
Few-shot NER的三階段：Train、Adapt、Recognize，即在source域訓練....
介紹兩個few-shot NER中的challenge
此部分著重介紹了兩個few-shot NER中的challenge：limited informat....
詳細介紹算法效果調優的流程
效果調優應該是算法工程師最基礎的工作了我們需要對當前的現狀有一定了解后，提出有效的效果優化方案，為指....
NLP技術在司法領域的應用
這個AI背后的主要技術，其實就是自然語言處理，它可以提取出當前案件中的諸多要素，將其和其他類似案件的....
PiCO核心點—對比學習引入PLL
有監督學習是最常見的一種機器學習問題，給定一個輸入樣本，預測該樣本的label是什么。Partial....
README不同庫的分布式訓練方式
測試結果發現 Apex 的加速效果最好，但與 Horovod/Distributed 差別不大，平時....
RAKE算法原理介紹
RAKE英文全稱為Rapid Automatic keyword extraction，中文稱為快速....
DocumentAI的模型、任務和基準數據集
隨著最近幾年多模態大火的，越來越多的任務都被推陳出新為多模態版本。譬如，傳統對話任務，推出了考慮視覺....
FLAT的一種改進方案
許久沒有更新，今天來水一篇之前在arXiv上看到的論文，這篇NFLAT是對FLAT的改進（其實也是對....
project復現過程踩到坑對應的解決方案
最近做的一個 project 需要復現 EMNLP 2020 Findings 的 TinyBERT....
稠密向量檢索的Query深度交互的文檔多視角表征
今天給大家帶來一篇北航和微軟出品的稠密向量檢索模型Dual-Cross-Encoder，結合Quer....
計算語言學的發展趨勢、不足與挑戰
NAACL 會議是 ACL 的北美分會，每年舉辦一次，也是 NLP 領域備受關注的頂會之一。NAAC....
如何在PyTorch中使用交叉熵損失函數
Keras有一個簡潔的API來查看模型的每一層輸出尺寸，這在調試網絡時非常有用。現在在PyTorch....
對比學習在開放域段落檢索和主題挖掘中的應用
開放域段落檢索是給定一個由數百萬個段落組成的超大文本語料庫，其目的是檢索一個最相關的段落集合，作為一....
各種梯度下降法是如何工作的
導讀一圖勝千言，什么？還是動畫，那就更棒啦！本文用了大量的資源來解釋各種梯度下降法（gradient....
快速了解文本語義相似度領域的研究脈絡和進展
文本表示：當數據被預處理完成后，就可以送入模型了。在文本相似度任務中，需要有一個模塊用于對文本的向量....
三篇基于遷移學習的論元關系提取
該篇文章為了使論辯中繁瑣的過程自動化，提出了一個大規模數據集IAM，該數據集可用于一系列論辯挖掘任務....
FS-NER 的關鍵挑戰
小樣本 NER 需要從很少的實例和外部資源中獲取有效信息。本文提出了一個自描述機制，可以通過使用全局....
PyTorch 的 Autograd 機制和使用
PyTorch 作為一個深度學習平臺，在深度學習任務中比 NumPy 這個科學計算庫強在哪里呢？我覺....
如何進行MLM訓練
Bert的MLM是靜態mask，而在后續的其他預訓練模型中，這一策略通常被替換成了動態mask。除此....
基于基本圖像處理技術的數據增強方法
深度神經網絡在許多任務中表現良好，但這些網絡通常需要大量數據才能避免過度擬合。遺憾的是，許多場景無法....
基于填表方式的NER方法
現在很多基于填表方式的NER方法，在構造表中元素的時候，一般用的都是由相應span的head字和ta....
怎么評估算法的性能
我在很多文章里都有吐槽大規模預訓練模型的性能差，落地成本高，這一期就和大家講講，怎么評估算法的性能的....
預訓練語言模型的字典描述
今天給大家帶來一篇IJCAI2022浙大和阿里聯合出品的采用對比學習的字典描述知識增強的預訓練語言模....
PFN模型整體結構和分區過濾編碼器內部結構
他們認為task間的信息沒有得到很好的交互，（但其實Table sequence還是有交互的），其實....
工商網監