讓長短期記憶人工神經網絡重返巔峰

1.開篇 去年年底，各大榜單上風起云涌，各路英雄在榜單上為了分數能多個0.01而不停的躁動，迫不及待地想要向外界秀秀自己的肌肉。 怎么回事呀，小老弟？ ...

2021-04-04 標簽：人工智能自然語言處理nlp 1618 0

如何讓Bert模型在下游任務中提高性能？

隨著Transformer 在NLP中的表現，Bert已經成為主流模型，然而大家在下游任務中使用時，是不是也會發現模型的性能時好時壞，甚至相同參數切換一...

2021-03-12 標簽：模型nlp 3434 0

如何通過蒸餾來使小模型具有更好的性能

現在的任務是給定一個詞（比如：蘋果），然后判斷詞對應的類別（電視/手機/水果/汽車），假如現在我們有兩個樣本：（蘋果，[0,0,1,0]）和 （小米，[...

2021-03-05 標簽：容量模型nlp 4071 0

如何在NLP領域實施對抗攻擊

當視覺領域中的對抗攻擊研究很難再有重大突破的時候（坑已滿，請換坑），研究人員便把目光轉移到了NLP領域。其實就NLP領域而言，垃圾郵件檢測、有害文本檢測...

2021-03-05 標簽：文本深度學習nlp 4209 0

利用ImageNet訓練了一個能降噪、超分和去雨的圖像預訓練模型

在上篇文章介紹過了，因為Transformer本身是用于NLP領域的，輸入應該是一個序列，因此這篇的論文做法和ViT[3]一樣，首先需要把feature...

2021-03-03 標簽：模型數據集nlp 4661 0

神經網絡中詞向量是怎么表示的？

上一篇我們講到了在神經網絡出現以前的詞向量表示方法：基于同義詞詞典的方法和基于計數統計的方法。想要回顧的可以看這里小白跟學系列之手把手搭建NLP經典模型...

2021-02-05 標簽：神經網絡機器學習nlp 4066 0

一種處理多標簽文本分類的新穎推理機制

研究動機 多標簽文本分類（multi-label text classification, 簡稱MLTC）的目的是在給定文本后要求模型預測其多個非互斥的...

2021-02-05 標簽：人工智能機器學習nlp 3134 0

手把手教你搭建NLP經典模型

上一篇我們講到了最簡單的詞向量表示方法——共現矩陣（沒有看的朋友可以點擊這里 小白跟學系列之手把手搭建NLP經典模型（含代碼） 回顧一下?。?共現矩陣簡...

2021-02-04 標簽：神經網絡nlp 4287 0

細解讀關系抽取SOTA論文

本文主要詳細解讀關系抽取SOTA論文Two are Better than One:Joint Entity and Relation Extracti...

2021-02-10 標簽：深度學習自然語言nlp 2885 0

天池公益賽“新冠疫情相似句對判定大賽”NLP賽道top指南

2020年初，新冠疫情席卷全球。除了“待在家，不亂跑”，我想還能從哪為抗擊疫情出點微薄之力呢？ 碰巧室友推送了一個天池公益賽“新冠疫情相似句對判定大賽”...

2021-02-10 標簽：自然語言nlp 3362 0

positional encoding詳解

近期我會一連幾篇談談bert中的關鍵細節，這個position encoding是我看到的bert（實質上是transformer中提出的）中最為驚喜的...

2021-02-10 標簽：深度學習自然語言nlp 6416 0

實體關系聯合抽取取得SOTA的三種方法

2020實體關系聯合抽取一片紅海，各種SOTA方法你方唱罷我方登場，在一些數據集上也是不斷刷出新高度，為信息抽取領域帶來了新思路，推動了信息抽取領域的發...

2021-02-10 標簽：深度學習自然語言nlp 1.2萬 0

NLP：面向方面級情感分類的注意力轉移網絡

01 — 研究動機 方面級情感分類（英文叫Aspect-level Sentiment Classification，簡稱ASC）旨在檢測句子中給定意見...

2021-02-10 標簽：情感識別自然語言nlp 3182 0

NLP事件抽取綜述之挑戰與展望

本系列文章主要分享近年來事件抽取方法總結，包括中文事件抽取、開放域事件抽取、事件數據生成、跨語言事件抽取、小樣本事件抽取、零樣本事件抽取等。主要包括以...

2021-01-18 標簽：事件自然語言處理nlp 3973 0

如何搭建NLP經典模型（含代碼）

之前整理過齋藤康毅的深度學習神作《深度學習入門：基于Python的理論與實現》，對小白非常友好，它沒有用任何的現成框架（比如pyTorch、tensor...

2021-01-18 標簽：模型自然語言處理nlp 5332 0