色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

數據類別不均衡問題的分類及解決方式

深度學習自然語言處理 ? 來源:PaperWeekly ? 作者:PaperWeekly ? 2022-07-08 14:51 ? 次閱讀

數據類別不均衡問題應該是一個極常見又頭疼的的問題了。最近在工作中也是碰到這個問題,花了些時間梳理并實踐了類別不均衡問題的解決方式,主要實踐了“魔改”loss(focal loss, GHM loss, dice loss 等),整理如下。

所有的 Loss 實踐代碼在這里:

https://github.com/shuxinyin/NLP-Loss-Pytorch

數據不均衡問題也可以說是一個長尾問題,但長尾那部分數據往往是重要且不能被忽略的,它不僅僅是分類標簽下樣本數量的不平衡,實質上也是難易樣本的不平衡。

解決不均衡問題一般從兩方面入手:

數據層面:重采樣,使得參與迭代計算的數據是均衡的;

模型層面:重加權,修改模型的 loss,在 loss 計算上,加大對少樣本的 loss 獎勵。

1. 數據層面的重采樣

關于數據層面的重采樣,方式都是通過采樣,重新構造數據分布,使得數據平衡。一般常用的有三種:

欠采樣;

過采樣;

SMOTE

1. 欠采樣:指某類別下數據較多,則只采取部分數據,直接拋棄一些數據,這種方式太簡單粗暴,擬合出來的模型的偏差大,泛化性能較差;

2. 過采樣:這種方式與欠采樣相反,某類別下數據較少,進行重復采樣,達到數據平衡。因為這些少的數據反復迭代計算,會使得模型產生過擬合的現象。

3. SMOTE:一種近鄰插值,可以降低過擬合風險,但它是適用于回歸預測場景下,而 NLP 任務一般是離散的情況。

這幾種方法單獨使用會或多或少造成數據的浪費或重,一般會與 ensemble 方式結合使用,sample 多份數據,訓練出多個模型,最后綜合。

但以上幾種方式在工程實踐中往往是少用的,一是因為數真實據珍貴,二也是 ensemble 的方式部署中資源消耗大,沒法接受。因此,就集中看下重加權 loss 改進的部分。

2. 模型層面的重加權

重加權主要指的是在 loss 計算階段,通過設計 loss,調整類別的權值對 loss 的貢獻。比較經典的 loss 改進應該是 Focal Loss, GHM Loss, Dice Loss。

2.1 Focal Loss

Focal Loss 是一種解決不平衡問題的經典 loss,基本思想就是把注意力集中于那些預測不準的樣本上。

何為預測不準的樣本?比如正樣本的預測值小于 0.5 的,或者負樣本的預測值大于 0.5 的樣本。再簡單點,就是當正樣本預測值》0.5 時,在計算該樣本的 loss 時,給它一個小的權值,反之,正樣本預測值《0.5 時,給它一個大的權值。同理,對負樣本時也是如此。

以二分類為例,一般采用交叉熵作為模型損失。

其中 是真實標簽, 是預測值,在此基礎又出來了一個權重交叉熵,即用一個超參去緩解上述這種影響,也就是下式。

接下來,看下 Focal Loss 是怎么做到集中關注預測不準的樣本?

在交叉熵 loss 基礎上,當正樣本預測值 大于 0.5 時,需要給它的 loss 一個小的權重值 ,使其對總 loss 影響小,反之正樣本預測值 小于 0.5,給它的 loss 一個大的權重值。為滿足以上要求,則 增大時, 應減小,故剛好 可滿足上述要求。

因此加上注意參數 ,得到 Focal Loss 的二分類情況:

加上調節系數 ,Focal Loss 推廣到多分類的情況:

其中 為第 t 類預測值,,試驗中效果最佳時,。

代碼的實現也是比較簡潔的。

def __init__(self, num_class, alpha=None, gamma=2, reduction=‘mean’): super(MultiFocalLoss, self).__init__() self.gamma = gamma 。..。..

def forward(self, logit, target): alpha = self.alpha.to(logit.device) prob = F.softmax(logit, dim=1)

ori_shp = target.shape target = target.view(-1, 1)

prob = prob.gather(1, target).view(-1) + self.smooth # avoid nan logpt = torch.log(prob)

alpha_weight = alpha[target.squeeze().long()] loss = -alpha_weight * torch.pow(torch.sub(1.0, prob), self.gamma) * logpt

if self.reduction == ‘mean’: loss = loss.mean()

return loss

2.2 GHM Loss

上面的 Focal Loss 注重了對 hard example 的學習,但不是所有的 hard example 都值得關注,有一些 hard example 很可能是離群點,這種離群點當然是不應該讓模型關注的。

GHM (gradient harmonizing mechanism) 是一種梯度調和機制,GHM Loss 的改進思想有兩點:1)就是在使模型繼續保持對 hard example 關注的基礎上,使模型不去關注這些離群樣本;2)另外 Focal Loss 中, 的值分別由實驗經驗得出,而一般情況下超參 是互相影響的,應當共同進行實驗得到。

Focal Loss 中通過調節置信度 ,當正樣本中模型的預測值 較小時,則乘上(1-p),給一個大的 loss 值使得模型關注這種樣本。于是 GHM Loss 在此基礎上,規定了一個置信度范圍 ,具體一點,就是當正樣本中模型的預測值為 較小時,要看這個 多小,若是 ,這種樣本可能就是離群點,就不注意它了。

于是 GHM Loss 首先規定了一個梯度模長 :

其中, 是模型預測概率值, 是 ground-truth 的標簽值,這里以二分類為例,取值為 0 或 1。可發現, 表示檢測的難易程度, 越大則檢測難度越大。

GHM Loss 的思想是,不要關注那些容易學的樣本,也不要關注那些離群點特別難分的樣本。所以問題就轉為我們需要尋找一個變量去衡量這個樣本是不是這兩種,這個變量需滿足當 值大時,它要小,從而進行抑制,當 值小時,它也要小,進行抑制。于是文中就引入了梯度密度:

表明了樣本 1~N 中,梯度模長分布在 范圍內的樣本個數, 代表了 區間的長度,因此梯度密度 GD(g) 的物理含義是:單位梯度模長 部分的樣本個數。

在此基礎上,還需要一個前提,那就是處于 值小與大的樣本(也就是易分樣本與難分樣本)的數量遠多于中間值樣本,此時 GD 才可以滿足上述變量的要求。

此時,對于每個樣本,把交叉熵 CE×該樣本梯度密度的倒數,就得到 GHM Loss。

這里附上邏輯的代碼,完整的可以上文章首尾倉庫查看。

class GHM_Loss(nn.Module): def __init__(self, bins, alpha): super(GHM_Loss, self).__init__() self._bins = bins self._alpha = alpha self._last_bin_count = None

def _g2bin(self, g): # split to n bins return torch.floor(g * (self._bins - 0.0001)).long()

def forward(self, x, target): # compute value g g = torch.abs(self._custom_loss_grad(x, target)).detach()

bin_idx = self._g2bin(g)

bin_count = torch.zeros((self._bins)) for i in range(self._bins): # 計算落入bins的梯度模長數量 bin_count[i] = (bin_idx == i).sum().item()

N = (x.size(0) * x.size(1))

if self._last_bin_count is None: self._last_bin_count = bin_count else: bin_count = self._alpha * self._last_bin_count + (1 - self._alpha) * bin_count self._last_bin_count = bin_count

nonempty_bins = (bin_count 》 0).sum().item()

gd = bin_count * nonempty_bins gd = torch.clamp(gd, min=0.0001) beta = N / gd # 計算好樣本的gd值

# 借由binary_cross_entropy_with_logits,gd值當作參數傳入 return F.binary_cross_entropy_with_logits(x, target, weight=beta[bin_idx])

2.3 Dice Loss & DSC Loss

Dice Loss 是來自文章 V-Net 提出的,DSC Loss 是香儂科技的 Dice Loss for Data-imbalanced NLP Tasks。

按照上面的邏輯,看一下 Dice Loss 是怎么演變過來的。Dice Loss 主要來自于 dice coefficient,dice coefficient 是一種用于評估兩個樣本的相似性的度量函數。

定義是這樣的:取值范圍在 0 到 1 之間,值越大表示越相似。若令 X 是所有模型預測為正的樣本的集合,Y 為所有實際上為正類的樣本集合,dice coefficient 可重寫為:

同時,結合 F1 的指標計算公式推一下,可得:

可以動手推一下,就能得到 dice coefficient 是等同 F1 score 的,因此本質上 dice loss 是直接優化 F1 指標的。

上述表達式是離散的,需要把上述 DSC 表達式轉化為連續的版本,需要進行軟化處理。對單個樣本 x,可以直接定義它的 DSC:

但是當樣本為負樣本時,y1=0,loss 就為 0 了,需要加一個平滑項。

上面有說到 dice coefficient 是一種兩個樣本的相似性的度量函數,上式中,假設正樣本 p 越大,dice 值越大,說明模型預測的越準,則應該 loss 值越小,因此 dice loss 的就變成了下式這也就是最終 dice loss 的樣子。

為了能得到 focal loss 同樣的功能,讓 dice loss 集中關注預測不準的樣本,可以與 focal loss 一樣加上一個調節系數 ,就得到了香儂提出的適用于 NLP 任務的自調節 DSC-Loss。

弄明白了原理,看下代碼的實現。

class DSCLoss(torch.nn.Module):

def __init__(self, alpha: float = 1.0, smooth: float = 1.0, reduction: str = “mean”): super().__init__() self.alpha = alpha self.smooth = smooth self.reduction = reduction

def forward(self, logits, targets): probs = torch.softmax(logits, dim=1) probs = torch.gather(probs, dim=1, index=targets.unsqueeze(1))

probs_with_factor = ((1 - probs) ** self.alpha) * probs loss = 1 - (2 * probs_with_factor + self.smooth) / (probs_with_factor + 1 + self.smooth)

if self.reduction == “mean”: return loss.mean()

總結

本文主要討論了類別不均衡問題的解決辦法,可分為數據層面的重采樣及模型 loss 方面的改進,如 focal loss, dice loss 等。最后說一下實踐下來的經驗,由于不同數據集的數據分布特點各有不同,dice loss 以及 GHM loss 會出現些抖動、不穩定的情況。當不想挨個實踐的時候,首推 focal loss,dice loss。

以上所有 Loss 的代碼僅為邏輯參考,完整的代碼及相關參考論文都在:

https://github.com/shuxinyin/NLP-Loss-Pytorch

審核編輯:郭婷

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據
    +關注

    關注

    8

    文章

    7002

    瀏覽量

    88943
  • 代碼
    +關注

    關注

    30

    文章

    4779

    瀏覽量

    68525

原文標題:類別不均衡問題之loss大集合:focal loss, GHM loss, dice loss 等等

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    如何使用ddc進行數據分類

    不同的主題劃分為不同的類別。以下是如何使用DDC進行數據分類的步驟和注意事項: 一、了解DDC的基本原則 十進制分類 :DDC采用十進制法,將所有的知識領域分為10個大類,分別以0-9
    的頭像 發表于 12-18 15:05 ?176次閱讀

    負載均衡是什么意思?盤點常見的三種方式

    負載均衡是什么意思?負載均衡(LoadBalancing)是一種計算機技術,主要用于在多個計算資源(如服務器、虛擬機、容器等)中分配和管理負載,以達到優化資源使用、最大化吞吐率、最小化響應時間,并
    的頭像 發表于 09-29 14:30 ?270次閱讀

    信道均衡的原理和分類介紹

    一、信道均衡的基本原理 信道均衡的基本目標是對信道或整個傳輸系統的頻率響應進行補償,以減輕或消除由多徑傳播引起的碼間串擾(ISI)。在數字通信中,ISI會嚴重影響接收端的信號質量,導致數據傳輸錯誤
    的頭像 發表于 09-10 10:49 ?1382次閱讀
    信道<b class='flag-5'>均衡</b>的原理和<b class='flag-5'>分類</b>介紹

    調速器的主要分類和運轉方式

    調速器作為一種用于控制發動機轉速的裝置,在機械設備中起著至關重要的作用。其分類和運轉方式多種多樣,以下是對調速器主要分類和運轉方式的詳細解析。
    的頭像 發表于 08-25 16:42 ?1931次閱讀

    終結難題的發明(一):蓄電池均衡系統及其控制方法

    ,大家要明白,動力電池和手機電池不一樣!2)不均衡的成因,a 效率性差異;b 容量性差異,c 自放電差異。這么多電芯串聯在一起工作,每個電池是否處于一致的狀態呢?這就是電池的均衡問題。電池的均衡,說
    發表于 07-11 13:18

    plc有幾種分類方式?具體是怎樣的

    可編程邏輯控制器(PLC)是一種廣泛應用于工業自動化領域的控制設備。根據不同的分類標準,PLC可以被分為多種類型。以下是對PLC的幾種分類方式的介紹: 按結構分類 PLC按照結構可以分
    的頭像 發表于 07-01 09:49 ?3453次閱讀

    電機的分類有哪些

    電機,作為現代工業、交通、家電等領域中不可或缺的重要設備,其種類繁多,功能各異。從工作電源、結構和工作原理、起動與運行方式、用途、轉子結構以及運轉速度等多個維度出發,電機可以被劃分為多個類別。本文將詳細探討電機的分類,并結合相關
    的頭像 發表于 06-25 14:57 ?1210次閱讀

    PLC總線的分類方式

    、高效傳輸。隨著工業自動化技術的不斷發展,PLC總線也逐漸呈現出多樣化的分類,以適應不同應用場景的需求。本文將詳細介紹PLC總線的分類方式,并結合實際案例和數據進行深入分析。
    的頭像 發表于 06-13 17:48 ?1101次閱讀

    視頻網站服務器的四種負載均衡技術

    域名并返回多個服務器的IP地址列表,客戶端會根據DNS返回的IP地址進行請求。這種方式簡單易用,但無法直接控制請求的分配,且存在DNS緩存問題。另外,由于DNS解析的緩存時間,可能導致負載不均衡。 2、硬件負載均衡器:硬件負載
    的頭像 發表于 04-01 17:36 ?623次閱讀

    深入理解 AFE 的用法:實現BMS?均衡功能

    。 ? ? AFE? 提供的均衡接口主要是被動均衡,即通過電阻放電;它可以支持內部均衡與外部均衡兩種(如下圖,來自于 ADI 的 LTC6813);兩種
    的頭像 發表于 03-28 15:03 ?4967次閱讀
    深入理解 AFE 的用法:實現BMS?<b class='flag-5'>均衡</b>功能

    Labview程序實現數據分類

    如圖所示,該EXCEL中C列、E列是移心圓坐標,F列是需要處理數據。 E列為重復坐標值,最終實現為下圖所示 判定要求可為E列,起始點為0,結束點為一條線最后一個點的值,求大神指導程序如何自動分類,自動換行保存。
    發表于 03-18 17:07

    機器學習多分類任務深度解析

    一對其余其實更加好理解,每次將一個類別作為正類,其余類別作為負類。此時共有(N個分類器)。在測試的時候若僅有一個分類器預測為正類,則對應的類別
    發表于 03-18 10:58 ?1702次閱讀
    機器學習多<b class='flag-5'>分類</b>任務深度解析

    信道均衡有哪些實現方式

    信道均衡的實現方式主要包括線性自動應均衡、盲均衡和半盲均衡等。這些方法各有特點,選擇哪種方法取決于具體的應用場景和性能要求。例如,如果信道變
    的頭像 發表于 03-02 14:05 ?1392次閱讀

    功放分幾種類型,功放常見分類方式

    功放(Power Amplifier)作為音頻設備中不可或缺的重要組成部分,廣泛應用于音響系統、電視機、電子設備等多個領域。功放按照不同的分類方式可以分成多種類型,本文將細致地介紹功放的常見分類
    的頭像 發表于 02-23 10:58 ?4899次閱讀

    光模塊類別的5種分類詳解

    光模塊類別的5種分類詳解? 光模塊是光通信領域中非常重要的組件之一,它用于將光信號轉換為電信號或者將電信號轉換為光信號,在光纖通信、數據中心、廣域網和市區網等領域中廣泛應用。根據功能和使用場
    的頭像 發表于 12-27 10:50 ?1914次閱讀
    主站蜘蛛池模板: 狠狠狠色丁香婷婷综合久久| 偷拍亚洲制服另类无码专区| 国产免费人成在线视频视频| 语文老师扒开胸罩喂我奶| 日日噜噜夜夜躁躁狠狠| 兽交白浆喷水高潮| 久久se视频精品视频在线| 在线免费中文字幕| 偷拍亚洲制服另类无码专区| 毛片免费观看| 娇小XXXXX第一次出血| 俄罗斯美女z0z0z0在线| 7756短视频| 依恋影院在线观看| 亚洲高清视频一区| 色视频色露露永久免费观看| 国内精品免费久久影院| 少妇内射兰兰久久| 超碰在线观看| 欧美高清vivoesosexo10| 最新国产精品视频免费看| 激情办公室| 亚洲国产精品久久精品成人网站| 公交车轮C关老师| 欧美在线看欧美视频免费| 2020最新无码国产在线视频| 久草精品视频| 亚洲国产货青视觉盛宴| 国产精品俺来也在线观看| 色cccwww| 俄罗斯bbbb| 日韩一级精品久久久久| 成年人视频免费在线观看| 国产午夜伦鲁鲁| 国产乱码精品AAAAAAAA| 日韩精品久久久久久久电影| SAO货腿张开JI巴CAO死我| 欧美video巨大粗暴18| 97视频在线观看免费视频| 男人团apk| 亚洲欧美成人综合|