色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

深度學(xué)習(xí)的19種損失函數(shù)你了解嗎?帶你詳細(xì)了解

Dbwd_Imgtec ? 來(lái)源:未知 ? 作者:CSDN mingo_敏 ? 2019-09-14 10:34 ? 次閱讀

損失函數(shù)通過(guò)torch.nn包實(shí)現(xiàn)

基本用法

criterion = LossCriterion() #構(gòu)造函數(shù)有自己的參數(shù)loss = criterion(x, y) #調(diào)用標(biāo)準(zhǔn)時(shí)也有參數(shù)19種損失函數(shù)

1. L1范數(shù)損失 L1Loss

計(jì)算 output 和 target 之差的絕對(duì)值。

torch.nn.L1Loss(reduction='mean')參數(shù):

reduction-三個(gè)值,none: 不使用約簡(jiǎn);mean:返回loss和的平均值;sum:返回loss的和。默認(rèn):mean。

2.均方誤差損失 MSELoss

計(jì)算 output 和 target 之差的均方差。

torch.nn.MSELoss(reduction='mean')參數(shù):

reduction-三個(gè)值,none: 不使用約簡(jiǎn);mean:返回loss和的平均值;sum:返回loss的和。默認(rèn):mean。

3. 交叉熵?fù)p失 CrossEntropyLoss

當(dāng)訓(xùn)練有 C 個(gè)類別的分類問(wèn)題時(shí)很有效. 可選參數(shù) weight 必須是一個(gè)1維 Tensor, 權(quán)重將被分配給各個(gè)類別. 對(duì)于不平衡的訓(xùn)練集非常有效。

在多分類任務(wù)中,經(jīng)常采用 softmax 激活函數(shù)+交叉熵?fù)p失函數(shù),因?yàn)榻徊骒孛枋隽藘蓚€(gè)概率分布的差異,然而神經(jīng)網(wǎng)絡(luò)輸出的是向量,并不是概率分布的形式。所以需要 softmax激活函數(shù)將一個(gè)向量進(jìn)行“歸一化”成概率分布的形式,再采用交叉熵?fù)p失函數(shù)計(jì)算 loss。

torch.nn.CrossEntropyLoss(weight=None,ignore_index=-100, reduction='mean')參數(shù):

weight (Tensor, optional) – 自定義的每個(gè)類別的權(quán)重. 必須是一個(gè)長(zhǎng)度為 C 的 Tensor ignore_index (int, optional) – 設(shè)置一個(gè)目標(biāo)值, 該目標(biāo)值會(huì)被忽略, 從而不會(huì)影響到 輸入的梯度。 reduction-三個(gè)值,none: 不使用約簡(jiǎn);mean:返回loss和的平均值;sum:返回loss的和。默認(rèn):mean。

4. KL 散度損失 KLDivLoss

計(jì)算 input 和 target 之間的 KL 散度。KL 散度可用于衡量不同的連續(xù)分布之間的距離, 在連續(xù)的輸出分布的空間上(離散采樣)上進(jìn)行直接回歸時(shí) 很有效.

torch.nn.KLDivLoss(reduction='mean')參數(shù):

reduction-三個(gè)值,none: 不使用約簡(jiǎn);mean:返回loss和的平均值;sum:返回loss的和。默認(rèn):mean。

5. 二進(jìn)制交叉熵?fù)p失 BCELoss二分類任務(wù)時(shí)的交叉熵計(jì)算函數(shù)。用于測(cè)量重構(gòu)的誤差, 例如自動(dòng)編碼機(jī). 注意目標(biāo)的值 t[i] 的范圍為0到1之間.

torch.nn.BCELoss(weight=None, reduction='mean')參數(shù):

weight (Tensor, optional) – 自定義的每個(gè) batch 元素的 loss 的權(quán)重. 必須是一個(gè)長(zhǎng)度為 “nbatch” 的 的 Tensor

6. BCEWithLogitsLoss

BCEWithLogitsLoss損失函數(shù)把 Sigmoid 層集成到了 BCELoss 類中。該版比用一個(gè)簡(jiǎn)單的 Sigmoid 層和 BCELoss 在數(shù)值上更穩(wěn)定,因?yàn)榘堰@兩個(gè)操作合并為一個(gè)層之后, 可以利用 log-sum-exp 的 技巧來(lái)實(shí)現(xiàn)數(shù)值穩(wěn)定。

torch.nn.BCEWithLogitsLoss(weight=None, reduction='mean', pos_weight=None)參數(shù):

weight (Tensor, optional) – 自定義的每個(gè) batch 元素的 loss 的權(quán)重. 必須是一個(gè)長(zhǎng)度 為 “nbatch” 的 Tensor

7. MarginRankingLoss

torch.nn.MarginRankingLoss(margin=0.0,reduction='mean')對(duì)于 mini-batch(小批量) 中每個(gè)實(shí)例的損失函數(shù)如下:

參數(shù):

margin:默認(rèn)值0

8. HingeEmbeddingLoss

torch.nn.HingeEmbeddingLoss(margin=1.0, reduction='mean')對(duì)于 mini-batch(小批量) 中每個(gè)實(shí)例的損失函數(shù)如下:


參數(shù):

margin:默認(rèn)值1

9. 多標(biāo)簽分類損失 MultiLabelMarginLoss

torch.nn.MultiLabelMarginLoss(reduction='mean')對(duì)于mini-batch(小批量) 中的每個(gè)樣本按如下公式計(jì)算損失:

10 平滑版L1損失 SmoothL1Loss

也被稱為 Huber 損失函數(shù)。

torch.nn.SmoothL1Loss(reduction='mean')


其中

11. 2分類的logistic損失 SoftMarginLoss

torch.nn.SoftMarginLoss(reduction='mean')

12. 多標(biāo)簽 one-versus-all 損失 MultiLabelSoftMarginLoss

torch.nn.MultiLabelSoftMarginLoss(weight=None, reduction='mean')

13. cosine 損失 CosineEmbeddingLoss

torch.nn.CosineEmbeddingLoss(margin=0.0, reduction='mean')


參數(shù):

margin:默認(rèn)值0

14. 多類別分類的hinge損失 MultiMarginLoss

torch.nn.MultiMarginLoss(p=1, margin=1.0, weight=None, reduction='mean')


參數(shù):

p=1或者2 默認(rèn)值:1
margin:默認(rèn)值1

15. 三元組損失 TripletMarginLoss

和孿生網(wǎng)絡(luò)相似,具體例子:給一個(gè)A,然后再給B、C,看看B、C誰(shuí)和A更像。

torch.nn.TripletMarginLoss(margin=1.0, p=2.0, eps=1e-06, swap=False, reduction='mean')
其中:

16. 連接時(shí)序分類損失 CTCLoss

CTC連接時(shí)序分類損失,可以對(duì)沒有對(duì)齊的數(shù)據(jù)進(jìn)行自動(dòng)對(duì)齊,主要用在沒有事先對(duì)齊的序列化數(shù)據(jù)訓(xùn)練上。比如語(yǔ)音識(shí)別、ocr識(shí)別等等。

torch.nn.CTCLoss(blank=0, reduction='mean')參數(shù):

reduction-三個(gè)值,none: 不使用約簡(jiǎn);mean:返回loss和的平均值;sum:返回loss的和。默認(rèn):mean。

17. 負(fù)對(duì)數(shù)似然損失 NLLLoss負(fù)對(duì)數(shù)似然損失. 用于訓(xùn)練 C 個(gè)類別的分類問(wèn)題.

torch.nn.NLLLoss(weight=None, ignore_index=-100, reduction='mean')參數(shù):

weight (Tensor, optional) – 自定義的每個(gè)類別的權(quán)重. 必須是一個(gè)長(zhǎng)度為 C 的 Tensor ignore_index (int, optional) – 設(shè)置一個(gè)目標(biāo)值, 該目標(biāo)值會(huì)被忽略, 從而不會(huì)影響到 輸入的梯度.

18.NLLLoss2d

對(duì)于圖片輸入的負(fù)對(duì)數(shù)似然損失. 它計(jì)算每個(gè)像素的負(fù)對(duì)數(shù)似然損失.

torch.nn.NLLLoss2d(weight=None, ignore_index=-100, reduction='mean')參數(shù):

weight (Tensor, optional) – 自定義的每個(gè)類別的權(quán)重. 必須是一個(gè)長(zhǎng)度為 C 的 Tensor reduction-三個(gè)值,none: 不使用約簡(jiǎn);mean:返回loss和的平均值;sum:返回loss的和。默認(rèn):mean。

19. PoissonNLLLoss目標(biāo)值為泊松分布的負(fù)對(duì)數(shù)似然損失

torch.nn.PoissonNLLLoss(log_input=True, full=False, eps=1e-08, reduction='mean')參數(shù):

log_input (bool, optional) – 如果設(shè)置為 True , loss 將會(huì)按照公 式 exp(input) - target * input 來(lái)計(jì)算, 如果設(shè)置為 False , loss 將會(huì)按照 input - target * log(input+eps) 計(jì)算. full (bool, optional) – 是否計(jì)算全部的 loss, i. e. 加上 Stirling 近似項(xiàng) target * log(target) - target + 0.5 * log(2 * pi * target). eps (float, optional) – 默認(rèn)值: 1e-8

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 函數(shù)
    +關(guān)注

    關(guān)注

    3

    文章

    4327

    瀏覽量

    62573
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5500

    瀏覽量

    121113

原文標(biāo)題:深度學(xué)習(xí)19種損失函數(shù),你認(rèn)識(shí)幾個(gè)?

文章出處:【微信號(hào):Imgtec,微信公眾號(hào):Imagination Tech】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    詳細(xì)了解回調(diào)函數(shù)

    下面我們先介紹預(yù)備知識(shí) typedef的用法和函數(shù)指針的學(xué)習(xí)
    發(fā)表于 08-06 08:01

    詳細(xì)了解下ups的相關(guān)計(jì)算

    關(guān)于ups方面的計(jì)算有很多,ups無(wú)論是接空開,還是連接電纜,以及選擇電池,都可能需要計(jì)算它的電流或功率等,那么今天我們來(lái)詳細(xì)了解下ups的相關(guān)計(jì)算。一、UPS電源及電流一、高頻ups與工頻ups
    發(fā)表于 11-16 09:08

    詳細(xì)了解一下STM32F1的具體電路參數(shù)

    最近筆者在使用STM32時(shí),需要詳細(xì)了解一下F1的具體電路參數(shù)。于是查看其官方數(shù)據(jù)手冊(cè),結(jié)果記錄如下。絕對(duì)最大額度值一般工作條件表中的FT指5V 耐壓。可以在引腳定義表格中看到。I/O端口特性(邏輯電平)在最后一個(gè)表格中還可以看到STMF103芯片內(nèi)部的上/下拉電阻的阻值為40k。...
    發(fā)表于 01-18 07:07

    通過(guò) iftop、 nethogs 和 vnstat 詳細(xì)了解的網(wǎng)絡(luò)連接狀態(tài)

    通過(guò) iftop、 nethogs 和 vnstat 詳細(xì)了解的網(wǎng)絡(luò)連接狀態(tài)。
    的頭像 發(fā)表于 01-27 21:10 ?2.1w次閱讀
    通過(guò) iftop、 nethogs 和 vnstat <b class='flag-5'>詳細(xì)了解</b><b class='flag-5'>你</b>的網(wǎng)絡(luò)連接狀態(tài)

    深度學(xué)習(xí)是什么?了解深度學(xué)習(xí)難嗎?讓快速了解深度學(xué)習(xí)的視頻講解

    深度學(xué)習(xí)是什么?了解深度學(xué)習(xí)難嗎?讓快速了解
    發(fā)表于 08-23 14:36 ?16次下載

    快速了解神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的教程資料免費(fèi)下載

    本文檔的詳細(xì)介紹的是快速了解神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的教程資料免費(fèi)下載主要內(nèi)容包括了:機(jī)器學(xué)習(xí)概述,線性模型,前饋神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò),循環(huán)神經(jīng)
    發(fā)表于 02-11 08:00 ?33次下載
    快速<b class='flag-5'>了解</b>神經(jīng)網(wǎng)絡(luò)與<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>的教程資料免費(fèi)下載

    了解IC內(nèi)部結(jié)構(gòu)嗎本文帶你深入了解

    本文檔的主要內(nèi)容詳細(xì)介紹的是IC內(nèi)部結(jié)構(gòu) 了解IC內(nèi)部結(jié)構(gòu)嗎本文帶你深入了解
    的頭像 發(fā)表于 03-09 11:33 ?1.1w次閱讀
    <b class='flag-5'>你</b><b class='flag-5'>了解</b>IC內(nèi)部結(jié)構(gòu)嗎本文<b class='flag-5'>帶你</b>深入<b class='flag-5'>了解</b>

    深度學(xué)習(xí)框架了解多少

    開源的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)正步入成熟,而現(xiàn)在有許多框架具備為個(gè)性化方案提供先進(jìn)的機(jī)器學(xué)習(xí)和人工智能的能力。
    發(fā)表于 07-08 10:31 ?2213次閱讀
    <b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>框架<b class='flag-5'>你</b><b class='flag-5'>了解</b>多少

    機(jī)器學(xué)習(xí)深度學(xué)習(xí)中分類與回歸常用的幾種損失函數(shù)

    本文將介紹機(jī)器學(xué)習(xí)深度學(xué)習(xí)中分類與回歸常用的幾種損失函數(shù),包括均方差損失 Mean Squar
    的頭像 發(fā)表于 10-09 16:36 ?6230次閱讀
    機(jī)器<b class='flag-5'>學(xué)習(xí)</b>和<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>中分類與回歸常用的幾種<b class='flag-5'>損失</b><b class='flag-5'>函數(shù)</b>

    帶你深入了解示波器

    帶你深入了解示波器
    發(fā)表于 02-07 14:26 ?19次下載

    一文詳細(xì)了解OpenHarmony新圖形框架

    3月30日,OpenHarmony v3.1 Release版本正式發(fā)布了。此版本為大家?guī)?lái)了全新的圖形框架,實(shí)現(xiàn)了UI框架顯示、多窗口、流暢動(dòng)畫等基礎(chǔ)能力,夯實(shí)了OpenHarmony系統(tǒng)能力基座。下面就帶大家詳細(xì)了解新圖形框架。
    的頭像 發(fā)表于 04-27 13:21 ?2210次閱讀
    一文<b class='flag-5'>詳細(xì)了解</b>OpenHarmony新圖形框架

    帶您一起詳細(xì)了解IEEE802.3bt(PoE++)的有關(guān)特點(diǎn)

    Hqst華強(qiáng)盛(盈盛電子)導(dǎo)讀:帶您一起詳細(xì)了解IEEE802.3bt(PoE++)的有關(guān)特點(diǎn),讓我們對(duì)IEEE802.3bt(PoE++)協(xié)議有更具體的了解
    的頭像 發(fā)表于 01-04 11:26 ?2158次閱讀
    帶您一起<b class='flag-5'>詳細(xì)了解</b>IEEE802.3bt(PoE++)的有關(guān)特點(diǎn)

    一文帶你詳細(xì)了解工業(yè)電腦

    扇設(shè)計(jì)、承受振動(dòng)和惡劣環(huán)境的能力、輕松配置、全面的I/O選項(xiàng)、延長(zhǎng)生命周期、耐用的組件。了解如何為您的應(yīng)用選擇工業(yè)電腦對(duì)提高設(shè)施的生產(chǎn)力和效率至關(guān)重要。詳細(xì)了解
    的頭像 發(fā)表于 06-12 14:24 ?401次閱讀
    一文<b class='flag-5'>帶你</b><b class='flag-5'>詳細(xì)了解</b>工業(yè)電腦

    語(yǔ)義分割25損失函數(shù)綜述和展望

    本綜述提供了對(duì)25用于圖像分割的損失函數(shù)的全面且統(tǒng)一的回顧。我們提供了一新穎的分類法,并詳細(xì)審查了這些
    的頭像 發(fā)表于 10-22 08:04 ?470次閱讀
    語(yǔ)義分割25<b class='flag-5'>種</b><b class='flag-5'>損失</b><b class='flag-5'>函數(shù)</b>綜述和展望

    深度了解SiC材料的物理特性

    與Si材料相比,SiC半導(dǎo)體材料在物理特性上優(yōu)勢(shì)明顯,比如擊穿電場(chǎng)強(qiáng)度高、耐高溫、熱傳導(dǎo)性好等,使其適合于制造高耐壓、低損耗功率器件。本篇章帶你詳細(xì)了解SiC材料的物理特性。
    的頭像 發(fā)表于 11-14 14:55 ?582次閱讀
    <b class='flag-5'>深度了解</b>SiC材料的物理特性
    主站蜘蛛池模板: 日欧一片内射VA在线影院| 亚洲H成年动漫在线观看不卡| 谁有成人网站地址| 亚洲欧美日韩精品自拍| 2021国产精品一卡2卡三卡4卡| fryee性欧美18 19| 国产精品国产三级国产an| 久久99精品AV99果冻| 欧美最猛黑人XXXXWWW| 亚洲AV国产福利精品在现观看| 91进入蜜桃臀在线播放| 国产精品久久久久影院色老大| 日本男女动态图| 中文字幕久久久| 国产AV天堂亚洲AV麻豆| 久久草香蕉频线观| 私人玩物黑丝| 国产69精品久久久久麻豆| 日本阿v直播在线| 中文中幕无码亚洲视频| 混乱家庭电影完整版在线看 | 免费精品一区二区三区AA片| 轻轻挺进女教师的身体| 伊人久久五月丁婷婷| 观赏女性排尿| 兽皇VIDEO另类HD| 国产精品v片在线观看不卡| 欧美双拳极限扩张| FREEXXX性乌克兰XXX| 日本大片免a费观看视频| 达达兔欧美午夜国产亚洲 | 亚洲精品成人无码A片在线| 草久热的视频在线观看| 久久这里只有精品国产精品99| 肉动漫无修在线播放| 99视频导航| 久久久久免费视频| 亚洲国产成人久久精品影视| 嗨嗨快播电影| 手机在线免费观看毛片| 国产精品久久久久久人妻精品蜜桃|