色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

圖文詳解:神經(jīng)網(wǎng)絡(luò)的激活函數(shù)

如意 ? 來(lái)源: 人工智能遇見(jiàn)磐創(chuàng) ? 作者: 人工智能遇見(jiàn)磐創(chuàng) ? 2020-07-05 11:21 ? 次閱讀

什么是神經(jīng)網(wǎng)絡(luò)激活函數(shù)?

激活函數(shù)有助于決定我們是否需要激活神經(jīng)元。如果我們需要發(fā)射一個(gè)神經(jīng)元那么信號(hào)的強(qiáng)度是多少。

激活函數(shù)是神經(jīng)元通過(guò)神經(jīng)網(wǎng)絡(luò)處理和傳遞信息的機(jī)制

為什么在神經(jīng)網(wǎng)絡(luò)中需要一個(gè)激活函數(shù)?

圖文詳解:神經(jīng)網(wǎng)絡(luò)的激活函數(shù)

在神經(jīng)網(wǎng)絡(luò)中,z是輸入節(jié)點(diǎn)與節(jié)點(diǎn)權(quán)值加上偏差的乘積。z的方程與線性方程非常相似,取值范圍從+∞到-∞

圖文詳解:神經(jīng)網(wǎng)絡(luò)的激活函數(shù)

如果神經(jīng)元的值可以從負(fù)無(wú)窮到正無(wú)窮變化,那么我們就無(wú)法決定是否需要激活神經(jīng)元。這就是激活函數(shù)幫助我們解決問(wèn)題的地方。

如果z是線性的,那么我們就不能解決復(fù)雜的問(wèn)題。這是我們使用激活函數(shù)的另一個(gè)原因。

有以下不同類型的激活函數(shù)

閥值函數(shù)或階梯激活函數(shù)

Sigmoid

Softmax

Tanh或雙曲正切

ReLU

Leaky ReLU

為什么我們需要這么多不同的激活函數(shù),我怎么決定用哪一個(gè)呢?

讓我們回顧一下每一個(gè)激活函數(shù),并了解它們的最佳使用位置和原因。這將幫助我們決定在不同的場(chǎng)景中使用哪個(gè)激活函數(shù)。

閥值函數(shù)或階梯激活函數(shù)

圖文詳解:神經(jīng)網(wǎng)絡(luò)的激活函數(shù)

這是最簡(jiǎn)單的函數(shù)

如果z值高于閾值,則激活設(shè)置為1或yes,神經(jīng)元將被激活。

如果z值低于閾值,則激活設(shè)置為0或no,神經(jīng)元不會(huì)被激活。

它們對(duì)二分類很有用。】

Sigmoid激活函數(shù)

圖文詳解:神經(jīng)網(wǎng)絡(luò)的激活函數(shù)

Sigmoid函數(shù)是一種光滑的非線性函數(shù),無(wú)扭結(jié),形狀類似于S形。

它預(yù)測(cè)輸出的概率,因此被用于神經(jīng)網(wǎng)絡(luò)和邏輯回歸的輸出層。

由于概率范圍在0到1之間,所以sigmoid函數(shù)值存在于0到1之間。

但是如果我們想分類更多的是或不是呢?如果我想預(yù)測(cè)多個(gè)類,比如預(yù)測(cè)晴天、雨天或陰天,該怎么辦?

Softmax激活有助于多類分類

Softmax激活函數(shù)

Sigmoid激活函數(shù)用于兩類或二類分類,而softmax用于多類分類,是對(duì)Sigmoid函數(shù)的一種推廣。

在softmax中,我們得到了每個(gè)類的概率,它們的和應(yīng)該等于1。當(dāng)一個(gè)類的概率增大時(shí),其他類的概率減小,因此概率最大的類是輸出類。

例如:在預(yù)測(cè)天氣時(shí),我們可以得到輸出概率,晴天為0.68,陰天為0.22,雨天為0.20。在這種情況下,我們以最大概率的輸出作為最終的輸出。在這種情況下我們預(yù)測(cè)明天將是晴天。

Softmax計(jì)算每個(gè)目標(biāo)類的概率除以所有可能的目標(biāo)類的概率。

圖文詳解:神經(jīng)網(wǎng)絡(luò)的激活函數(shù)

雙曲正切或Tanh激活函數(shù)

圖文詳解:神經(jīng)網(wǎng)絡(luò)的激活函數(shù)

對(duì)于雙曲tanh函數(shù),輸出以0為中心,輸出范圍在-1和+1之間。

看起來(lái)很像Sigmoid。實(shí)際上雙曲tanh是縮放的s形函數(shù)。與Sigmoid相比,tanh的梯度下降作用更強(qiáng),因此比Sigmoid更受歡迎。

tanh的優(yōu)點(diǎn)是,負(fù)輸入將被映射為強(qiáng)負(fù),零輸入將被映射為接近零,這在sigmoid中是不會(huì)發(fā)生的,因?yàn)閟igmoid的范圍在0到1之間

ReLU

圖文詳解:神經(jīng)網(wǎng)絡(luò)的激活函數(shù)

ReLU本質(zhì)上是非線性的,這意味著它的斜率不是常數(shù)。Relu在0附近是非線性的,但斜率不是0就是1,因此具有有限的非線性。

范圍是從0到∞

當(dāng)z為正時(shí),ReLU的輸出與輸入相同。當(dāng)z為0或小于0時(shí),輸出為0。因此,當(dāng)輸入為0或低于0時(shí),ReLU會(huì)關(guān)閉神經(jīng)元。

所有的深度學(xué)習(xí)模型都使用Relu,但由于Relu的稀疏性,只能用于隱含層。稀疏性指的是空值或“NA”值的數(shù)量。

當(dāng)隱層暴露于一定范圍的輸入值時(shí),RELU函數(shù)將導(dǎo)致更多的零,從而導(dǎo)致更少的神經(jīng)元被激活,這將意味著更少的神經(jīng)網(wǎng)絡(luò)交互作用。

ReLU比sigmoid或tanh更積極地打開(kāi)或關(guān)閉神經(jīng)元

Relu的挑戰(zhàn)在于,負(fù)值變?yōu)榱憬档土四P驼_訓(xùn)練數(shù)據(jù)的能力。為了解決這個(gè)問(wèn)題,我們有Leaky ReLU

Leaky ReLU

圖文詳解:神經(jīng)網(wǎng)絡(luò)的激活函數(shù)

a的值通常是0.01

在Leaky ReLU中,我們引入了一個(gè)小的負(fù)斜率,所以它的斜率不是0。這有助于加快訓(xùn)練。

Leaky ReLU的范圍從-∞到+∞

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4789

    瀏覽量

    101598
  • 函數(shù)
    +關(guān)注

    關(guān)注

    3

    文章

    4353

    瀏覽量

    63296
  • 神經(jīng)元
    +關(guān)注

    關(guān)注

    1

    文章

    368

    瀏覽量

    18560
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)步驟詳解

    BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)步驟主要包括以下幾個(gè)階段:網(wǎng)絡(luò)初始化、前向傳播、誤差計(jì)算、反向傳播和權(quán)重更新。以下是對(duì)這些步驟的詳細(xì)解釋: 一、網(wǎng)絡(luò)初始化 確定網(wǎng)絡(luò)結(jié)構(gòu) : 根據(jù)輸入和輸出數(shù)據(jù)的特性
    的頭像 發(fā)表于 02-12 15:50 ?139次閱讀

    神經(jīng)元模型激活函數(shù)通常有哪幾類

    神經(jīng)元模型激活函數(shù)神經(jīng)網(wǎng)絡(luò)中的關(guān)鍵組成部分,它們負(fù)責(zé)在神經(jīng)元之間引入非線性,使得神經(jīng)網(wǎng)絡(luò)能夠?qū)W
    的頭像 發(fā)表于 07-11 11:33 ?1215次閱讀

    神經(jīng)網(wǎng)絡(luò)三要素包括什么

    神經(jīng)網(wǎng)絡(luò)是一種受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而發(fā)展起來(lái)的數(shù)學(xué)模型,它在人工智能、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)等領(lǐng)域有著廣泛的應(yīng)用。神經(jīng)網(wǎng)絡(luò)的三要素包括神經(jīng)元、權(quán)重和激活
    的頭像 發(fā)表于 07-11 11:05 ?1551次閱讀

    前饋神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和常見(jiàn)激活函數(shù)

    激活函數(shù)的非線性變換,能夠?qū)W習(xí)和模擬復(fù)雜的函數(shù)映射,從而解決各種監(jiān)督學(xué)習(xí)任務(wù)。本文將詳細(xì)闡述前饋神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu),包括其組成層、權(quán)重和偏置、激活
    的頭像 發(fā)表于 07-09 10:31 ?1221次閱讀

    rnn是什么神經(jīng)網(wǎng)絡(luò)模型

    領(lǐng)域有著廣泛的應(yīng)用。 RNN的基本概念 1.1 神經(jīng)網(wǎng)絡(luò)的基本概念 神經(jīng)網(wǎng)絡(luò)是一種受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)的數(shù)學(xué)模型,它由多個(gè)神經(jīng)元(或稱為節(jié)點(diǎn))組成,這些
    的頭像 發(fā)表于 07-05 09:50 ?795次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)的區(qū)別在哪

    結(jié)構(gòu)、原理、應(yīng)用場(chǎng)景等方面都存在一定的差異。以下是對(duì)這兩種神經(jīng)網(wǎng)絡(luò)的詳細(xì)比較: 基本結(jié)構(gòu) BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò),由輸入層、隱藏層和輸出層組成。每個(gè)神經(jīng)元之間通過(guò)權(quán)重連接,
    的頭像 發(fā)表于 07-04 09:49 ?1.3w次閱讀

    如何使用神經(jīng)網(wǎng)絡(luò)進(jìn)行建模和預(yù)測(cè)

    輸入信號(hào),對(duì)其進(jìn)行加權(quán)求和,然后通過(guò)激活函數(shù)進(jìn)行非線性轉(zhuǎn)換,生成輸出信號(hào)。通過(guò)這種方式,神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)輸入數(shù)據(jù)的復(fù)雜模式和關(guān)系。 神經(jīng)網(wǎng)絡(luò)的類型
    的頭像 發(fā)表于 07-03 10:23 ?905次閱讀

    BP神經(jīng)網(wǎng)絡(luò)屬于DNN嗎

    屬于。BP神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network)是一種基于誤差反向傳播算法的多層前饋神經(jīng)網(wǎng)絡(luò),是深度學(xué)習(xí)(Deep Learning)領(lǐng)域中非常重要的一種模型。而
    的頭像 發(fā)表于 07-03 10:18 ?952次閱讀

    bp神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)區(qū)別是什么

    結(jié)構(gòu)、原理、應(yīng)用場(chǎng)景等方面都存在一定的差異。以下是對(duì)這兩種神經(jīng)網(wǎng)絡(luò)的比較: 基本結(jié)構(gòu) BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò),由輸入層、隱藏層和輸出層組成。每個(gè)神經(jīng)元之間通過(guò)權(quán)重連接,并通
    的頭像 發(fā)表于 07-03 10:12 ?1558次閱讀

    BP神經(jīng)網(wǎng)絡(luò)激活函數(shù)怎么選擇

    中,激活函數(shù)起著至關(guān)重要的作用,它決定了神經(jīng)元的輸出方式,進(jìn)而影響整個(gè)網(wǎng)絡(luò)的性能。 一、激活函數(shù)
    的頭像 發(fā)表于 07-03 10:02 ?890次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)激活函數(shù)的作用

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNNs)是深度學(xué)習(xí)中一種重要的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),廣泛應(yīng)用于圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域。在卷積神經(jīng)網(wǎng)絡(luò)中,
    的頭像 發(fā)表于 07-03 09:18 ?1355次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的原理是什么

    基本概念、結(jié)構(gòu)、訓(xùn)練過(guò)程以及應(yīng)用場(chǎng)景。 卷積神經(jīng)網(wǎng)絡(luò)的基本概念 1.1 神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)是一種受人腦神經(jīng)元結(jié)構(gòu)啟發(fā)的數(shù)學(xué)模型,由大量的節(jié)點(diǎn)(神經(jīng)
    的頭像 發(fā)表于 07-02 14:44 ?905次閱讀

    神經(jīng)網(wǎng)絡(luò)反向傳播算法原理是什么

    介紹反向傳播算法的原理、數(shù)學(xué)基礎(chǔ)、實(shí)現(xiàn)步驟和應(yīng)用場(chǎng)景。 神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 神經(jīng)網(wǎng)絡(luò)是一種受人腦啟發(fā)的計(jì)算模型,由大量的神經(jīng)元(或稱為節(jié)點(diǎn))組成。每個(gè)神經(jīng)元接收輸入信號(hào),通過(guò)
    的頭像 發(fā)表于 07-02 14:16 ?857次閱讀

    神經(jīng)網(wǎng)絡(luò)激活函數(shù)的定義及類型

    引言 神經(jīng)網(wǎng)絡(luò)是一種模擬人腦神經(jīng)元結(jié)構(gòu)的計(jì)算模型,廣泛應(yīng)用于圖像識(shí)別、自然語(yǔ)言處理、語(yǔ)音識(shí)別等領(lǐng)域。在神經(jīng)網(wǎng)絡(luò)中,激活函數(shù)起著至關(guān)重要的作用
    的頭像 發(fā)表于 07-02 10:09 ?850次閱讀

    神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)有哪些

    神經(jīng)網(wǎng)絡(luò)中,激活函數(shù)是一個(gè)至關(guān)重要的組成部分,它決定了神經(jīng)元對(duì)于輸入信號(hào)的反應(yīng)方式,為神經(jīng)網(wǎng)絡(luò)引入了非線性因素,使得
    的頭像 發(fā)表于 07-01 11:52 ?766次閱讀
    主站蜘蛛池模板: 狠狠色在在线视频观看 | 亚洲黄色官网 | 97在线观看免费视频 | 美女脱内衣裸身尿口露出来 | 天天槽任我槽免费 | 久久九九少妇免费看A片 | 全黄h全肉短篇禁乱np | 欧美大香线蕉线伊人久久 | 999久久精品国产 | 全肉高H短篇合集 | 亚洲国产高清福利视频 | 免费果冻传媒在线完整观看 | 在教室伦流澡到高潮H女攻视频 | 国产精品国产三级国产an | 国产成人精品永久免费视频 | 蜜芽TV影院在线视频 | 久久久久毛片免费观看 | 国产精品伦理一二三区伦理 | 最近中文字幕2018MV高清在线 | 竹菊精品久久久久久久99蜜桃 | 中文免费视频 | 精品国产精品人妻久久无码五月天 | 国产在线观看免费 | 欧美不卡一区二区三区 | 久色乳综合思思在线视频 | 甜性涩爱dvd | 97久久久久 | 恋孩癖网站大全在线观看 | 伊人久久精品99热超碰 | 一区三区不卡高清影视 | 亚洲精品免费在线 | xxnxx动漫| 欧美深夜0000XXXX疯狂 | 精品无码一区二区三区中文字幕 | 狠狠色狠狠色综合曰曰 | 中国农村真实bbwbbwbbw | 一本之道高清视频在线观看 | 扒开女人下面使劲桶视频 | 97国产成人精品视频 | 亚洲视频一 | 久久99热只有频精品 |