色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

使用Pytorch實現(xiàn)頻譜歸一化生成對抗網(wǎng)絡(luò)(SN-GAN)

冬至子 ? 來源:思否AI ? 作者:思否AI ? 2023-10-18 10:59 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

自從擴散模型發(fā)布以來,GAN的關(guān)注度和論文是越來越少了,但是它們里面的一些思路還是值得我們了解和學習。所以本文我們來使用Pytorch 來實現(xiàn)SN-GAN

譜歸一化生成對抗網(wǎng)絡(luò)是一種生成對抗網(wǎng)絡(luò),它使用譜歸一化技術(shù)來穩(wěn)定鑒別器的訓練。譜歸一化是一種權(quán)值歸一化技術(shù),它約束了鑒別器中每一層的譜范數(shù)。這有助于防止鑒別器變得過于強大,從而導致不穩(wěn)定和糟糕的結(jié)果。

SN-GAN由Miyato等人(2018)在論文“生成對抗網(wǎng)絡(luò)的譜歸一化”中提出,作者證明了sn - gan在各種圖像生成任務(wù)上比其他gan具有更好的性能。

SN-GAN的訓練方式與其他gan相同。生成器網(wǎng)絡(luò)學習生成與真實圖像無法區(qū)分的圖像,而鑒別器網(wǎng)絡(luò)學習區(qū)分真實圖像和生成圖像。這兩個網(wǎng)絡(luò)以競爭的方式進行訓練,它們最終達到一個點,即生成器能夠產(chǎn)生逼真的圖像,從而欺騙鑒別器。

以下是SN-GAN相對于其他gan的優(yōu)勢總結(jié):

  • 更穩(wěn)定,更容易訓練
  • 可以生成更高質(zhì)量的圖像
  • 更通用,可以用來生成更廣泛的內(nèi)容。

模式崩潰

模式崩潰是生成對抗網(wǎng)絡(luò)(GANs)訓練中常見的問題。當GAN的生成器網(wǎng)絡(luò)無法產(chǎn)生多樣化的輸出,而是陷入特定的模式時,就會發(fā)生模式崩潰。這會導致生成的輸出出現(xiàn)重復,缺乏多樣性和細節(jié),有時甚至與訓練數(shù)據(jù)完全無關(guān)。

GAN中發(fā)生模式崩潰有幾個原因。一個原因是生成器網(wǎng)絡(luò)可能對訓練數(shù)據(jù)過擬合。如果訓練數(shù)據(jù)不夠多樣化,或者生成器網(wǎng)絡(luò)太復雜,就會發(fā)生這種情況。另一個原因是生成器網(wǎng)絡(luò)可能陷入損失函數(shù)的局部最小值。如果學習率太高,或者損失函數(shù)定義不明確,就會發(fā)生這種情況。

以前有許多技術(shù)可以用來防止模式崩潰。比如使用更多樣化的訓練數(shù)據(jù)集。或者使用正則化技術(shù),例如dropout或批處理歸一化,使用合適的學習率和損失函數(shù)也很重要。

Wassersteian損失

Wasserstein損失,也稱為Earth Mover’s Distance(EMD)或Wasserstein GAN (WGAN)損失,是一種用于生成對抗網(wǎng)絡(luò)(GAN)的損失函數(shù)。引入它是為了解決與傳統(tǒng)GAN損失函數(shù)相關(guān)的一些問題,例如Jensen-Shannon散度和Kullback-Leibler散度。

Wasserstein損失測量真實數(shù)據(jù)和生成數(shù)據(jù)的概率分布之間的差異,同時確保它具有一定的數(shù)學性質(zhì)。他的思想是最小化這兩個分布之間的Wassersteian距離(也稱為地球移動者距離)。Wasserstein距離可以被認為是將一個分布轉(zhuǎn)換為另一個分布所需的最小“成本”,其中“成本”被定義為將概率質(zhì)量從一個位置移動到另一個位置所需的“工作量”。

Wasserstein損失的數(shù)學定義如下:

對于生成器G和鑒別器D, Wasserstein損失(Wasserstein距離)可以表示為:

Jensen-Shannon散度(JSD): Jensen-Shannon散度是一種對稱度量,用于量化兩個概率分布之間的差異

對于概率分布P和Q, JSD定義如下:

JSD(P∥Q)=1/2(KL(P∥M)+KL(Q∥M))

M為平均分布,KL為Kullback-Leibler散度,P∥Q為分布P與分布Q之間的JSD。

JSD總是非負的,在0和1之間有界,并且對稱(JSD(P|Q) = JSD(Q|P))。它可以被解釋為KL散度的“平滑”版本。

Kullback-Leibler散度(KL散度):Kullback-Leibler散度,通常被稱為KL散度或相對熵,通過量化“額外信息”來測量兩個概率分布之間的差異,這些“額外信息”需要使用另一個分布作為參考來編碼一個分布。

對于兩個概率分布P和Q,從Q到P的KL散度定義為:KL(P∥Q)=∑x P(x)log(Q(x)/P(x))。KL散度是非負非對稱的,即KL(P∥Q)≠KL(Q∥P)。當且僅當P和Q相等時它為零。KL散度是無界的,可以用來衡量分布之間的不相似性。

1-Lipschitz Contiunity

1- lipschitz函數(shù)是斜率的絕對值以1為界的函數(shù)。這意味著對于任意兩個輸入x和y,函數(shù)輸出之間的差不超過輸入之間的差。

數(shù)學上函數(shù)f是1-Lipschitz,如果對于f定義域內(nèi)的所有x和y,以下不等式成立:

|f(x) — f(y)| <= |x — y|

在生成對抗網(wǎng)絡(luò)(GANs)中強制Lipschitz連續(xù)性是一種用于穩(wěn)定訓練和防止與傳統(tǒng)GANs相關(guān)的一些問題的技術(shù),例如模式崩潰和訓練不穩(wěn)定。在GAN中實現(xiàn)Lipschitz連續(xù)性的主要方法是通過使用Lipschitz約束或正則化,一種常用的方法是Wasserstein GAN (WGAN)。

在標準gan中,鑒別器(也稱為WGAN中的批評家)被訓練來區(qū)分真實和虛假數(shù)據(jù)。為了加強Lipschitz連續(xù)性,WGAN增加了一個約束,即鑒別器函數(shù)應(yīng)該是Lipschitz連續(xù)的,這意味著函數(shù)的梯度不應(yīng)該增長得太大。在數(shù)學上,它被限制為:

∥∣D(x)?D(y)∣≤K?∥x?y

其中D(x)是評論家對數(shù)據(jù)點x的輸出,D(y)是y的輸出,K是Lipschitz 常數(shù)。

WGAN的權(quán)重裁剪:在原始的WGAN中,通過在每個訓練步驟后將鑒別器網(wǎng)絡(luò)的權(quán)重裁剪到一個小范圍(例如,[-0.01,0.01])來強制執(zhí)行該約束。權(quán)重裁剪確保了鑒別器的梯度保持在一定范圍內(nèi),并加強了利普希茨連續(xù)性。

WGAN的梯度懲罰: WGAN的一種變體,稱為WGAN-GP,它使用梯度懲罰而不是權(quán)值裁剪來強制Lipschitz約束。WGAN-GP基于鑒別器的輸出相對于真實和虛假數(shù)據(jù)之間的隨機點的梯度,在損失函數(shù)中添加了一個懲罰項。這種懲罰鼓勵了Lipschitz約束,而不需要權(quán)重裁剪。

譜范數(shù)

從符號上看矩陣

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 編碼器
    +關(guān)注

    關(guān)注

    45

    文章

    3796

    瀏覽量

    138014
  • 生成器
    +關(guān)注

    關(guān)注

    7

    文章

    322

    瀏覽量

    21891
  • 頻譜儀
    +關(guān)注

    關(guān)注

    7

    文章

    351

    瀏覽量

    36865
  • pytorch
    +關(guān)注

    關(guān)注

    2

    文章

    809

    瀏覽量

    13951
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    AM206541TM-SN-R-TF功率放大器AMCOM原裝現(xiàn)貨

    AM206541TM-SN-R-TF功率放大器AMCOM原裝現(xiàn)貨AM206541TM-SN-R-TF是款由AMCOM生產(chǎn)的寬帶氮化鎵(GaN)單片微波集成電路(MMIC)功率放大器,
    發(fā)表于 06-06 09:06

    使用基于GaN的OBC應(yīng)對電動汽車EMI傳導發(fā)射挑戰(zhàn)

    本期,為大家?guī)淼氖恰妒褂没?GaN 的 OBC 應(yīng)對電動汽車 EMI 傳導發(fā)射挑戰(zhàn)》,將深入回顧 CISPR 32 對 OBC 的 EMI 要求,同時詳細探討可靠數(shù)據(jù)測量的最佳做法、GaN 對 EMI 頻譜的影響,以及解決傳
    的頭像 發(fā)表于 05-24 15:46 ?2733次閱讀
    使用基于<b class='flag-5'>GaN</b>的OBC應(yīng)對電動汽車EMI傳導發(fā)射挑戰(zhàn)

    歸一化在電機控制中究竟有什么用?(可下載)

    大家好,今天我們來了解歸一化在電機控制中的作用,那么首先我們需要先了解下歸 化的概念,這樣才能更好的了解電機控制中為什么會經(jīng)常用到歸一化
    發(fā)表于 02-28 14:14 ?0次下載

    #新年新氣象,大家新年快樂!#AIGC入門及鴻蒙入門

    Generated Content,即人工智能生成內(nèi)容。它利用人工智能技術(shù)自動生成或輔助生成文本、圖像、音頻、視頻等內(nèi)容。 AIGC的核心技術(shù)包括自然語言處理(NLP)、計算機視覺、生成對抗
    發(fā)表于 01-13 10:46

    AIGC入門及鴻蒙入門

    Generated Content,即人工智能生成內(nèi)容。它利用人工智能技術(shù)自動生成或輔助生成文本、圖像、音頻、視頻等內(nèi)容。 AIGC的核心技術(shù)包括自然語言處理(NLP)、計算機視覺、生成對抗
    發(fā)表于 01-13 10:32

    利用Arm Kleidi技術(shù)實現(xiàn)PyTorch優(yōu)化

    PyTorch個廣泛應(yīng)用的開源機器學習 (ML) 庫。近年來,Arm 與合作伙伴通力協(xié)作,持續(xù)改進 PyTorch 的推理性能。本文將詳細介紹如何利用 Arm Kleidi 技術(shù)提升 Arm
    的頭像 發(fā)表于 12-23 09:19 ?1057次閱讀
    利用Arm Kleidi技術(shù)<b class='flag-5'>實現(xiàn)</b><b class='flag-5'>PyTorch</b>優(yōu)化

    Arm KleidiAI助力提升PyTorch上LLM推理性能

    生成式人工智能 (AI) 正在科技領(lǐng)域發(fā)揮關(guān)鍵作用,許多企業(yè)已經(jīng)開始將大語言模型 (LLM) 集成到云端和邊緣側(cè)的應(yīng)用中。生成式 AI 的引入也使得許多框架和庫得以發(fā)展。其中,PyTorch 作為
    的頭像 發(fā)表于 12-03 17:05 ?1485次閱讀
    Arm KleidiAI助力提升<b class='flag-5'>PyTorch</b>上LLM推理性能

    PyTorch 2.5.1: Bugs修復版發(fā)布

    ? ,前言 在深度學習框架的不斷迭代中,PyTorch 社區(qū)始終致力于提供更穩(wěn)定、更高效的工具。最近,PyTorch 2.5.1 版本正式發(fā)布,這個版本主要針對 2.5.0 中發(fā)現(xiàn)的問題進行了修復
    的頭像 發(fā)表于 12-03 16:11 ?1616次閱讀
    <b class='flag-5'>PyTorch</b> 2.5.1: Bugs修復版發(fā)布

    大語言模型優(yōu)化生成管理方法

    大語言模型的優(yōu)化生成管理是個系統(tǒng)工程,涉及模型架構(gòu)、數(shù)據(jù)處理、內(nèi)容控制、實時響應(yīng)以及倫理監(jiān)管等多個層面。以下,是對大語言模型優(yōu)化生成管理方法的梳理,由AI部落小編整理。
    的頭像 發(fā)表于 12-02 10:45 ?397次閱讀

    PyTorch 數(shù)據(jù)加載與處理方法

    PyTorch個流行的開源機器學習庫,它提供了強大的工具來構(gòu)建和訓練深度學習模型。在構(gòu)建模型之前,個重要的步驟是加載和處理數(shù)據(jù)。 1. PyTorch 數(shù)據(jù)加載基礎(chǔ) 在
    的頭像 發(fā)表于 11-05 17:37 ?928次閱讀

    如何使用 PyTorch 進行強化學習

    強化學習(Reinforcement Learning, RL)是種機器學習方法,它通過與環(huán)境的交互來學習如何做出決策,以最大化累積獎勵。PyTorch個流行的開源機器學習庫,它提供了靈活
    的頭像 發(fā)表于 11-05 17:34 ?1041次閱讀

    GaN如何實現(xiàn)更高效、更緊湊的電源

    電子發(fā)燒友網(wǎng)站提供《GaN如何實現(xiàn)更高效、更緊湊的電源.pdf》資料免費下載
    發(fā)表于 09-12 10:00 ?0次下載
    <b class='flag-5'>GaN</b>如何<b class='flag-5'>實現(xiàn)</b>更高效、更緊湊的電源

    請問LM311能準確的交截生成對應(yīng)的PWM波形嗎?

    UC3825, TLV3501輸入正是100k的正弦波 輸入負是100kHz的鋸齒波 二者交截生成PWM波形 請問LM311能準確的交截生成對應(yīng)的PWM波形嗎 之前使用UC3525里面自帶的比較器做的,LM311能達到這樣的速度嗎
    發(fā)表于 08-06 07:46

    pytorch怎么在pycharm中運行

    部分:PyTorch和PyCharm的安裝 1.1 安裝PyTorch PyTorch個開源的機器學習庫,用于構(gòu)建和訓練神經(jīng)
    的頭像 發(fā)表于 08-01 16:22 ?2521次閱讀

    pycharm如何調(diào)用pytorch

    引言 PyTorch個開源的機器學習庫,廣泛用于計算機視覺、自然語言處理等領(lǐng)域。PyCharm是個流行的Python集成開發(fā)環(huán)境(IDE),提供了代碼編輯、調(diào)試、測試等功能。將PyTor
    的頭像 發(fā)表于 08-01 15:41 ?1215次閱讀
    主站蜘蛛池模板: 欧美人禽Zozo动人物杂交 | 国产亚洲精品久久久久久禁果TV | 一本之道加勒比在线观看 | 欧美三级不卡在线观线看 | 伊人综合在线22 | 91综合精品网站久久 | 97人妻中文字幕免费视频 | 伊人网综合在线观看 | 国内精品人妻无码久久久影院蜜桃 | 国产三级在线观看免费 | 欧美一区二区日韩一区二区 | 55夜色66夜亚洲精品播放 | 2018三级网站免费观看 | 亚洲国产无线码在线观看 | 色网址在线观看 | 成人免费视频无遮挡在线看 | 欧美性猛交XXXX乱大交极品 | 亚洲精品久久久午夜福利电影网 | 久久久久久88色偷偷 | 日本熟妇乱妇熟色A片蜜桃 日本熟妇多毛XXXXX视频 | 国产午夜精AV在线麻豆 | 青青草在线 视频 | 2021久久99国产熟女人妻 | 办公室的秘密2中文字幕 | 无码乱人伦一区二区亚洲 | 亚洲在线成色综合网站 | 印度12 13free| 国产成人久久AV免费看澳门 | 琪琪see色原网色原网站 | 99国产精品偷窥熟女精品视频 | 日本久久久WWW成人免费毛片丨 | 国产婷婷色一区二区三区在线 | 无码内射成人免费喷射 | 琉璃美人煞在线观看 | 狠狠插狠狠干 | 天堂岛www | 成人国产在线看不卡 | 性派对xxxhd| 欧美伦理片第7页 | 黄 色 网 站 免 费 涩涩屋 | 4虎最新网址 |

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品