色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

字節跳動發布文生圖開放模型,迅速沖上Hugging Face Spaces熱榜

jf_WZTOguxH ? 來源:AI前線 ? 2024-02-26 13:47 ? 次閱讀

很高興跟大家分享我們最新的文生圖模型 —— SDXL-Lightning,它實現了前所未有的速度和質量,并且已經向社區開放。

閃電般的圖片生成

生成式 AI 正憑借其根據文本提示(text prompts)創造出驚艷圖像乃至視頻的能力,贏得全球的矚目。當前最先進的生成模型依賴于擴散過程(diffusion),這是一個將噪聲逐步轉化為圖像樣本的迭代過程。這個過程需要耗費巨大的計算資源并且速度較慢,在生成高質量圖像樣本的過程中,單張圖像的處理時間約為 5 秒,其中通常需要多次(20 到 40 次)調用龐大的神經網絡。這樣的速度限制了有快速、實時生成需求的應用場景。如何在提升生成質量的同時加快速度,是當前研究的熱點領域,也是我們工作的核心目標。

SDXL-Lightning 通過一種創新技術——漸進式對抗蒸餾(Progressive Adversarial Distillation)——突破了這一障礙,實現了前所未有的生成速度。該模型能夠在短短 2 步或 4 步內生成極高質量和分辨率的圖像,將計算成本和時間降低十倍。我們的方法甚至可以在 1 步內為超時敏感的應用生成圖像,雖然可能會稍微犧牲一些質量。

除了速度優勢,SDXL-Lightning 在圖像質量上也有顯著表現,并在評估中超越了以往的加速技術。在實現更高分辨率和更佳細節的同時保持良好的多樣性和圖文匹配度。

33c5b058-d461-11ee-a297-92fbcf53809c.gif

速度對比示意

原始模型(20 步),SDXL-Lightning 模型(2 步)

模型效果

SDXL-Lightning 模型可以通過 1 步、2 步、4 步和 8 步來生成圖像。推理步驟越多,圖像質量越好。

以下是 4 步生成結果——

以下是 2 步生成結果—— 與以前的方法(Turbo 和 LCM)相比,我們的方法生成的圖像在細節上有顯著改進,并且更忠實于原始生成模型的風格和布局。

3400e01a-d461-11ee-a297-92fbcf53809c.png

回饋社區,開放模型

開源開放的浪潮已經成為推動人工智能迅猛發展的關鍵力量,字節跳動也自豪地成為這股浪潮的一部分。我們的模型基于目前最流行的文字生成圖像開放模型 SDXL,該模型已經擁有一個繁榮的生態系統。現在,我們決定將 SDXL-Lightning 開放給全球的開發者、研究人員和創意從業者,以便他們能訪問并運用這一模型,進一步推動整個行業的創新和協作。

在設計 SDXL-Lightning 時,我們就考慮到與開放模型社區的兼容。社區中已有眾多藝術家和開發者創建了各種各樣的風格化圖像生成模型,例如卡通和動漫風格等。為了支持這些模型,我們提供 SDXL-Lightning 作為一個增速插件,它可以無縫地整合到這些多樣風格的 SDXL 模型中,為各種不同模型加快圖像生成的速度。 342047d4-d461-11ee-a297-92fbcf53809c.png

SDXL-Lightning 模型也可以和目前非常流行的控制插件 ControlNet 相結合,實現極速可控的圖片生成。

345c001c-d461-11ee-a297-92fbcf53809c.png

SDXL-Lightning 模型也支持開源社區里目前最流行的生成軟件 ComfyUI,模型可以被直接加載來使用:

347621e0-d461-11ee-a297-92fbcf53809c.png

關于技術細節

從理論上來說,圖像生成是一個由噪聲到清晰圖像的逐步轉化過程。在這一過程中,神經網絡學習在這個轉化流(flow)中各個位置上的梯度。

生成圖像的具體步驟是這樣的:

首先我們在流的起點,隨機采樣一個噪聲樣本,接著用神經網絡計算出梯度。根據當前位置上的梯度,我們對樣本進行微小的調整,然后不斷重復這一過程。每一次迭代,樣本都會更接近最終的圖像分布,直至獲得一張清晰的圖像。 34921a9e-d461-11ee-a297-92fbcf53809c.png

圖:生成流程(來自:https://arxiv.org/abs/2011.13456)

由于生成流復雜且非直線,生成過程必須一次只走一小步以減少梯度誤差累積,所以需要神經網絡的頻繁計算,這就是計算量大的原因。

34a43d00-d461-11ee-a297-92fbcf53809c.png

圖:曲線流程(圖片來自:https://arxiv.org/abs/2210.05475)

為了減少生成圖像所需的步驟數量,許多研究致力于尋找解決方案。一些研究提出了能減少誤差的采樣方法,而其他研究則試圖使生成流更加直線化。盡管這些方法有所進展,但它們仍然需要超過 10 個推理步驟來生成圖像。

另一種方法是模型蒸餾,它能夠在少于 10 個推理步驟的情況下生成高質量圖像。不同于計算當前流位置下的梯度,模型蒸餾改變模型預測的目標,直接讓其預測下一個更遠的流位置。具體來說,我們訓練一個學生網絡直接預測老師網絡完成了多步推理后的結果。這樣的策略可以大幅減少所需的推理步驟數量。通過反復應用這個過程,我們可以進一步降低推理步驟的數量。這種方法被先前的研究稱之為漸進式蒸餾。

34bd92c8-d461-11ee-a297-92fbcf53809c.png

圖:漸進式蒸餾,學生網絡預測老師網絡多步后的結果

在實際操作中,學生網絡往往難以精確預測未來的流位置。誤差隨著每一步的累積而放大,導致在少于 8 步推理的情況下,模型產生的圖像開始變得模糊不清。

為了解決這個問題,我們的策略是不強求學生網絡精確匹配教師網絡的預測,而是讓學生網絡在概率分布上與教師網絡保持一致。換言之,學生網絡被訓練來預測一個概率上可能的位置,即使這個位置并不完全準確,我們也不會對它進行懲罰。這個目標是通過對抗訓練來實現的,引入了一個額外的判別網絡來幫助實現學生網絡和教師網絡輸出的分布匹配。

這是我們研究方法的簡要概述。在技術論文(https://arxiv.org/abs/2402.13929)中,我們提供了更深入的理論分析、訓練策略以及模型的具體公式化細節。

SDXL-Lightning 之外

盡管本研究主要探討了如何利用 SDXL-Lightning 技術進行圖像生成,但我們所提出的漸進式對抗蒸餾方法的應用潛力不局限于靜態圖像的范疇。這一創新技術也可以被運用于快速且高質量生成視頻、音頻以及其他多模態內容。我們誠摯邀請您在 HuggingFace 平臺上體驗 SDXL-Lightning,并期待您寶貴的意見和反饋。




審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4789

    瀏覽量

    101598
  • LCM
    LCM
    +關注

    關注

    6

    文章

    57

    瀏覽量

    34714
  • 字節跳動
    +關注

    關注

    0

    文章

    342

    瀏覽量

    9112
  • 生成式AI
    +關注

    關注

    0

    文章

    521

    瀏覽量

    601

原文標題:就是“快”!字節跳動發布文生圖開放模型,迅速沖上Hugging Face Spaces 熱榜

文章出處:【微信號:AI前線,微信公眾號:AI前線】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    字節跳動否認趙明加盟及自研手機傳聞

    月7日正式發表聲明進行回應。公司方面明確表示,關于趙明加盟字節跳動的消息并不屬實,公司并未與趙明就加盟事宜進行過任何接觸或談判。這一聲明迅速澄清了市場關于趙明可能加入字節
    的頭像 發表于 02-10 09:12 ?291次閱讀

    Hugging Face推出最小AI視覺語言模型

    Hugging Face平臺于1月23日發布博文,推出了兩款令人矚目的輕量級AI模型——SmolVLM-256M-Instruct和SmolVLM-500M-Instruct。 其中
    的頭像 發表于 01-24 14:15 ?526次閱讀

    字節跳動豆包大模型1.5 Pro發布

    近日,字節跳動旗下的豆包大模型迎來了全新的升級——豆包大模型1.5 Pro正式發布。這款全新模型
    的頭像 發表于 01-23 15:24 ?325次閱讀

    字節跳動發布豆包大模型1.5 Pro

    字節跳動正式發布了豆包大模型1.5 Pro。 全新的Doubao -1.5 - pro模型綜合能力顯著增強,在知識、代碼、推理、中文等多個測
    的頭像 發表于 01-23 10:24 ?301次閱讀

    騰訊混元文生登頂智源FlagEval評測榜首

    近日,北京智源人工智能研究院(BAAI)發布了最新的FlagEval大模型評測排行,其中多模態模型評測榜單的文生
    的頭像 發表于 12-25 10:06 ?440次閱讀

    字節跳動否認與中興通訊合作傳聞

    近日,有關字節跳動旗下豆包大模型將內嵌手機并與中興通訊探討成立新品牌的消息引發了市場的廣泛關注。然而,字節跳動方面對此明確予以否認,稱并未與
    的頭像 發表于 12-18 10:08 ?692次閱讀

    字節跳動自研視頻生成模型Seaweed開放

    近日,字節跳動旗下的AI內容平臺即夢AI傳來新消息,宣布自研的視頻生成模型Seaweed即日起正式面向平臺用戶開放使用。這一舉措標志著字節
    的頭像 發表于 11-11 14:31 ?378次閱讀

    華發數智攜手字節跳動共同發布AI數字人及大模型綜合解決方案

    近日,珠海華發數智技術有限公司(簡稱:華發數智)攜手字節跳動旗下領先的云服務平臺火山引擎,共同發布了AI數字人及大模型綜合解決方案,標志著華發集團在AI大
    的頭像 發表于 08-07 16:53 ?839次閱讀

    Hugging Face科技公司推出SmolLM系列語言模型

    7月22日最新資訊,Hugging Face科技公司在語言模型領域再創新高,正式推出了SmolLM系列——一款專為適應多樣計算資源而設計的緊湊型語言模型家族。該系列包含三個版本,分別搭
    的頭像 發表于 07-23 16:35 ?449次閱讀

    字節跳動發布豆包MarsCo智能開發工具

    在數字時代的浪潮中,編程已成為推動科技進步和創新的核心動力。為了助力國內開發者更高效、智能地進行編程工作,字節跳動公司近日發布了全新的智能開發工具——豆包 MarsCode。這款工具基于強大的豆包大
    的頭像 發表于 07-01 15:03 ?847次閱讀

    字節跳動否認AI手機研發項目

    近日,有市場傳聞稱字節跳動已在兩個月前秘密啟動了AI手機研發項目,引發業界廣泛關注。然而,字節跳動相關人士迅速對此作出回應,表示這些消息并不
    的頭像 發表于 06-12 15:54 ?703次閱讀

    快手自研文生模型“可開放,支持AI圖像創作及定制

    5月30日最新動態,快手于近日向公眾推出其自主研發的文生模型命名為“可”。該模型具備文生
    的頭像 發表于 05-31 10:32 ?791次閱讀

    谷歌發布AI文生模型Imagen

    近日,谷歌在人工智能領域取得新突破,正式推出了Imagen文生模型。這款模型以其卓越的細節調整功能、逼真的光線效果以及從草圖快速生成高分辨率圖像的能力,引起了業界的廣泛關注。
    的頭像 發表于 05-16 09:30 ?639次閱讀

    字節跳動發布豆包大模型

    在近日舉行的火山引擎原動力大會上,字節跳動公司正式發布了其強大的豆包大模型。據火山引擎總裁譚待透露,這款大模型展現了驚人的數據處理能力,目前
    的頭像 發表于 05-15 11:26 ?820次閱讀

    南開大學和字節跳動聯合開發一款StoryDiffusion模型

    近日,南開大學和字節跳動聯合開發的 StoryDiffusion 模型解決了擴散模型生成連貫圖像與視頻的難題。
    的頭像 發表于 05-07 14:46 ?1436次閱讀
    主站蜘蛛池模板: 女教师二十三歳 | 人善交XUANWEN200喷水 | 国产精品一区二区制服丝袜 | 男人的天堂黄色 | 久久99亚洲热最新地址获取 | 国产成人在线观看网站 | 在线天天看片视频免费观看 | 久久精品动漫99精品动漫 | 中文国产成人精品久久免费 | 亚洲国产成人精品青青草原100 | 久久99这里只有精品 | 久久影院午夜理论片无码 | 欲香欲色天天天综合和网 | 九九大香尹人视频免费 | 色婷婷五月综合中文字幕 | 无限资源在线观看播放 | 激情A片久久久久久久 | 乌克兰粉嫩摘花第一次 | 18禁黄无遮挡禁游戏在线下载 | 色偷偷7777www| 伊人网综合在线观看 | 久久婷婷五月免费综合色啪 | 亚洲无线观看国产 | 伊人伊人伊人 | 亚洲色偷偷偷网站色偷一区人人藻 | 日本大片免a费观看视频 | 亚洲高清视频在线观看 | 三级黄色在线免费观看 | 草莓视频在线看免费高清观看 | 国产精品久久久久婷婷五月色婷婷 | 视频一区亚洲中文字幕 | 韩国污动漫无遮掩无删减电脑版 | 日韩免费视频一区 | 九九热在线观看视频 | 亚洲精品乱码8久久久久久日本 | 成人a毛片久久免费播放 | 中文在线中文资源 | 成人免费观看在线视频 | 国内外成人免费在线视频 | 879影视动漫h免费观看 | 超碰97超碰在线视频哦 |