色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

谷歌新作Muse:通過掩碼生成Transformer進行文本到圖像生成

CVer ? 來源:機器之心 ? 2023-01-09 10:16 ? 次閱讀

圖像生成領域越來越卷了!

文本到圖像生成是 2022 年最火的 AIGC 方向之一,被《science》評選為 2022 年度十大科學突破。最近,谷歌的一篇文本到圖像生成新論文《Muse: Text-To-Image Generation via Masked Generative Transformers》又引起高度關注。

e250c8d6-8f6d-11ed-bfe3-dac502259ad0.png

Muse: Text-To-Image Generation via Masked Generative Transformers

論文地址:https://arxiv.org/abs/2301.00704

項目地址:https://muse-model.github.io/

該研究提出了一種使用掩碼圖像建模方法進行文本到圖像合成的新模型,其中的圖像解碼器架構以來自預訓練和 frozen T5-XXL 大型語言模型 (LLM) 編碼器的嵌入為條件。

與谷歌先前的 Imagen 模型類似,該研究發現基于預訓練 LLM 進行調整對于逼真、高質量的圖像生成至關重要。Muse 模型是建立在 Transformer (Vaswani et al., 2017) 架構之上。

與建立在級聯像素空間(pixel-space)擴散模型上的 Imagen (Saharia et al., 2022) 或 Dall-E2 (Ramesh et al., 2022) 相比,Muse 由于使用了離散 token,效率顯著提升。與 SOTA 自回歸模型 Parti (Yu et al., 2022) 相比,Muse 因使用并行解碼而效率更高。

基于在 TPU-v4 上的實驗結果,研究者估計 Muse 在推理速度上比 Imagen-3B 或 Parti-3B 模型快 10 倍以上,比 Stable Diffusion v1.4 (Rombach et al., 2022) 快 2 倍。研究者認為:Muse 比 Stable Diffusion 推理速度更快是因為 Stable Diffusion v1.4 中使用了擴散模型,在推理時明顯需要更多次迭代。

另一方面,Muse 效率的提升沒有造成生成圖像質量下降、模型對輸入文本 prompt 的語義理解能力降低的問題。該研究根據多個標準評估了 Muse 的生成結果,包括 CLIP 評分 (Radford et al., 2021) 和 FID (Heusel et al., 2017)。Muse-3B 模型在 COCO (Lin et al., 2014) 零樣本驗證基準上取得了 0.32 的 CLIP 分數和 7.88 的 FID 分數。

下面我們看看 Muse 生成效果:

文本 - 圖像生成:Muse 模型從文本提示快速生成高質量的圖像(在 TPUv4 上,對于 512x512 分辨率的圖像需要時間為 1.3 秒,生成 256x256 分辨率的圖像需要時間為 0.5 秒)。例如生成「一只熊騎著自行車,一只鳥棲息在車把上」:

Muse 模型通過對文本提示條件下的圖像 token 進行迭代重新采樣,為用戶提供了零樣本、無掩碼編輯(mask-free editing)。

e26c3f76-8f6d-11ed-bfe3-dac502259ad0.gif

Muse 還提供了基于掩碼的編輯,例如「在美麗的秋葉映照下,有一座涼亭在湖上」。

e27be764-8f6d-11ed-bfe3-dac502259ad0.png

模型簡介

Muse 建立在許多組件之上,圖 3 提供了模型體系架構概述。

e28c6774-8f6d-11ed-bfe3-dac502259ad0.png

具體而言所包含的組件有:

預訓練文本編碼器:該研究發現利用預訓練大型語言模型(LLM)可以提高圖像生成質量。他們假設,Muse 模型學會了將 LLM 嵌入中的豐富視覺和語義概念映射到生成的圖像。給定一個輸入文本字幕,該研究將其通過凍結的 T5-XXL 編碼器,得到一個 4096 維語言嵌入向量序列。這些嵌入向量線性投影到 Transformer 模型。

使用 VQGAN 進行語義 Tokenization:該模型的核心組件是使用從 VQGAN 模型獲得的語義 token。其中,VQGAN 由一個編碼器和一個解碼器組成,一個量化層將輸入圖像映射到一個學習碼本中的 token 序列。該研究全部使用卷積層構建編碼器和解碼器,以支持對不同分辨率圖像進行編碼。

基礎模型:基礎模型是一個掩碼 transformer,其中輸入是投影到 T5 的嵌入和圖像 token。該研究保留所有的文本嵌入(unmasked),隨機掩碼不同比例的圖像 token,并用一個特殊的 [mask] token 替換它們。

超分辨率模型:該研究發現使用級聯模型是有益的:首先是生成 16 × 16 潛在映射(對應于 256 × 256 圖像)的基礎模型,然后是將基礎的潛在映射上采樣到的超分辨率模型,也就是 64 × 64 的潛在映射(對應于一個 512 × 512 的圖像)。

e2d550ce-8f6d-11ed-bfe3-dac502259ad0.png

解碼器微調:為了進一步提高模型生成精細細節的能力,該研究通過添加更多的殘差層和通道來增加 VQGAN 解碼器的容量,同時保持編碼器容量不變。然后微調新的解碼器層,同時凍結 VQGAN 編碼器權重、碼本和 transformer(即基礎模型和超分辨率模型)。

除了以上組件外,Muse 還包含可變掩碼比率組件、在推理時迭代并行解碼組件等。

實驗及結果

如下表所示,與其他模型相比,Muse 縮短了推理時間。

e410e53e-8f6d-11ed-bfe3-dac502259ad0.png

下表為不同模型在 zero-shot COCO 上測量的 FID 和 CLIP 得分:

e41c1ff8-8f6d-11ed-bfe3-dac502259ad0.png

如下表所示,Muse(632M (base)+268M (super-res) 參數模型)在 CC3M 數據集上訓練和評估時得到了 6.06 的 SOTA FID 分數。

e4245308-8f6d-11ed-bfe3-dac502259ad0.png

下圖是 Muse 與 Imagen、DALL-E 2 在相同 prompt 下生成結果的例子。

e4339d7c-8f6d-11ed-bfe3-dac502259ad0.png

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 模型
    +關注

    關注

    1

    文章

    3229

    瀏覽量

    48810
  • 圖像生成
    +關注

    關注

    0

    文章

    22

    瀏覽量

    6892
  • Transformer
    +關注

    關注

    0

    文章

    143

    瀏覽量

    5995

原文標題:比Imagen更高效!谷歌新作Muse:通過掩碼生成Transformer進行文本到圖像生成

文章出處:【微信號:CVer,微信公眾號:CVer】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    生成式AI工具作用

    生成式AI工具是指那些能夠自動生成文本圖像、音頻、視頻等多種類型數據的人工智能技術。在此,petacloud.ai小編為您整理生成式AI工具作用。
    的頭像 發表于 10-28 11:19 ?227次閱讀

    如何使用 Llama 3 進行文本生成

    使用LLaMA 3(Large Language Model Family of AI Alignment)進行文本生成,可以通過以下幾種方式實現,取決于你是否愿意在本地運行模型或者使用現成的API
    的頭像 發表于 10-27 14:21 ?344次閱讀

    AIGC生成內容的優勢與挑戰

    人工智能生成內容(AIGC,Artificial Intelligence Generated Content)是指利用人工智能技術自動生成文本圖像、音頻和視頻等內容的過程。隨著深度學習、自然語言
    的頭像 發表于 10-25 15:36 ?470次閱讀

    labview怎么生成可執行文

    生成可執行文件(EXE)是LabVIEW程序開發中的一個重要步驟,它允許用戶將LabVIEW項目打包成一個獨立的應用程序,便于在沒有安裝LabVIEW的計算機上運行。 1. 準備工作 在開始生成
    的頭像 發表于 09-04 17:07 ?963次閱讀

    Transformer語言模型簡介與實現過程

    任務,隨后迅速擴展其他NLP任務中,如文本生成、語言理解、問答系統等。本文將詳細介紹Transformer語言模型的原理、特點、優勢以及實現過程。
    的頭像 發表于 07-10 11:48 ?1629次閱讀

    生成式AI的基本原理和應用領域

    復雜性和創新性的內容的技術。這種技術不僅限于文本生成,還廣泛應用于圖像、音頻、視頻等多個領域。本文將詳細探討生成式AI的原理、關鍵技術、應用領域以及面臨的挑戰。
    的頭像 發表于 07-04 11:50 ?1439次閱讀

    Transformer模型在語音識別和語音生成中的應用優勢

    隨著人工智能技術的飛速發展,語音識別和語音生成作為人機交互的重要組成部分,正逐漸滲透到我們生活的各個方面。而Transformer模型,自其誕生以來,憑借其獨特的自注意力機制和并行計算能力,在
    的頭像 發表于 07-03 18:24 ?1083次閱讀

    谷歌發布Imagen 3,提升圖像文本生成技術

    已為谷歌人工智能研究所DeepMind掌門人的德米斯·哈薩比斯指出,相比于前款Imagen 2,Image 3能夠更加精準地解碼文字提示信息,并據此創建出更有創造力、細節豐富且出錯率較低的圖像
    的頭像 發表于 05-15 11:24 ?659次閱讀

    微信大模型擴容并開源,推出首個中英雙語文生圖模型,參數規模達15億

    基于Diffusion Transformer的混元DiT是一種文本圖像生成模塊,具備中英細粒度理解能力,能與用戶
    的頭像 發表于 05-14 17:10 ?721次閱讀

    谷歌暫停Gemini人像生成服務

    盡管谷歌團隊于今年初就推介了這個GPU加速的人臉生成項目,但仍有部分用戶反映出生成的歷史名人形象存在著錯誤,因此決定實行技術停擺,并謀劃對這一功能進行調整和優化。
    的頭像 發表于 02-27 14:16 ?490次閱讀

    谷歌Gemini AI模型因人物圖像生成問題暫停運行

    據報道,部分用戶發現Gemini生成的圖片存在明顯錯誤,如特斯拉創始人和其他名人變成了黑人模樣。谷歌已決定暫停該模型的人物圖像生成功能以待改善。
    的頭像 發表于 02-25 09:59 ?584次閱讀

    Stability AI試圖通過新的圖像生成人工智能模型保持領先地位

    Stability AI的最新圖像生成模型Stable Cascade承諾比其業界領先的前身Stable Diffusion更快、更強大,而Stable Diffusion是許多其他文本
    的頭像 發表于 02-19 16:03 ?934次閱讀
    Stability AI試圖<b class='flag-5'>通過</b>新的<b class='flag-5'>圖像</b><b class='flag-5'>生成</b>人工智能模型保持領先地位

    谷歌推出圖像生成新工具ImageFX,提升圖像質量

    作為實驗室的新興工具,ImageFX 允許用戶借助簡潔的文字指令來創作圖像。經過前期試驗,該團隊認為對生成型人工智能工具來說最關鍵的是如何啟發并鼓勵用戶挖掘和實踐創意想法。
    的頭像 發表于 02-02 14:18 ?657次閱讀

    谷歌發布Lumiere人工智能文本視頻生成

    隨著近年來AI應用的不斷普及和改進,自動文本創作系統如ChatGPT已經被廣泛接受,成為聊天窗口中的常客。類似地,文本圖畫生成工具讓人們得以繪制出超現實的視覺效果。然而,
    的頭像 發表于 01-31 16:45 ?847次閱讀

    高級檢索增強生成技術(RAG)全面指南

    ChatGPT、Midjourney等生成式人工智能(GenAI)在文本生成文本圖像生成等任
    的頭像 發表于 12-25 15:16 ?4855次閱讀
    高級檢索增強<b class='flag-5'>生成</b>技術(RAG)全面指南
    主站蜘蛛池模板: 无码骚夜夜精品| 午夜亚洲WWW湿好大| 无码国产成人777爽死在线观看| 亚洲精品m在线观看| 8090碰成年女人免费碰碰尤物| 跪趴式啪啪GIF动态图27报| 红色机尾快播| 妻子的妹妹在线| 亚洲欧美日本久久综合网站| seba51久久精品| 狠狠色在在线视频观看| 欧美AAAAAA级午夜福利视频| 亚州性夜夜射在线观看| 99久久99久久免费精品蜜桃| 国产人妻系列无码专区97SS | 国产精品久久久久影院| 狼人无码伊人AV啪啪| 午夜性爽视频男人的天堂在线 | 国产人妻精品久久久久久很牛| 毛片免费大全| 亚洲 欧美 日韩 国产 视频| a级成人免费毛片完整版| 狠狠啪 日日啪| 色青青草原桃花久久综合| 中文字幕一区二区三区在线观看| 国产精品免费视频能看| 欧美人与动牲交A免费| 亚洲永久在线观看| 国产精品1区2区| 欧美日韩一区不卡在线观看| 夜色爽爽爽久久精品日韩| 国产伦精品一区二区三区免费观看| 2021全国精品卡一卡二| 国产精品一库二库三库| 秋霞电影院兔费理论观频84mb| 伊人久久国产免费观看视频| 国产精品视频yy9099| 日本久久中文字幕精品| 91综合精品网站久久| 久久精品国产亚洲AV麻豆欧美玲 | 伦理片飘花手机在线|