色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

讓GAN再次偉大!拽一拽關鍵點就能讓獅子張嘴&大象轉身

OpenCV學堂 ? 來源:量子位 ? 2023-05-24 15:28 ? 次閱讀

這兩天,一段AI修圖視頻在國內外社交媒體上傳瘋了。

不僅直接躥升B站關鍵詞聯想搜索第一,視頻播放上百萬,微博推特也是火得一塌糊涂,轉發者紛紛直呼“PS已死”。

e9ff026e-f8f4-11ed-90ce-dac502259ad0.png

怎么回事?

原來,現在P圖真的只需要“輕輕點兩下”,AI就能徹底理解你的想法!

小到豎起狗子的耳朵:

ea4c2062-f8f4-11ed-90ce-dac502259ad0.gif

大到讓整只狗子蹲下來,甚至讓馬岔開腿“跑跑步”,都只需要設置一個起始點和結束點,外加拽一拽就能搞定:

ea59d586-f8f4-11ed-90ce-dac502259ad0.gif

不止是動物的調整,連像汽車這樣的“非生物”,也能一鍵拉升底座,甚至升級成“加長豪華車”:

eb9002cc-f8f4-11ed-90ce-dac502259ad0.gif

這還只是AI修圖的“基操”。

要是想對圖像實現更精準的控制,只需畫個圈給指定區域“涂白”,就能讓狗子轉個頭看向你:

ed972ac8-f8f4-11ed-90ce-dac502259ad0.gif

或是讓照片中的小姐姐“眨眨眼”:

f8c026de-f8f4-11ed-90ce-dac502259ad0.gif

甚至是讓獅子張大嘴,連牙齒都不需要作為素材放入,AI自動就能給它“安上”:

f8fd2ab6-f8f4-11ed-90ce-dac502259ad0.gif

f91171f6-f8f4-11ed-90ce-dac502259ad0.png

如此“有手就能做”的修圖神器,來自一個MIT、谷歌、馬普所等機構聯手打造的DragGAN新模型,論文已入選SIGGRAPH 2023。

f93be5d0-f8f4-11ed-90ce-dac502259ad0.png

沒錯,在擴散模型獨領風騷的時代,竟然還能有人把GAN玩出新花樣!

f99a34f0-f8f4-11ed-90ce-dac502259ad0.png

f9b98d00-f8f4-11ed-90ce-dac502259ad0.gif

目前這個項目在GitHub上已經有5k+ Star,熱度還在不斷上漲中(盡管一行代碼還沒發)。

f9d4ca8e-f8f4-11ed-90ce-dac502259ad0.png

所以,DragGAN模型究竟長啥樣?它又如何實現上述“神一般的操作”?

f9ee9b26-f8f4-11ed-90ce-dac502259ad0.gif

拽一拽關鍵點,就能修改圖像細節

這個名叫DragGAN的模型,本質上是為各種GAN開發的一種交互式圖像操作方法。

論文以StyleGAN2架構為基礎,實現了點點鼠標、拽一拽關鍵點就能P圖的效果。

具體而言,給定StyleGAN2生成的一張圖像,用戶只需要設置幾個控制點(紅點)和目標點(藍點),以及圈出將要移動的區域(比如狗轉頭,就圈狗頭)。

fabe604a-f8f4-11ed-90ce-dac502259ad0.png

然后模型就將迭代執行運動監督和點跟蹤這兩個步驟,其中運動監督會驅動紅色的控制點向藍色的目標點移動,點跟蹤則用于更新控制點來跟蹤圖像中的被修改對象。

這個過程一直持續到控制點到達它們對應的目標點。

faf726b4-f8f4-11ed-90ce-dac502259ad0.png

不錯,運動監督和點跟蹤就是我們今天要講的重點,它是DragGAN模型中最主要的兩個組件。

先說運動監督。在此之前,業界還沒有太多關于如何監督GAN生成圖像的點運動的研究。

在這項研究中,作者提出了一種不依賴于任何額外神經網絡的運動監督損失(loss)。

其關鍵思想是,生成器的中間特征具有很強的鑒別能力,因此一個簡單的損失就足以監督運動。

所以,DragGAN的運動監督是通過生成器特征圖上的偏移補丁損失(shifted patch loss)來實現的。

如下圖所示,要移動控制點p到目標點t,就要監督p點周圍的一小塊patch(紅圈)向前移動的一小步(藍圈)。

faff489e-f8f4-11ed-90ce-dac502259ad0.png

再看點跟蹤。

先前的運動監督會產生一個新的latent code、一個新特征圖和新圖像。

由于運動監督步驟不容易提供控制點的精確新位置,因此我們的目標是更新每個手柄點p使其跟蹤上對象上的對應點。

此前,點跟蹤通常通過光流估計模型或粒子視頻方法實現。

但同樣,這些額外的模型可能會嚴重影響效率,并且在GAN模型中存在偽影的情況下可能使模型遭受累積誤差。

因此,作者提供了一種新方法,該方法通過最近鄰檢索在相同的特征空間上進行點跟蹤。

而這主要是因為GAN模型的判別特征可以很好地捕捉到密集對應關系。

基于這以上兩大組件,DragGAN就能通過精確控制像素的位置,來操縱不同類別的對象完成姿勢、形狀、布局等方面的變形。

作者表示,由于這些變形都是在GAN學習的圖像流形上進行的,它遵從底層的目標結構,因此面對一些復雜的任務(比如有遮擋),DragGAN也能產生逼真的輸出。

單張3090幾秒鐘出圖

所以,要實現幾秒鐘“精準控圖”的效果,是否需要巨大的算力?

nonono。大部分情況下,每一步拖拽修圖,單張RTX 3090 GPU在數秒鐘內就能搞定。

fb5c5674-f8f4-11ed-90ce-dac502259ad0.png

具體到生成圖像的效果上,實際評估(均方誤差MSE、感知損失LPIPS)也超越了一系列類似的“AI修圖”模型,包括RAFT和PIPs等等:

fb77141e-f8f4-11ed-90ce-dac502259ad0.png

如果說文字的還不太直觀,具體到視覺效果上就能感受到差異了:

fba846e2-f8f4-11ed-90ce-dac502259ad0.png

值得一提的是,DragGAN的“潛力”還不止于此。

一方面,如果增加關鍵點的數量,還能實現更加精細的AI修圖效果,用在人臉這類對修圖要求比較嚴格的照片上,也是完全沒問題:

fbb3bcf2-f8f4-11ed-90ce-dac502259ad0.png

另一方面,不止開頭展示的人物和動物,放在汽車、細胞、風景和天氣等不同類型的圖像上,DragGAN也都能精修搞定。

fc41f0bc-f8f4-11ed-90ce-dac502259ad0.png

除了不同的照片類型,從站到坐、從直立到跑步、從跨站到并腿站立這種姿勢變動較大的圖像,也能通過DragGAN實現:

fc88679a-f8f4-11ed-90ce-dac502259ad0.png

也難怪網友會調侃“遠古的PS段子成真”,把大象轉個身這種甲方需求也能實現了。

fda8e65e-f8f4-11ed-90ce-dac502259ad0.png

不過,也有網友指出了DragGAN目前面臨的一些問題。

例如,由于它是基于StyleGAN2生成的圖像進行P圖的,而后者訓練成本很高,因此距離真正商業落地可能還有一段距離。

fdb19b28-f8f4-11ed-90ce-dac502259ad0.png

除此之外,在論文中提到的“單卡幾秒鐘修圖”的效果,主要還是基于256×256分辨率圖像:

fdcd008e-f8f4-11ed-90ce-dac502259ad0.png

至于模型是否能擴展到256×256以外圖像,生成的效果又是如何,都還是未知數。

有網友表示“至少高分辨率圖像從生成時間來看,肯定還要更長”。

fdef08e6-f8f4-11ed-90ce-dac502259ad0.png

實際上手的效果究竟如何,我們可以等6月論文代碼開源后,一測見真章。

團隊介紹

DragGAN的作者一共6位,分別來自馬克斯?普朗克計算機科學研究,薩爾布呂肯視覺計算、交互與AI研究中心,MIT,賓夕法尼亞大學和谷歌AR/VR部門。

fe09d5d6-f8f4-11ed-90ce-dac502259ad0.png

其中包括兩位華人:

一作潘新鋼,他本科畢業于清華大學(2016年),博士畢業于香港中文大學(2021年),師從湯曉鷗教授。

現在是馬普計算機科學研究所的博士后,今年6月,他將進入南洋理工大學擔任助理教授(正在招收博士學生)。

fe1298a6-f8f4-11ed-90ce-dac502259ad0.png

另一位是Liu Lingjie,香港大學博士畢業(2019年),后在馬普信息學研究所做博士后研究,現在是賓夕法尼亞大學助理教授(也在招學生),領導該校計算機圖形實驗室,也是通用機器人、自動化、傳感與感知 (GRASP)實驗室成員。

fe86264a-f8f4-11ed-90ce-dac502259ad0.png

值得一提的是,為了展示DragGAN的可控性,一作還親自上陣,演示了生發、瘦臉和露齒笑的三連P圖效果:

fed26ee2-f8f4-11ed-90ce-dac502259ad0.png

是時候給自己的主頁照片“修修圖”了(手動狗頭)。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    87

    文章

    30763

    瀏覽量

    268914
  • GaN
    GaN
    +關注

    關注

    19

    文章

    1933

    瀏覽量

    73318
  • GitHub
    +關注

    關注

    3

    文章

    469

    瀏覽量

    16430

原文標題:讓GAN再次偉大!拽一拽關鍵點就能讓獅子張嘴&大象轉身,DragGAN爆火

文章出處:【微信號:CVSCHOOL,微信公眾號:OpenCV學堂】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    如何判斷產品需不需要做AT&T認證?AT&T測試內容和要求分享

    隨著經濟全球化的發展,國內越來越多產品廠商選擇將自家產品出口到北美市場,而這時候各位廠商都會面臨產品需不需要做AT&T的問題。今天英利檢測針對這問題整理了些關于AT&amp
    的頭像 發表于 12-23 17:46 ?79次閱讀
    如何判斷產品需不需要做AT&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;T認證?AT&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;T測試內容和要求分享

    北美運營商AT&amp;amp;amp;T認證中的VoLTE測試項

    北美運營商AT&amp;T的認證測試內容涵蓋了多個方面,以確保設備和服務的質量、兼容性以及用戶體驗。在AT&amp;T的認證測試中,VoLTE(VoiceoverLTE)測試項是個重要的組成部分
    的頭像 發表于 12-06 16:52 ?130次閱讀
    北美運營商AT&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;T認證中的VoLTE測試項

    能力再次提升! 迅為RK3588/RK3568開發板&amp;amp;amp;核心板新增定制分區鏡像

    能力再次提升! 迅為RK3588/RK3568開發板&amp;核心板新增定制分區鏡像
    的頭像 發表于 11-06 15:11 ?441次閱讀
    能力<b class='flag-5'>再次</b>提升! 迅為RK3588/RK3568開發板&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;核心板新增定制分區鏡像

    北美運營商AT&amp;amp;amp;T認證的費用受哪些因素影響

    申請北美運營商AT&amp;T認證的價格因多種因素而異,包括產品類型、認證范圍、測試難度等。般來說,申請AT&amp;T認證的費用可能相對較高,因為AT&amp;T作為北美地區的主要
    的頭像 發表于 10-16 17:10 ?205次閱讀
    北美運營商AT&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;T認證的費用受哪些因素影響

    onsemi LV/MV MOSFET 產品介紹 &amp;amp;amp; 行業應用

    系列MOSFET介紹。4.onsemiLV/MVMOSFET市場&amp;應用。技術亮點onsemi最新代T10系列MOSFET優勢&amp;市場前景。學習收獲期望了解onsemiSi
    的頭像 發表于 10-13 08:06 ?388次閱讀
    onsemi LV/MV MOSFET 產品介紹 &<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>; 行業應用

    【直播預告】ADI &amp;amp;amp; WT·世健MCU痛問題探索季:MCU應用難題全力擊破!

    ;ADI&amp;WT?世健MCU痛探索季"活動,吸引了眾多工程師熱議。針對工程師關心的問題,WT文曄科技將邀請ADI講師在9月19日開啟直播分享,幫助工程師們全力擊破MCU應用難題~直播時
    的頭像 發表于 09-19 08:05 ?360次閱讀
    【直播預告】ADI &<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>; WT·世健MCU痛<b class='flag-5'>點</b>問題探索季:MCU應用難題全力擊破!

    從邊緣到云端,合宙DTU&amp;amp;amp;RTU打造無縫物聯網解決方案

    DTU(數據傳輸單元)與RTU(遠程終端單元)是連接邊緣與云端的橋梁,是實現數據無縫流動的關鍵。 合宙推出的 DTU&amp;RTU成功推動了眾多企業實現了生產設備的遠程監控和智能控制。
    的頭像 發表于 09-12 15:27 ?1135次閱讀
    從邊緣到云端,合宙DTU&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;RTU打造無縫物聯網解決方案

    Allegro X 23.11 版本更新 I PCB 設計:鍵移除評審內容 &amp;amp;amp; 導入ODB++

    ,助力您提升設計質量和設計效率。legroXPCBDesigner系統級PCB設計鍵移除評審內容&amp;導入ODB++在23.
    的頭像 發表于 08-30 12:21 ?484次閱讀
    Allegro X 23.11 版本更新 I PCB 設計:<b class='flag-5'>一</b>鍵移除評審內容 &<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>; 導入ODB++

    FS201資料(pcb &amp;amp; DEMO &amp;amp; 原理圖)

    電子發燒友網站提供《FS201資料(pcb &amp; DEMO &amp; 原理圖).zip》資料免費下載
    發表于 07-16 11:24 ?0次下載

    北美運營商AT&amp;amp;amp;T認證入庫產品范圍名單相關

    AT&amp;T作為全球領先的通信服務運營商之,通過AT&amp;T認證不僅是對產品質量的認可,更是產品打開北美市場大門的重要憑證。然而,或許您還不清楚AT&amp;T認證入庫的產品
    的頭像 發表于 06-28 16:58 ?450次閱讀
    北美運營商AT&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;T認證入庫產品范圍名單相關

    室外抗拉防鎧裝單模光纜4芯詳情介紹

    室外抗拉防鎧裝單模光纜4芯是種具有特定性能和設計的光纜,主要用于室外環境的通信傳輸。以下是對其特點、結構和應用場景的詳細解釋: 特點: 抗拉防:該光纜具有優異的抗拉和防性能,能
    的頭像 發表于 06-19 09:46 ?619次閱讀

    解讀北美運營商,AT&amp;amp;amp;T的認證分類與認證內容分享

    在數字化日益深入的今天,通信技術的穩定與安全對于個人、企業乃至整個國家都至關重要。作為北美通信領域的領軍者,AT&amp;T直致力于為用戶提供高效、可靠的通信服務。而在這背后,AT&amp;T
    的頭像 發表于 06-05 17:27 ?596次閱讀
    解讀北美運營商,AT&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;T的認證分類與認證內容分享

    國顯科技榮獲“深圳知名品牌&amp;amp;amp;灣區知名品牌”

    近日,深圳知名品牌評價委員會公布第二十一屆“深圳知名品牌”評審結果,在此次評審中,深圳市國顯科技有限公司再次成功通過復審,并榮獲“深圳知名品牌&amp;灣區知名品牌”的稱號。
    的頭像 發表于 05-24 09:55 ?548次閱讀
    國顯科技榮獲“深圳知名品牌&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;灣區知名品牌”

    Open RAN的未來及其對AT&amp;amp;T的意義

    3月14日消息,在“Connected America 2024”會議上,AT&amp;T高級副總裁兼網絡首席技術官Yigal Elbaz討論了Open RAN 的未來及其對AT&amp;T的意義。
    的頭像 發表于 03-14 14:40 ?735次閱讀

    【電磁兼容技術文檔分享】頻譜儀應用案例&amp;amp;amp;簡易探頭的制作

    【電磁兼容技術文檔分享】頻譜儀應用案例&amp;簡易探頭的制作
    的頭像 發表于 02-19 13:20 ?979次閱讀
    【電磁兼容技術文檔分享】頻譜儀應用案例&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;簡易探頭的制作
    主站蜘蛛池模板: 69SEX久久精品国产麻豆| 日本浴室日产在线系列| 国产中文在线| 高H高肉强J短篇校园| jizz女学| 99视频免费看| 99久久久国产精品免费蜜臀 | 好看AV中文字幕在线观看| 国产精品观看视频免费完整版| 被老头下药玩好爽| JEALOUSVUE成熟老师APP| 99久久精品免费看国产一区二区 | 日本人奶水中文影片| 欧美性狂猛AAAAAA| 欧美性xxx极品| 人妻免费久久久久久久了| 泡妞高手在都市免费观看| 欧美激情一区二区三区AA片| 欧美含羞草免费观看全部完| 男男gaygay拳头| 漂亮的保姆3中文版完整版 | 精品国产5g影院天天爽| 精品熟女少妇AV免费观看| 久久久视频2019午夜福利| 久久视热频国产这里只有精品23 | 国产精品99久久久精品无码| 国产精品久久久久影院| 含羞草传媒在线观看| 久久精品九九亚洲精品天堂| 巨黄的肉辣文np| 欧美亚洲高清国产| 色即是空之甜性涩爱| 亚洲AV福利天堂一区二区三| 亚洲午夜久久久精品影院| 洲精品无码高潮喷水A片| CHINA篮球体育飞机2023| 囯产精品麻豆巨作久久| 国产又色又爽又刺激在线播放| 精品亚洲大全| 欧美无码专区| 午夜AV内射一区二区三区红桃视|