如何基本不用GAN把照片生成簡筆畫?這個項目就做到了。
先前,機器之心報道過簡筆畫生成人臉。而 AI 從人臉生成簡筆畫的效果如何呢? 先看幾張效果圖!
《老友記》多人照片轉換效果:
還有男神基努 · 里維斯
效果是不是出奇的好?更有意思的是,這種創作線稿的方法并沒有使用大多數類似工具會用到的生成對抗網絡 GAN。 目前,該項目在 Reddit 上已經有超高熱度,項目名為 ArtLine,github star 量也已經超過 700。如果你想嘗試一下自己的照片,項目作者 Vijish Madhavan 也把代碼放在了 Google Colab 上,運行即可。
項目鏈接:
https://github.com/vijishmadhavan/ArtLine
Colab 地址:https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb
技術細節 效果驚艷的 ArtLine 都用到了什么技術呢?這里有詳細的技術細節介紹,包括自注意機制、逐步調整圖片大小以及生成器損失函數。 自注意機制借鑒的相關研究是 Ian Goodfellow 等人的論文《Self-Attention Generative Adversarial Networks 》。
論文:https://arxiv.org/pdf/1805.08318.pdf 項目作者介紹,生成器是經過頻譜歸一化和自注意機制預訓練的 UNET,也借鑒了 Jason Antic 的 DeOldify 項目,從而獲得有關面部特征的適當細節。 DeOldify 項目地址:https://github.com/jantic/DeOldify 看到這里,也許有讀者會質疑,不是說沒有用到 GAN 嗎?項目作者給出的解釋是,GAN did not make much of a difference so I was happy with No GAN. 在逐步增加圖片大小上,作者分別借鑒了英偉達與首爾國立大學的兩項相關研究:
論文:https://arxiv.org/pdf/1710.10196.pdf
論文:https://arxiv.org/pdf/1707.02921.pdf
在這個項目中,圖像尺寸逐漸增加,學習率也得到了調整。逐步調整圖片大小,可以幫助模型更好地泛化,因為它可以看到更多不同的圖像。 該項目使用到的最后一項技術源于 2016 年斯坦福大學李飛飛團隊的研究論文《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》。
論文鏈接:https://arxiv.org/pdf/1603.08155.pdf 這項研究提出利用感知損失函數來訓練圖像轉換中的前饋網絡,結果表明,在風格遷移任務中,該研究得到了與其他方法類似的效果,但運行速度提升了數個數量級。 轉換效果雖好,但項目作者表示,該項目依然存在著以下一些局限:
獲得良好的輸出效果取決于燈光、背景、陰影和照片質量。一開始通常會獲得好的輸出效果,但也可能出現問題。模型需要調整以適應所有用戶;
模型會混淆陰影與頭發,這也是項目作者正努力解決的問題;
500px 以下的低質量圖片輸出效果不佳;
由于項目作者并非碼農,代碼和實現會比較困難,未來更新版本將會改進。
關于 ArtLine 轉換中未用到 GAN,網友表達了驚嘆贊許之詞!
責任編輯:lq
-
AI
+關注
關注
87文章
31141瀏覽量
269478 -
GaN
+關注
關注
19文章
1947瀏覽量
73690 -
生成器
+關注
關注
7文章
317瀏覽量
21053
原文標題:不用GAN,照片生成簡筆畫,效果驚艷
文章出處:【微信號:cas-ciomp,微信公眾號:中科院長春光機所】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論