圖像翻譯已然不是一件新鮮的事情了，但最近博主Keijiro Takahashi不僅實時的完成了這個圖像生成任務，而且還將它“貼”到了3D模型上，打造了一只生動可愛的“專屬小貓咪”！

看！這貨竟然比神筆馬良還要厲害！

隨著GAN、pix2pix等技術的提出，圖像翻譯已然不是一件稀奇的事情。但實時且3D的圖像翻譯，卻算的上是喜聞樂見了。

作者Keijiro Takahashi歷經半個月的時間，終于“翻譯”出了這只活靈活現的3D小喵咪：

專屬貓咪，你值得擁有！

其實，搞出來個這樣的喵咪并不難。

首先，用Sketch Pad畫一個貓！

類似于非常出名的edges2cats，Sketch Pad也是一種演示方法，但它還是實時的。

其次，需要一些系統的要求：

Unity 2018.1

計算著色器功能（DX11，Metal，Vulkan等）

盡管它是以平臺無關的方式實現的，但它的許多部分都針對NVIDIA GPU體系結構進行了優化。

為了完美地運行Sketch Pad，作者建議使用GeForce GTX 1070或更高版本的Windows系統。

那么，如何使用訓練過的模型呢？

這個存儲庫不包含任何用來節省帶寬和存儲配額且經過訓練的模型。

要在Unity Editor上運行示例項目，需下載預先訓練好的edges2cats模型，并將其復制到Assets/StreamingAssets中。

該實現只支持在Christopher Hesse交互演示中使用的.pict權重數據格式。你可以選擇一個預先訓練好的模型或者使用pix2pix-tensorflow來訓練你自己的模型。

經典Pix2pix

Pix2pix 是一個不同圖像效果的轉換工具，基于GAN實現。Pix2pix由UC Berkeley的Phillip Isola等人提出，論文最早在2016年11月在arxiv上公開，并被CVPR 2017錄取。雖然是比較老的論文，但作為一篇很經典的論文，非常值得一讀，因此我們也在這里介紹一下Pix2pix的方法。

論文研究了條件對抗網絡作為一種圖像到圖像轉換問題的通用解決方案。這些網絡不僅學習從輸入圖像到輸出圖像的映射，還學習了用于訓練該映射的損失函數。這使得對傳統上需要非常不同的損失公式的問題應用相同的通用方法成為可能。

研究人員證明了這種方法在從標簽地圖合成照片，從邊緣地圖重建對象，以及給黑白圖像上色等任務中都是有效的。這項工作表明我們可以在不需要手工設計損失函數的情況下獲得合理的結果。

圖1：有條件的對抗性網絡是一種通用的解決方案，似乎可以很好地解決各種各樣的問題。這里我們展示幾種方法的結果。在每種情況下都使用相同的架構和目標，只是簡單地在不同的數據上訓練。

在一些任務中，可以相當快地在小數據集中獲得不錯的結果。例如，為了學習生成外墻（如上圖所示），我們僅花了大約2小時訓練了400張圖像（用一個Pascal Titan X GPU）。然而，對于更困難的問題，在更大的數據集上進行訓練可能是很重要的，而且需要花費很多小時甚至數天的時間。

既然是基于GAN的，那么Pix2pix也離不開生成器和判別器。

GAN是生成模型，它學習從隨機噪聲向量z映射到輸出圖像y，即：G : z → y。

相比之下，條件GAN是從觀察到的圖像x和隨機噪聲向量z，學習它們與y的映射，即：G : {x, z} → y。

生成器G是訓練來產生輸出的，目的是讓這些輸出不被對抗訓練的鑒別器D將其與“真實”圖像區分開來；同時，鑒別器D被訓練來盡可能地檢測到生成器的“假”輸出。訓練過程如下圖所示：

訓練一個從map edges到photo的條件GAN

網絡架構

這里采用了深度卷積生成對抗網絡DCGAN中的生成器和鑒別器的結構進行調整。生成器和鑒別器都采用了convolution-BatchNorm-ReLu的模塊。

生成器架構的兩種選擇。“U-Net”是編碼器 - 解碼器，在編碼器和解碼器堆棧中的鏡像層之間有跳過連接（skip connection）。

有關Pix2pix結構的更多細節，請閱讀原論文：

https://arxiv.org/pdf/1611.07004.pdf

Pix2pix最著名的應用是“畫貓”，edges2cats便是基于pix2pix-tensorflow的一個實現，請看效果：

而今天我們介紹的Pix2Pix for Unity更是腦洞大開，在3D模型之上“畫貓”，讓生成的貓咪動了起來。程序員擼貓還真是方便呢！