生成對抗網絡一直是深度學習的重要工具，經過近幾年的發展，GANs也衍生出了許多不同的模式，例如DCGANs、Wasserstein GANs、BEGANs等。本文將要探討的是條件GAN（Conditional GANs）在圖像生成中的應用。

條件GANs已經應用與多種跟圖像有關的任務中了，但分辨率通常都不高，并且看起來很不真實。而在這篇論文中，英偉達和加州大學伯克利分校的研究人員共同提出了一個新方法合成高分辨率的街景，利用條件GANs從語義標簽映射生成的2048x1024的圖像不僅在視覺上更吸引人，同時生成了新的對抗損失以及新的多尺度生成器和判別器體系結構。

合成實例級別的圖像

接下來就是該項目的具體實驗過程。首先，是基線算法pix2pix的運用。pix2pix是用于圖像翻譯的條件GAN框架，它包含一個生成網絡G和一個判別網絡D。在這項任務中，生成網絡G的目標就是將語義標簽映射翻譯成接近真實的圖像，而判別網絡D的目標是將生成圖像與真實圖像作對比。

pix2pix利用U-Net作為生成網絡，同時用基礎的卷積網絡作為判別器。然而，利用數據集Cityspaces生成的圖像分辨率最高只有256x256的，以至于訓練過程十分不穩定，生成圖片的質量也不是很好，所以pix2pix框架需要進行一些改善升級。

研究人員將生成網絡換成由粗到精的網絡，并采用多尺度的判別網絡結構。同時采用穩定的對抗學習目標函數。

由粗到精的生成網絡（Coarse-to-fine generator）

研究人員將生成網絡分成了兩部分：全局生成網絡G1和局部增強網絡G2。全局生成網絡G1的可接受的分辨率為1024x512，局部增強網絡輸出的圖像分辨率為前一個圖像的4倍。如果還想得到更高的合成圖像，可以繼續增加局部增強網絡。

生成網絡結構

多尺度判別網絡（multi-scale discriminators）

對GAN的判別網絡來說，高分辨率的圖像是不小的挑戰。為了區分真正的高清圖片與合成圖片，判別網絡需要一個巨大的接收區（receptive field）。所以這就需要一個更深的網絡或更大的卷積核。但是這兩種方法都會增加網絡的能力，有可能導致過度擬合。并且它們在訓練時都需要更大的存儲腳本，這對高分辨率的圖像生成來說是很稀少的。

為了解決這一問題，研究人員提出了使用多尺度判別器的方法，即用三種擁有同樣結構的網絡，但針對不同尺寸的圖片運行。能處理最大尺寸的網絡擁有最大的接收區，它能引導生成網絡生成整體更協調的圖像。而處理最小尺寸的網絡能引導生成網絡在細節上處理得更仔細。

損失函數

研究人員從鑒別網絡的多個層中提取特征，并學習從真實和合成圖像中匹配這些中間表征。為了方便表示，我們將判別網絡Dk的第i層表示為Dk(i)，特征匹配損失LFM(G, Dk)表示為：

其中T是總層數，Ni表示每層的組成要素。

最終將GAN損失和特征匹配損失結合起來的函數表示為：

其中λ控制兩項的重要性。

現有的圖像合成方法僅使用語義標簽映射，其中每個像素值代表像素所屬的對象類別。這種映射不區分同一類別的對象。另一方面，實例級別的語義標簽映射包括每個單獨對象的唯一ID。要包含實例映射，一個簡單的方法是將其直接傳遞給網絡，或者將其編碼成一個單獨的向量。然而，由于不同圖像可能包含不同數量相同類別的對象，所以這兩種方法在實踐中都難以實現。

所以我們選擇用實例映射，它能夠提供語義標簽映射中沒有的對象邊界（object boundary）。例如，當多個相同類別的對象彼此相鄰是，只查看語義標簽映射無法區分它們。

下圖顯示用實例邊界映射訓練的模型，圖像邊界更清晰。

結果對比

為了量化合成圖像的質量，研究人員對其進行語義分割，并比較預測的預測的部分與輸入部分的匹配程度。從下表可以看出，我們使用的方法遠遠優于其他方法，并且十分接近原始圖像。

在CityScapes數據集上，在沒有損失函數的情況下，我們的方法也依然比其他兩種方法更優。

在NYU數據集上，我們的方法生成的圖片比其他方法生成的圖片看起來更真實。

其他結果：

輸入標簽（左）與合成圖像（右）

放大后可以看到圖中對象的細節更清晰

在ADE20K數據集的實驗，我們的結果生成的圖片真實度與原圖相差無幾

在Helen Face數據集上的實驗，用戶可以在互動界面實時改變臉部特征。例如變換膚色、加胡子等等

各位可以到網站上自行繪制你的“大作”：uncannyroad.com/

結語

實驗的結果表明，條件GANs無需手動調整損失函數或提前訓練網絡，就能合成高分辨率的逼真圖像。我們的成果將幫助許多需要高分辨率圖像，但卻沒有預先訓練網絡的領域，比如醫療影像和生物領域。

同時，這篇論文還向我們展示出，圖像到圖像的合成pipeline可以用來生成多種結果。研究人員認為這些成果有助于擴大圖片合成的應用范圍。