生成對抗網(wǎng)絡(luò)（GAN）是當今最流行的圖像生成方法之一，但評估和比較 GAN 產(chǎn)生的圖像卻極具挑戰(zhàn)性。之前許多針對 GAN 合成圖像的研究都只用了主觀視覺評估，一些定量標準直到最近才開始出現(xiàn)。本文認為現(xiàn)有指標不足以評估 GAN 模型，因此引入了兩個基于圖像分類的指標——GAN-train 和 GAN-test，分別對應(yīng) GAN 的召回率（多樣性）和精確率（圖像質(zhì)量）。研究者還基于這兩個指標評估了最近的 GAN 方法并證明了這些方法性能的顯著差異。上述評估指標表明，數(shù)據(jù)集復雜程度（從 CIFAR10 到 CIFAR100 再到 ImageNet）與 GAN 質(zhì)量呈負相關(guān)關(guān)系。

生成對抗網(wǎng)絡(luò)（GAN）[19] 是由一對存在競爭關(guān)系的神經(jīng)網(wǎng)絡(luò)——生成器和判別器——組成的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)。通過交替優(yōu)化兩個目標函數(shù)訓練該模型，這樣可以讓生成器 G 學會產(chǎn)生與真實圖像類似的樣本，還能讓判別器 D 學會更好地甄別真假數(shù)據(jù)。這種范式潛力巨大，因為它可以學會生成任何數(shù)據(jù)分布。這種模型已經(jīng)在一些計算機視覺問題上取得了一定成果，例如文本到圖像的轉(zhuǎn)換 [56] 和圖像到圖像的轉(zhuǎn)換 [24,59]、超分辨率 [31] 以及逼真的自然圖像生成 [25]。

自從提出了 GAN 模型后，近幾年間出現(xiàn)了許多變體，如以提升生成圖像質(zhì)量為目的的 GAN 模型 [12,15,25,36] 和以穩(wěn)定訓練過程為目的的 GAN 模型 [7,9,20,34,36,40,57]。通過調(diào)整附加信息（如類別標簽），GAN 還可以被修改為生成給定類別圖像的網(wǎng)絡(luò) [16,35,37,41]。實現(xiàn)這一想法有許多方法：連結(jié)標簽 y 和生成器的輸入 z 或中間特征映射 [16,35]，使用條件批歸一化 [37] 以及用輔助分類器增強鑒別器 [41]。隨著這些方法的提出，有一個問題就變得重要了起來：該如何評價和比較這些模型呢？

評估和比較 GAN，或者說評估和比較 GAN 產(chǎn)生的圖像，是一件極具挑戰(zhàn)性的事，部分原因是缺乏明確的、在可比較概率模型中常用的似然方法 [51]。因此，之前許多針對 GAN 合成的圖像的工作都只用了主觀視覺評估。如圖 1 所示，當前最佳 GAN 生成圖像的樣本 [36]，用主觀評估方法無法精確評估圖像質(zhì)量。近兩年的研究已經(jīng)開始嘗試通過定量方法評估 GAN[22,25,32,46]。

圖 1：當前最佳 GAN 模型（如 SNGAN）[36] 生成逼真圖像，這些圖像難以用主觀評估法與真實圖像進行比較。我們的基于準確率的圖像分類新方法解決了這個問題，并展示了真實圖像和生成圖像間的顯著差異。

將 Inception 分數(shù)（IS）[46] 和 Fr´echet Inception 距離（FID）[22] 作為與生成圖像視覺質(zhì)量相關(guān)的臨時指標。IS 通過計算圖像產(chǎn)生的 (logit) 響應(yīng)和邊際分布（即在 ImageNet 上訓練出來的 Inception 網(wǎng)絡(luò)生成的全部圖像的平均響應(yīng)）之間的 KL 散度衡量生成圖像的質(zhì)量。換句話說，IS 無法與目標分布的樣本進行比較，僅可用于量化生成樣本的多樣性。FID 比較的是真實圖像和生成圖像間的 Inception 激活值（Inception 網(wǎng)絡(luò)中倒數(shù)第二層的響應(yīng)）。但這樣的比較將真實圖像和生成圖像的激活值近似為高斯分布（參見等式（2）），計算其平均值和方差，但因為太過粗糙而無法捕捉其細節(jié)。這些評估方法都依賴于經(jīng)過 ImageNet 預(yù)訓練的 Inception 網(wǎng)絡(luò)，這對其他數(shù)據(jù)集（如面部數(shù)據(jù)集和生物醫(yī)學成像數(shù)據(jù)集）來說遠不夠理想。總而言之，IS 和 FID 是評估訓練進展的有用指標，但它們無法評估真實世界中的任務(wù)。正如我們在第 5 節(jié)中討論的那樣，與我們的指標（以表 2 中的 SNGAN 和 WPGAN-GP（10M）為例）不同，這些指標不足以精確地區(qū)別出當前最佳的 GAN 模型。

還有一種評估方法是根據(jù)精確率和召回率計算生成樣本到真實數(shù)據(jù)流形間的距離 [32]。高精確率意味著生成樣本與數(shù)據(jù)流形很接近，而高召回率意味著生成器的輸出樣本很好地覆蓋了流形。這些指標還是很理想主義的，因為無法在流形未知的自然圖像數(shù)據(jù)上進行計算。實際上，[32] 中的評估方法也只能用在由灰度三角形組成的合成數(shù)據(jù)中。另一種用于比較 GAN 模型距離的是 SWD[25]。SWD 是真實圖像和生成圖像間的 Wasserstein-1 距離的估計值，它計算的是從圖像的 Laplacian 金字塔表征中提取的局部圖像之間的數(shù)據(jù)相似性。正如第 5 節(jié)所說，SWD 的信息量低于我們的評價指標。

我們在本文中提出了新的評價指標，是用 GAN-train 分數(shù)和 GAN-test 分數(shù)比較類條件的 GAN 架構(gòu)。對于這兩種指標，我們都依賴神經(jīng)網(wǎng)絡(luò)架構(gòu)來進行圖像分類。為了計算 GAN-train，我們用 GAN 生成的圖像訓練了分類網(wǎng)絡(luò)，然后在由真實圖像組成的測試集上評估了其表現(xiàn)。直接地說，這度量了學習到的（生成圖像）分布和目標（真實圖像）分布間的差異。可以得出結(jié)論：如果學習用于區(qū)分針對不同類別的生成圖像特征的分類網(wǎng)絡(luò)可以對真實圖像進行正確分類，那么生成圖像與真實圖像相似。換句話說，GAN-train 類似于召回率度量，因為 GAN-train 表現(xiàn)好意味著生成的樣本足夠多樣化。但是，GAN-train 也需要足夠的精確率，否則分類器會受到樣本質(zhì)量的影響。