我們的第二個指標，GAN-test，是在真實圖像上訓練并在生成圖像上評估得到的網絡的準確率。該指標與精確率類似，值比較高意味著生成的樣本與（未知）自然圖像分布近似。除了這兩個指標外，我們還研究了 GAN 生成圖像在強化訓練數據方面的作用。可以將其視為衡量生成圖像多樣性的指標。我們在圖 1 中用 GAN-train 指標闡明了我們的評估方法的效果，尤其是在主觀評價不充分的情況下。我們將在第 3 節討論這些評估指標的細節。

正如第 5 節中廣泛的實驗結果以及補充材料和技術報告中的附錄 [5] 所示，與之前討論的所有評估指標相比（包括沒有得出結論的人類研究），這些指標在評估 GAN 方面的信息要豐富得多。尤其是我們還對當前最佳的兩個 GAN 模型（WGAN-GP[20] 和 SNGAN[36]）以及其他一些生成模型 [45,47] 進行了評估，以提供基線比較。用 MNIST[30]、CIFAR10、CIFAR100[28] 和 ImageNet[14] 數據集評估了圖像分類表現。實驗結果表明，隨著數據集復雜度的增加，GAN 圖像的質量顯著降低。

論文：How good is my GAN?

論文鏈接：https://arxiv.org/pdf/1807.09499.pdf

摘要：生成對抗網絡（GAN）是當今最流行的圖像生成方法之一。盡管已經有了不少可以直觀感受到的令人印象深刻的成果，但一些定量標準直到最近才出現。我們認為現有指標不足以評估模型，因此在本文中引入了兩個基于圖像分類的指標——GAN-train 和 GAN-test，這兩個指標分別對應的是 GAN 的召回率（多樣性）和精確率（圖像質量）。我們基于這兩個指標評估了最近的 GAN 方法并證明了這些方法性能的顯著差異。此外，我們的評估指標清楚地表明，數據集復雜程度（從 CIFAR10 到 CIFAR100 再到 ImageNet），與 GAN 質量呈負相關關系。

3. GAN-train 和 GAN-test

條件 GAN 模型的一個重要特征是生成的圖像不僅要逼真，還要能辨識出屬于一個給定的類別。一個可以完美捕獲目標分布的理想 GAN 可以生成一個新的圖像數據集 S_g，這個數據集與原始的訓練集 S_t 沒什么區別。假設這些數據集大小相同，根據這兩個數據集中的任意一個訓練出來的分類器應該有同樣的驗證準確率。當數據集足夠簡單（例如 MNIST[48]）時確實是這樣（見 5.2 節）。在這種最佳 GAN 特性的推動下，我們設計了兩個分數來評估 GAN，如圖 2 所示。

圖 2：GAN-train 和 GAN-test 圖示。GAN-train 根據 GAN 生成圖像訓練了一個分類器，并在真實圖像上進行測試。該指標評估了 GAN 生成圖像的多樣性和真實性。GAN-test 根據真實圖像訓練了分類器，并在 GAN 生成圖像上進行評估。該指標評估了 GAN 生成圖像的真實性。

GAN-train 是在 S_g 上訓練，在由真實圖像組成的驗證集 S_v 上測試的分類器的準確率。當 GAN 不夠好的時候，GAN-train 會比在 S_t 上訓練出來的分類器的驗證準確率低。造成這種情況的原因有很多，例如，（i）與 S_t 相比，模式下降導致 S_g 的多樣性降低；（ii）生成樣本不夠逼真，以至于分類器無法學到相關特征；（iii）GAN 可以將類別混在一起并混淆分類器。不幸的是，我們無法確定 GAN 的問題在哪。當 GAN-train 的準確率與驗證集的準確率相近時，意味著 GAN 產生的圖像質量很高且和訓練集一樣多樣化。正如我們在 5.3 節中所說的那樣，多樣性會隨著生成圖像數量的變化而變化。我們將在本節末尾的評價討論中對其進行分析。

GAN-test 是在原始訓練集 S_t 上訓練，但在 S_g 上測試得到的分類器的準確率。如果 GAN 能很好地進行學習，這就會是一項簡單的任務，因為這兩個數據集的分布是一樣的。理想情況下，GAN-test 應該和驗證準確率相近。如果 GAN-test 明顯高了，那就意味著 GAN 過擬了，即它只是簡單地記住了訓練集。相反，如果 GAN-test 明顯低了，則說明 GAN 無法很好地捕獲目標分布且 GAN 生成的圖像質量堪憂。注意，該指標無法說明樣本的多樣性，因為可以完美記憶每一個訓練圖像的模型可以得到很高的分數。GAN-test 與 [32] 中的精確度相關，它量化了生成圖像與數據流形之間的接近程度。