發布人：Google Research Brain 團隊研究員 Jonathan Ho 和軟件工程師 Chitwan Saharia

自然圖像合成是范圍很廣的一類機器學習 （ML） 任務，會面臨各種類型的應用所帶來的許多設計挑戰。其中之一就是圖像超分辨率，即訓練一個模型來將低分辨率的圖像，轉換為細節豐富的高分辨率圖像（例如 RAISR）。超分辨率的應用有很多，從恢復古舊的家族畫像，到改善醫療成像系統 （Super-resolution imaging），均有涉獵。另一個類似的圖像合成任務是類條件下的圖像生成，即訓練一個模型，并根據輸入的類別標簽生成樣本圖像。最終生成的樣本圖像可用于提高圖像分類、分割等下游模型的性能。例如，GAN 經常受到不穩定的訓練和模式崩潰的影響，而自回歸模型通常受到合成速度慢的影響。

RAISR

https://ai.googleblog.com/2016/11/enhance-raisr-sharp-images-with-machine.html

一般來說，這些圖像合成任務由深度生成模型完成，如 GAN、VAE，以及自回歸模型。然而，通過訓練讓這些模型在困難的高分辨率數據集上，合成高質量的樣本時，它們的表現均有不足。例如，GAN 經常受到不穩定的訓練和模式崩潰的影響，而自回歸模型通常受到合成速度慢的影響。

GAN

https://arxiv.org/abs/1406.2661

VAE

https://arxiv.org/abs/1312.6114

自回歸模型

https://arxiv.org/abs/1601.06759

但是，2015 年首次提出的擴散模型 （Diffusion Model） 由于其訓練的穩定性及在圖像和音頻生成方面的樣本質量結果很有潛力，最近又重新引起了關注。因此，與其他類型的深度生成模型相比，此模型在得失方面有了不錯的權衡。擴散模型的工作原理是通過逐步添加高斯噪聲來破壞訓練數據，慢慢抹去數據中的細節，直到變成純噪聲。然后再訓練一個神經網絡來逆轉這個破壞過程。運行這個反向破壞過程，可以通過逐漸去噪，來從純噪聲中合成數據，直到產生一個干凈的樣本。這個合成過程可以被解釋為一種優化算法，會按照數據密度的梯度來產生可能的樣本。

擴散模型

https://arxiv.org/abs/1503.03585

可以被解釋為

https://arxiv.org/abs/2006.11239

按照數據密度的梯度

https://arxiv.org/abs/1907.05600

今天，我們會介紹兩種相互聯系的方法。它們將推動擴散模型的圖像合成質量界限，即通過重復優化獲得的超級分辨率 （SR3） 和用于類條件合成的模型，此模型又名為級聯擴散模型 （CDM）。經證明，通過擴大擴散模型的規模以及精心選擇的數據增強技術，我們可以取得比現有方法更出色的結果。具體來說，SR3 可以實現強大的圖像超分辨率結果，在人工評估方面的表現優于 GAN。CDM 生成的高保真 ImageNet 樣本在 FID 得分 （Fréchet inception distance） 和分類準確率得分上都大大超過了 BigGAN-deep 和 VQ-VAE2。

分類準確率得分

https://arxiv.org/abs/1905.10887

BigGAN-deep

https://arxiv.org/abs/1809.11096

VQ-VAE2

https://arxiv.org/abs/1906.00446

SR3：圖像超分辨率

SR3 是一個超分辨率擴散模型，它通過輸入低分辨率圖像，從純噪聲中構建相應的高分辨率圖像。該模型利用圖像破壞過程為訓練對象，在這個過程中，噪聲被逐步添加到高分辨率圖像中，直到只剩下純噪聲為止。然后，它將逆轉這一過程，從純噪聲開始，逐步去除噪聲，再通過指導輸入的低分辨率圖像，達到目標分布。

SR3

http://iterative-refinement.github.io

通過大規模的訓練，在擴縮到所輸入低分辨率圖像的 4-8 倍時，SR3 在人臉和自然圖像的超分辨率任務中取得了強大的基準結果。這些超分辨率模型可以進一步級聯起來，增加有效的超分辨率縮放系數，例如，通過將 64x64→256x256 和 256x256→1024x1024 的人臉超分辨率模型堆疊在一起，來執行 64x64→1024x1024 的超分辨率任務。

以人工評估研究為例，我們比較了 SR3 與現有方法。通過開展雙選項必選實驗 （Two-alternative forced choice），我們要求受訪者在引用的高分辨率圖像和模型輸出之間做出選擇，并回答問題（猜一猜哪張圖像是攝像機拍攝的？）。我們通過混淆率（評分者選擇模型輸出而不是參考圖像的次數百分比，一個完美的算法能夠達到 50% 的混淆率）來衡量模型的性能。這項研究的結果如下圖所示。

上：我們在 16x16→128x128 的人臉任務中實現了接近 50% 的混淆率，優于一流的人臉超分辨率方法 PULSE 和 FSRGAN。下：在 64x64 → 256x256 的自然圖像這個更困難的任務中，我們也達到了 40% 的混淆率，表現水準遠超回歸基線

PULSE

https://arxiv.org/abs/2003.03808

FSRGAN

https://arxiv.org/abs/1711.10703

CDM：類條件 ImageNet 生成

在展示了 SR3 處理自然圖像超分辨率方面的有效性之后，我們便更進一步——將這些 SR3 模型用于類條件圖像生成。CDM 是利用 ImageNet 數據訓練的類條件擴散模型，可以生成高分辨率的自然圖像。由于 ImageNet 是一個困難的高熵數據集，我們將 CDM 構建為多個擴散模型的級聯。這種級聯方法會將多個空間分辨率的生成模型串聯起來：一個擴散模型以低分辨率生成數據，搭配一連串的 SR3 超分辨率擴散模型，生成圖像的分辨率逐漸提高到最高。眾所周知，級聯可以改善高分辨率數據的質量和訓練速度，這一點在以前的研究（例如自回歸模型和 VQ-VAE-2）以及同時進行的擴散模型研究中都有所體現。正如以下定量結果所證明的那樣，CDM 進一步突出了級聯在擴散模型中對樣本質量的有效性和對下游任務（如圖像分類）的有用性。

級聯流水線的示例，其中包括一系列擴散模型：第一個模型用于生成低分辨率的圖像，然后其余的模型負責執行上采樣，以最終生成高分辨率的圖像。此為用于生成類條件 ImageNet 的流水線，以 32x32 分辨率的類條件擴散模型開始，然后是使用 SR3 的 2 倍和 4 倍的類條件超分辨率

從我們的 256x256 級聯類條件 ImageNet 模型中選擇的生成圖像

同時進行

https://arxiv.org/abs/2102.09672

研究

https://arxiv.org/abs/2105.05233

將 SR3 模型納入級聯流水線的同時，我們還引入了一種新的數據增強技術，稱之為 “條件增強”，它可以進一步優化 CDM 的樣本質量結果。雖然 CDM 中的超分辨率模型利用數據集中的原始圖像訓練而成，但在生成過程中，它們需要以超分辨率對低分辨率基礎模型生成的圖像進行處理，而這些圖像與原始圖像相比，質量可能不夠高。這就導致了超分辨率模型的訓練和測試水平不對等。條件增強是指對級聯流水線中每個超分辨率模型的低分辨率輸入圖像進行數據增強。在我們的研究中，這些增強包括高斯噪聲和高斯模糊，防止各個超分辨率模型對其低分辨率的條件輸入過度擬合，最終讓 CDM 得到更好的高分辨率樣本質量。

總的來說，CDM 生成的高保真樣本在類條件 ImageNet 生成的 FID 得分和分類準確率得分方面都優于 BigGAN-deep 和 VQ-VAE-2。不同于 ADM 和 VQ-VAE-2 等其他模型，CDM 是一個純粹的生成模型，不會使用分類器來提高樣本質量。有關樣本質量的定量結果如下所示。

就不使用額外分類器來提高樣本質量的方法而言，類條件 ImageNet FID 在 256x256 分辨率下的得分。BigGAN-deep 的分數記錄自其在最佳截斷值時的表現（數值越低越好）

ImageNet 分類準確率在 256x256 分辨率下的得分，用以衡量利用生成數據訓練的分類器的驗證集準確率。與現有的方法相比，使用 CDM 生成的數據取得了明顯的進步，縮小了真實數據和生成數據之間的分類準確率的差距（數值越高越好）

結論

在 SR3 和 CDM 的助力下，我們已經將擴散模型的性能提升到了超分辨率和類條件 ImageNet 生成基準的一流水平。我們很高興能進一步探索擴散模型在各種生成性建模問題上的極限。有關我們研究的更多信息，請參閱通過迭代優化實現圖像超分辨和用于生成高保真圖像的級聯擴散模型。

責任編輯：haq