發(fā)布人：Google Research Brain 團隊研究員 Jonathan Ho 和軟件工程師 Chitwan Saharia

自然圖像合成是范圍很廣的一類機器學習 （ML） 任務，會面臨各種類型的應用所帶來的許多設計挑戰(zhàn)。其中之一就是圖像超分辨率，即訓練一個模型來將低分辨率的圖像，轉(zhuǎn)換為細節(jié)豐富的高分辨率圖像（例如 RAISR）。超分辨率的應用有很多，從恢復古舊的家族畫像，到改善醫(yī)療成像系統(tǒng) （Super-resolution imaging），均有涉獵。另一個類似的圖像合成任務是類條件下的圖像生成，即訓練一個模型，并根據(jù)輸入的類別標簽生成樣本圖像。最終生成的樣本圖像可用于提高圖像分類、分割等下游模型的性能。例如，GAN 經(jīng)常受到不穩(wěn)定的訓練和模式崩潰的影響，而自回歸模型通常受到合成速度慢的影響。

RAISR

https://ai.googleblog.com/2016/11/enhance-raisr-sharp-images-with-machine.html

一般來說，這些圖像合成任務由深度生成模型完成，如 GAN、VAE，以及自回歸模型。然而，通過訓練讓這些模型在困難的高分辨率數(shù)據(jù)集上，合成高質(zhì)量的樣本時，它們的表現(xiàn)均有不足。例如，GAN 經(jīng)常受到不穩(wěn)定的訓練和模式崩潰的影響，而自回歸模型通常受到合成速度慢的影響。

GAN

https://arxiv.org/abs/1406.2661

VAE

https://arxiv.org/abs/1312.6114

自回歸模型

https://arxiv.org/abs/1601.06759

但是，2015 年首次提出的擴散模型 （Diffusion Model） 由于其訓練的穩(wěn)定性及在圖像和音頻生成方面的樣本質(zhì)量結(jié)果很有潛力，最近又重新引起了關(guān)注。因此，與其他類型的深度生成模型相比，此模型在得失方面有了不錯的權(quán)衡。擴散模型的工作原理是通過逐步添加高斯噪聲來破壞訓練數(shù)據(jù)，慢慢抹去數(shù)據(jù)中的細節(jié)，直到變成純噪聲。然后再訓練一個神經(jīng)網(wǎng)絡來逆轉(zhuǎn)這個破壞過程。運行這個反向破壞過程，可以通過逐漸去噪，來從純噪聲中合成數(shù)據(jù)，直到產(chǎn)生一個干凈的樣本。這個合成過程可以被解釋為一種優(yōu)化算法，會按照數(shù)據(jù)密度的梯度來產(chǎn)生可能的樣本。

擴散模型

https://arxiv.org/abs/1503.03585

可以被解釋為

https://arxiv.org/abs/2006.11239

按照數(shù)據(jù)密度的梯度

https://arxiv.org/abs/1907.05600

今天，我們會介紹兩種相互聯(lián)系的方法。它們將推動擴散模型的圖像合成質(zhì)量界限，即通過重復優(yōu)化獲得的超級分辨率 （SR3） 和用于類條件合成的模型，此模型又名為級聯(lián)擴散模型 （CDM）。經(jīng)證明，通過擴大擴散模型的規(guī)模以及精心選擇的數(shù)據(jù)增強技術(shù)，我們可以取得比現(xiàn)有方法更出色的結(jié)果。具體來說，SR3 可以實現(xiàn)強大的圖像超分辨率結(jié)果，在人工評估方面的表現(xiàn)優(yōu)于 GAN。CDM 生成的高保真 ImageNet 樣本在 FID 得分 （Fréchet inception distance） 和分類準確率得分上都大大超過了 BigGAN-deep 和 VQ-VAE2。

分類準確率得分

https://arxiv.org/abs/1905.10887

BigGAN-deep

https://arxiv.org/abs/1809.11096

VQ-VAE2

https://arxiv.org/abs/1906.00446

SR3：圖像超分辨率

SR3 是一個超分辨率擴散模型，它通過輸入低分辨率圖像，從純噪聲中構(gòu)建相應的高分辨率圖像。該模型利用圖像破壞過程為訓練對象，在這個過程中，噪聲被逐步添加到高分辨率圖像中，直到只剩下純噪聲為止。然后，它將逆轉(zhuǎn)這一過程，從純噪聲開始，逐步去除噪聲，再通過指導輸入的低分辨率圖像，達到目標分布。

SR3

http://iterative-refinement.github.io

通過大規(guī)模的訓練，在擴縮到所輸入低分辨率圖像的 4-8 倍時，SR3 在人臉和自然圖像的超分辨率任務中取得了強大的基準結(jié)果。這些超分辨率模型可以進一步級聯(lián)起來，增加有效的超分辨率縮放系數(shù)，例如，通過將 64x64→256x256 和 256x256→1024x1024 的人臉超分辨率模型堆疊在一起，來執(zhí)行 64x64→1024x1024 的超分辨率任務。

以人工評估研究為例，我們比較了 SR3 與現(xiàn)有方法。通過開展雙選項必選實驗 （Two-alternative forced choice），我們要求受訪者在引用的高分辨率圖像和模型輸出之間做出選擇，并回答問題（猜一猜哪張圖像是攝像機拍攝的？）。我們通過混淆率（評分者選擇模型輸出而不是參考圖像的次數(shù)百分比，一個完美的算法能夠達到 50% 的混淆率）來衡量模型的性能。這項研究的結(jié)果如下圖所示。

上：我們在 16x16→128x128 的人臉任務中實現(xiàn)了接近 50% 的混淆率，優(yōu)于一流的人臉超分辨率方法 PULSE 和 FSRGAN。下：在 64x64 → 256x256 的自然圖像這個更困難的任務中，我們也達到了 40% 的混淆率，表現(xiàn)水準遠超回歸基線

PULSE

https://arxiv.org/abs/2003.03808

FSRGAN

https://arxiv.org/abs/1711.10703

CDM：類條件 ImageNet 生成

在展示了 SR3 處理自然圖像超分辨率方面的有效性之后，我們便更進一步——將這些 SR3 模型用于類條件圖像生成。CDM 是利用 ImageNet 數(shù)據(jù)訓練的類條件擴散模型，可以生成高分辨率的自然圖像。由于 ImageNet 是一個困難的高熵數(shù)據(jù)集，我們將 CDM 構(gòu)建為多個擴散模型的級聯(lián)。這種級聯(lián)方法會將多個空間分辨率的生成模型串聯(lián)起來：一個擴散模型以低分辨率生成數(shù)據(jù)，搭配一連串的 SR3 超分辨率擴散模型，生成圖像的分辨率逐漸提高到最高。眾所周知，級聯(lián)可以改善高分辨率數(shù)據(jù)的質(zhì)量和訓練速度，這一點在以前的研究（例如自回歸模型和 VQ-VAE-2）以及同時進行的擴散模型研究中都有所體現(xiàn)。正如以下定量結(jié)果所證明的那樣，CDM 進一步突出了級聯(lián)在擴散模型中對樣本質(zhì)量的有效性和對下游任務（如圖像分類）的有用性。

級聯(lián)流水線的示例，其中包括一系列擴散模型：第一個模型用于生成低分辨率的圖像，然后其余的模型負責執(zhí)行上采樣，以最終生成高分辨率的圖像。此為用于生成類條件 ImageNet 的流水線，以 32x32 分辨率的類條件擴散模型開始，然后是使用 SR3 的 2 倍和 4 倍的類條件超分辨率

從我們的 256x256 級聯(lián)類條件 ImageNet 模型中選擇的生成圖像

同時進行

https://arxiv.org/abs/2102.09672

研究

https://arxiv.org/abs/2105.05233

將 SR3 模型納入級聯(lián)流水線的同時，我們還引入了一種新的數(shù)據(jù)增強技術(shù)，稱之為 “條件增強”，它可以進一步優(yōu)化 CDM 的樣本質(zhì)量結(jié)果。雖然 CDM 中的超分辨率模型利用數(shù)據(jù)集中的原始圖像訓練而成，但在生成過程中，它們需要以超分辨率對低分辨率基礎模型生成的圖像進行處理，而這些圖像與原始圖像相比，質(zhì)量可能不夠高。這就導致了超分辨率模型的訓練和測試水平不對等。條件增強是指對級聯(lián)流水線中每個超分辨率模型的低分辨率輸入圖像進行數(shù)據(jù)增強。在我們的研究中，這些增強包括高斯噪聲和高斯模糊，防止各個超分辨率模型對其低分辨率的條件輸入過度擬合，最終讓 CDM 得到更好的高分辨率樣本質(zhì)量。

總的來說，CDM 生成的高保真樣本在類條件 ImageNet 生成的 FID 得分和分類準確率得分方面都優(yōu)于 BigGAN-deep 和 VQ-VAE-2。不同于 ADM 和 VQ-VAE-2 等其他模型，CDM 是一個純粹的生成模型，不會使用分類器來提高樣本質(zhì)量。有關(guān)樣本質(zhì)量的定量結(jié)果如下所示。

就不使用額外分類器來提高樣本質(zhì)量的方法而言，類條件 ImageNet FID 在 256x256 分辨率下的得分。BigGAN-deep 的分數(shù)記錄自其在最佳截斷值時的表現(xiàn)（數(shù)值越低越好）

ImageNet 分類準確率在 256x256 分辨率下的得分，用以衡量利用生成數(shù)據(jù)訓練的分類器的驗證集準確率。與現(xiàn)有的方法相比，使用 CDM 生成的數(shù)據(jù)取得了明顯的進步，縮小了真實數(shù)據(jù)和生成數(shù)據(jù)之間的分類準確率的差距（數(shù)值越高越好）

結(jié)論

在 SR3 和 CDM 的助力下，我們已經(jīng)將擴散模型的性能提升到了超分辨率和類條件 ImageNet 生成基準的一流水平。我們很高興能進一步探索擴散模型在各種生成性建模問題上的極限。有關(guān)我們研究的更多信息，請參閱通過迭代優(yōu)化實現(xiàn)圖像超分辨和用于生成高保真圖像的級聯(lián)擴散模型。

責任編輯：haq