深度神經(jīng)網(wǎng)絡(luò) (DNN) 是近年來(lái)機(jī)器學(xué)習(xí)研究進(jìn)展的基礎(chǔ)，也是在圖像識(shí)別、圖像分割、機(jī)器翻譯等諸多領(lǐng)域能夠取得突破性進(jìn)展的重要原因。

盡管 DNN 無(wú)處不在，研究人員仍在嘗試全面了解深度神經(jīng)網(wǎng)絡(luò)的基本原理。例如，傳統(tǒng)理論（如 VC 維和 Rademacher 復(fù)雜度）認(rèn)為：在處理未知數(shù)據(jù)時(shí)，過(guò)參數(shù)化函數(shù) (over-parameterized functions) 的泛化能力較差；但在近期研究中卻發(fā)現(xiàn)，大規(guī)模過(guò)參數(shù)化的函數(shù)（參數(shù)比數(shù)據(jù)點(diǎn)多出幾個(gè)數(shù)量級(jí)）卻擁有出色的泛化能力，更深層次地地理解泛化對(duì)于理論的落地和DNN理論的實(shí)現(xiàn)從而改進(jìn)模型是很有必要的。

在理解泛化之前，我們需了解 Generalization Gap（泛化性能差異）這一重要概念。泛化性能差異即模型針對(duì)相同分布的訓(xùn)練數(shù)據(jù)和未知數(shù)據(jù)所表現(xiàn)出的性能差異。在致力獲得更好的 DNN 泛化邊界（即泛化性能差異的上限）的過(guò)程中，研究人員取得了重大進(jìn)展。但是，這類邊界通常仍會(huì)大大高估真實(shí)的泛化性能差異水平，并且無(wú)法解釋部分模型為何具有出色的泛化能力。

另一方面，研究人員基于支持向量機(jī) (support-vector machines) 等淺層模型對(duì)邊緣 (notion) 概念（即數(shù)據(jù)點(diǎn)與決策邊界之間的距離）進(jìn)行了大量研究，最終發(fā)現(xiàn)此概念與模型針對(duì)未知數(shù)據(jù)所表現(xiàn)出的泛化能力密切相關(guān)。基于此項(xiàng)發(fā)現(xiàn)，研究人員已將使用邊緣研究泛化性能差異的方法拓展至 DNN 領(lǐng)域，從而使泛化性能差異的理論上限得到了高度優(yōu)化，但此方式并未能顯著提高泛化模型的預(yù)測(cè)能力。

注：理論上限 鏈接

支持向量機(jī)決策邊界示例。w?x-b=0 定義的超平面是此線性分類器的“決策邊界”，即在該線性分類器下，超平面上的每個(gè)點(diǎn) x 在任一類中的可能性相等。

在 ICLR 2019 論文《使用邊緣分布預(yù)測(cè)深度網(wǎng)絡(luò)的泛化性能差異》(Predicting the Generalization Gap in Deep Networks with Margin Distributions) 中，我們提議在各層網(wǎng)絡(luò)上使用標(biāo)準(zhǔn)化的邊緣分布 (Normalized Margin Distribution) 來(lái)預(yù)測(cè)泛化性能差異。

我們通過(guò)實(shí)踐研究了邊緣分布與泛化之間的關(guān)系，最終發(fā)現(xiàn)在對(duì)距離進(jìn)行適當(dāng)標(biāo)準(zhǔn)化 (Normalization) 后，邊緣分布的一些基本數(shù)據(jù)可以準(zhǔn)確預(yù)測(cè)泛化性能差異。此外，我們還通過(guò) GitHub 代碼庫(kù)將所有模型作為數(shù)據(jù)集公開(kāi)發(fā)布，以便您進(jìn)行泛化研究。

每張圖均對(duì)應(yīng)一個(gè)基于 CIFAR-10 訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（分類準(zhǔn)確率各不相同）。三個(gè)模型各有差異，從左至右，泛化能力逐漸增強(qiáng)。其中，x 軸表示 4 個(gè)層的神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)化邊緣分布，y 軸表示此分布的概率密度。標(biāo)準(zhǔn)化的邊緣分布與測(cè)試準(zhǔn)確率密切相關(guān)，這表明我們可以將此類分布用作預(yù)測(cè)網(wǎng)絡(luò) Generalization Gap（泛化性能差異）的指標(biāo)。如需了解這些神經(jīng)網(wǎng)絡(luò)的更多詳情，請(qǐng)參閱我們的論文。

邊緣分布作為泛化性能差異的預(yù)測(cè)指標(biāo)

如果邊緣分布統(tǒng)計(jì)數(shù)據(jù)可以真實(shí)預(yù)測(cè)泛化性能差異，那么簡(jiǎn)單的預(yù)測(cè)方案應(yīng)能建立起二者的關(guān)系。

因此，我們選擇使用線性回歸作為預(yù)測(cè)指標(biāo)。我們發(fā)現(xiàn)，在對(duì)邊緣分布統(tǒng)計(jì)數(shù)據(jù)進(jìn)行對(duì)數(shù)轉(zhuǎn)換后，轉(zhuǎn)換后的數(shù)據(jù)與 泛化性能差異之間幾乎完全呈線性關(guān)系（參見(jiàn)下圖）。事實(shí)上，相較于其他現(xiàn)有的泛化測(cè)量方法，我們提出的方案可提供更準(zhǔn)確的預(yù)測(cè)。這表明，邊緣分布可能包含與深度模型泛化性能差異相關(guān)的重要信息。

基于 CIFAR-100 和 ResNet-32 得出的 Generalization Gap 預(yù)測(cè)值（x 軸）與實(shí)際值（y 軸）關(guān)系圖。數(shù)據(jù)點(diǎn)的分布趨近于貼近對(duì)角線，這表明該對(duì)數(shù)線性模型的預(yù)測(cè)值非常符合實(shí)際的 Generalization Gap 水平。

深度模型泛化數(shù)據(jù)集

除論文之外，我們還介紹了深度模型泛化 (DEMOGEN) 數(shù)據(jù)集。該數(shù)據(jù)集包含 756 個(gè)經(jīng)過(guò)訓(xùn)練的深度模型，以及這些深度模型在 CIFAR-10 和 CIFAR-100 數(shù)據(jù)集上的訓(xùn)練與及測(cè)試表現(xiàn)。這些模型均為 CNN（所用架構(gòu)類似于“網(wǎng)絡(luò)中的網(wǎng)絡(luò)”(Network-in-Network)）和 ResNet-32 的變體，它們采用當(dāng)下流行的各類正則化技術(shù)和超參數(shù)設(shè)置，因而也產(chǎn)生了廣泛的泛化行為。

例如，基于 CIFAR-10 訓(xùn)練的 CNN 模型的測(cè)試準(zhǔn)確率在 60% 至 90.5% 之間，泛化性能差異率則介于 1% 至 35% 之間。如需了解數(shù)據(jù)集詳情，請(qǐng)查看我們的論文或 GitHub 代碼庫(kù)。發(fā)布數(shù)據(jù)集時(shí)，我們還為其添加了許多實(shí)用程序，以便您能夠輕松加載模型，并重現(xiàn)論文中所展示的結(jié)果。

我們希望本次研究和 DEMOGEN 數(shù)據(jù)集能為社區(qū)提供便利工具，讓社區(qū)成員無(wú)需重新訓(xùn)練大量模型，即可研究深度學(xué)習(xí)領(lǐng)域的泛化問(wèn)題而提供便利工具。同時(shí)，我們也希望本次研究成果能夠提供助力，以幫助我們?nèi)蘸髮?duì)隱藏層中的泛化性能差異預(yù)測(cè)指標(biāo)和邊緣分布進(jìn)行更加深入的研究。