最后作者根據(jù)這三個(gè)觀察結(jié)果與方法嚴(yán)格證明了他們的論點(diǎn)，此外他們還表示整個(gè)證明僅使用了線性代數(shù)與標(biāo)準(zhǔn)概率邊界，因此能推廣到其它深度神經(jīng)網(wǎng)絡(luò)。以下我們展示了他們證明出的兩個(gè)定理（Theorem 3.1 和 Theorem 4.1），證明過程請(qǐng)查閱原論文。

論文：Gradient Descent Provably Optimizes Over-parameterized Neural Networks

論文鏈接：https://arxiv.org/abs/1810.02054

摘要：神經(jīng)網(wǎng)絡(luò)一個(gè)最神秘的地方是梯度下降等隨機(jī)初始化的一階優(yōu)化方法能實(shí)現(xiàn)零的訓(xùn)練損失，即使目標(biāo)函數(shù)是非凸和不平滑的。本論文揭秘了這一現(xiàn)象，即帶有 ReLU 激活函數(shù)的兩層全連接網(wǎng)絡(luò)為什么能實(shí)現(xiàn)零的訓(xùn)練損失。對(duì)于有 m 個(gè)隱藏神經(jīng)元的淺層神經(jīng)網(wǎng)絡(luò)（ReLU 激活函數(shù)）和 n 項(xiàng)訓(xùn)練數(shù)據(jù)，我們的實(shí)驗(yàn)表示只要 m 足夠大，且數(shù)據(jù)是非退化的，那么隨機(jī)初始化的梯度下降能收斂到全局最優(yōu)解，且收斂速度對(duì)于二次損失函數(shù)是線性的。

我們的分析基于以下觀察：過參數(shù)化和隨機(jī)初始化聯(lián)合限制了每一個(gè)權(quán)重向量在所有迭代中都接近于它的初始值，這令我們可以利用比較強(qiáng)的類凸屬性，并展示梯度下降能以全局線性的速率收斂到全局最優(yōu)解。我們相信這些觀點(diǎn)同樣能用于分析深度模型和其它一階梯度優(yōu)化方法。

3 連續(xù)型時(shí)間分析

本章展示了分析梯度流（gradient flow）的結(jié)果，即將步長(zhǎng)設(shè)置為無窮小量的梯度下降。在后一部分的離散型時(shí)間分析中，我們將進(jìn)一步修正這一部分的證明，并為帶正下降步長(zhǎng)的梯度下降設(shè)定一個(gè)定量邊界。

形式化而言，我們考慮常微分方程，公式如下所示：

其中 r 屬于 1 到 m。我們將 u_i(t) = f(W(t), a, x_i) 指定為輸入 x_i 在時(shí)間 t 上的預(yù)測(cè)，u(t) = (u_1(t), . . . , u_n(t)) ∈ R^n 指定為時(shí)間 t 上的預(yù)測(cè)向量。本章的主要結(jié)果見以下定理：

4 離散型時(shí)間分析

本章展示了具有正常數(shù)項(xiàng)步長(zhǎng)的隨機(jī)初始化梯度下降以線性速率收斂到全局最小值。我們首先介紹主要定理：

定理 4.1 表明，即使目標(biāo)函數(shù)是非平滑和非凸的，具有正常數(shù)步長(zhǎng)的梯度下降仍然具有線性收斂速度。我們對(duì)最小特征值和隱藏節(jié)點(diǎn)數(shù)的假設(shè)與梯度流定理完全相同。值得注意的是，與之前的研究 [Li and Liang, 2018] 相比，我們對(duì)步長(zhǎng)的選擇與隱藏節(jié)點(diǎn) m 的數(shù)量無關(guān)。