前段時(shí)間一直在關(guān)注 CNN 的實(shí)現(xiàn)，查看了 caffe 的代碼以及 convnet2 的代碼。目前對(duì)單機(jī)多卡的內(nèi)容比較感興趣，因此特別關(guān)注 convnet2 關(guān)于 multi-GPU 的支持。

其中 cuda-convnet2 的項(xiàng)目地址發(fā)布在：Google Code：cuda-convnet2

關(guān)于 multi-GPU 的一篇比較重要的論文就是：One weird trick for parallelizing convolutional neural networks

本文也將針對(duì)這篇文章給出分析。
?

1、簡介

介紹一種卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的SGD的并行化方法。

兩個(gè)變種

模型并行： 不同的 workers 訓(xùn)練模型的不同 patrs，比較適合神經(jīng)元活動(dòng)比較豐富的計(jì)算。

數(shù)據(jù)并行： 不同的 workers 訓(xùn)練不同的數(shù)據(jù)案例，比較適合 weight 矩陣比較多的計(jì)算。

2. 觀察

現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)主要由兩種層構(gòu)成，他們具有不一樣的屬性和性能：
1）卷積層，占據(jù)了90% ~ 95% 的計(jì)算量，5% 的參數(shù)，但是對(duì)結(jié)果具有很大的表達(dá)能力。
2）全連接層，占據(jù)了 5% ~ 10% 的計(jì)算量， 95% 的參數(shù)，但是對(duì)于結(jié)果具有相對(duì)較小的表達(dá)的能力。

綜上：卷積層計(jì)算量大，所需參數(shù)系數(shù) W 少，全連接層計(jì)算量小，所需參數(shù)系數(shù) W 多。因此對(duì)于卷積層適合使用數(shù)據(jù)并行，對(duì)于全連接層適合使用模型并行。

3. 推薦的算法

前向傳播

1)K workers 中的每一個(gè) worker 都提供不同的 128 個(gè) examples 的 data batch，也就是每一個(gè) worker 的數(shù)據(jù)都是不一樣的。
2)每一個(gè) worker 都在其 data batch 上計(jì)算卷積層。每一個(gè) worker 的卷積層是按照順序執(zhí)行的。
3)全連接層的計(jì)算，分為以下三種方式：
(a) 每一個(gè) worker 將其最后階段的卷積層 activities 傳遞給其他的 worker。這些 workers 將這 128K 個(gè) examples 配置成一個(gè)大的 batch，然后在這個(gè) batch 上計(jì)算全連接層。
(b) 第一個(gè) worker 將其最后階段的卷積層 activities 傳遞給其他 workers，這些 workers 計(jì)算 128 個(gè) examples 配置成的 batch 并且開始反向傳遞。（與這一次計(jì)算并行的同時(shí)，第二個(gè) worker 將卷積層的 activities 傳遞到所有的 workers 中，即實(shí)現(xiàn)了 activities 傳遞和計(jì)算之間的流水線）。
(c) 全部的 workers 傳遞 128/K 個(gè)卷積層的 activities 到其他的 workers，計(jì)算方式同(b)。

對(duì)于上述(a~c)三種不同的全連接層實(shí)現(xiàn)方式，進(jìn)行如下的分析：

(a) 當(dāng) 128K images 配置到每一個(gè) worker 的時(shí)候，所有有用的 work 必須要暫停。另外大的 batches 消耗大量的顯存，這對(duì)于 GPU 顯存有限制的設(shè)備是不希望發(fā)生的。另一方面，大的 batches 有利于 GPU 性能的發(fā)揮。

(b) 所有的 workers 輪流將他們的 activities 傳播到所有的 workers 上面。這里輪流執(zhí)行得到的最重要的結(jié)果是可以將大部分傳播通信時(shí)間隱藏（因?yàn)樗梢栽谏弦淮斡?jì)算的時(shí)候，與計(jì)算一起并行處理，確切是 K-1 次通信時(shí)間可以隱藏）。這樣做的意義非常的重大，可以實(shí)現(xiàn)一部分流水，使得通信時(shí)間隱藏，達(dá)到了很好的并行效果。

(c) 與 (b) 的方案類似。他的一個(gè)優(yōu)勢(shì)就是通信與計(jì)算的比例是常數(shù) K，對(duì)于 (a) 和 (b)，與 K 成比例。這是因?yàn)?(a) 和 (b) 方案經(jīng)常會(huì)受到每一個(gè) worker 的輸出帶寬的限制，方案 (c) 可以利用所有的 workers 來完成這一任務(wù)，對(duì)于大的 K 會(huì)有非常大的優(yōu)勢(shì)。

反向傳播

1) workers 按照通常的方式在全連接層計(jì)算梯度。
2) 按照前向傳播中不同的實(shí)現(xiàn)方案，這里會(huì)有對(duì)應(yīng)的三種方案：
(a) 每一個(gè) worker 都為整個(gè) 128K examples 的 batch 計(jì)算了 activities 的梯度。所以每一個(gè) worker 必須將每一個(gè) example 的梯度傳遞給前向傳播生成這個(gè) example 的 worker 上面。這之后，卷積層的反向傳播按照常規(guī)方式獲取。
(b) 每一個(gè) worker 已經(jīng)為 128 examples 的 batch 計(jì)算了 activities 的梯度，然后將這些梯度值傳遞給每一個(gè)與這個(gè) batch 相關(guān)的 workers 上。（在傳播的同時(shí)，可以進(jìn)行下一個(gè) batch 的計(jì)算）。在經(jīng)過 K 次前向和反向的傳播，所有的梯度值都將被傳播到卷積層。
(c) 與 (b) 類似。每一個(gè) worker 計(jì)算了 128 examples batch 的梯度，這 128-example batch 來自于每一個(gè) worker 的 128/K-examples，所以為了正確的分配每一個(gè)梯度，需要安裝相反的操作來進(jìn)行。

Weight 權(quán)值矩陣同步

一旦反向傳播完成之后，workers 就可以更新 weight 矩陣了。在卷積層，workers 也必須同步 weight 矩陣。最簡單的方式可以按如下進(jìn)行：
1) 每一個(gè) worker 指定到梯度矩陣的 1/K 進(jìn)行同步。
2) 每一個(gè) worker 從其他的 worker 累計(jì)對(duì)應(yīng)的 1/K 的梯度。
3)每一個(gè) worker 廣播這 1/K 的梯度。

對(duì)于卷積層來說，這個(gè)比較容易實(shí)現(xiàn)，因?yàn)樗?weights 系數(shù)比較少。