可變的 batch size
對于方案 (b) 和 (c) 在運行同步 128K SGD 的時候相對于方案 (a) 有了一些細微的變動，其中 (a) 是標準的 forward-backward 傳播方式。(b) 和 (c) 方案在全連接層執行 K 次 forward 和 backward 過程，每一次執行不同的 128 examples，這就是說，如果我們愿意，我們可以在上面每一次局部的后向傳播執行過程結束之后，更新全連接層的系數，這樣不會帶來任何額外的計算開銷。因此，我們可以在全連接層使用 batch size = 128，在卷積層 batch size = 128K。用了這樣的可變 batch size 之后，這就不再是一個純粹的并行 SGD 算法了，因為不再為任何與卷積層一致的模型更新梯度值，但是事實證明，在實踐中，這并不重要。在實際中，使用有效的 batch size 從 128K 到數千，在全連接層使用小的 batch size，最后能夠更快的收斂到更好的極小值。

案例圖示

上圖給出了方案 (b) 的 forward 和 backward 傳播，其中 K = 2，即 2 個 workers。

在三層結構的卷積層中，兩路數據并行的方案被實施。在兩層結構的全連接層中，兩路模型并行的方案被實施。上圖將數據并行和模型并行 2 個過程分解為 6 個過程。
step1：卷積層數據并行實現前向傳播（3個卷積層順序執行，2個 worker 數據并行執行）
step2：陰影部分的卷積層將數據傳遞給兩個全連接層，模型并行實現前向傳播（2個全連接層順序執行，FC11 和 FC12 模型并行執行，FC21 和 FC22 模型并行執行）
step3：全連接層實現反向傳播，并將梯度數據傳回卷積層
step4：同 step2，worker 2 的卷積層數據傳遞到全連接層，實現前向傳播
step5：同 step3，全連接層實現反向傳播，將梯度傳回 worker 2 對應的卷積層
step6：完成卷積層的反向傳播。