程健研究員團隊最近提出了一種基于哈希的二值網絡訓練方法，揭示了保持內積哈希和二值權重網絡之間的緊密關系，表明了網絡參數二值化本質上可以轉化為哈希問題，在ResNet-18上，該方法比當前最好方法的精度提高了3%。

近年來，深度卷積神經網絡已經深入了計算機視覺的各個任務中，并在圖像識別、目標跟蹤、語義分割等領域中取得了重大突破。在一些場景下，當前深度卷積網絡性能已經足以部署到實際應用中，這也鼓舞著人們將深度學習落地到更多的應用中。

然而，深度卷積網絡在實際部署時面臨著參數量和時間復雜度等兩方面的問題，一方面是深度網絡巨大的參數量會占用大量的硬盤存儲和運行內存，這些硬件資源在一些移動和嵌入式設備中往往是很有限的；另外一方面就是深度網絡的計算復雜度較高，這會使得網絡推理速度很慢，同時會增加移動設備的電量消耗。

為了解決此類問題，人們提出了很多網絡加速和壓縮方法，其中網絡參數二值化是一種將網絡參數表示為二值參數的方法。由于二值網絡中參數只有+1和-1兩種值，乘法運算就可以被加法運算替代。由于乘法運算比加法運算需要更多的硬件資源和計算周期，使用加法運算替代乘法運算能夠實現網絡加速的目的。

另一方面，原始網絡參數的存儲格式是32位浮點數，二值參數網絡只使用1位來表示+1或者-1,達到了32倍的壓縮目的。但是將參數從32位量化到1位會導致較大的量化損失，當前的二值網絡訓練方法往往會導致較大的網絡精度下降，如何學習二值的網絡參數同時又不帶來較大的精度下降是一個問題。

圖自網絡

自動化所程健研究員團隊的胡慶浩等人最近提出了一種基于哈希的二值網絡訓練方法，揭示了保持內積哈希（Innerproduct Preserving Hashing）和二值權重網絡之間的緊密關系，表明了網絡參數二值化本質上可以轉化為哈希問題。

給定訓練好的全精度浮點32位網絡參數，二值權重網絡（BWN）的目的是學習二值網絡參數并維持原始網絡精度。學習二值參數的最樸素的方式就是最小化與二值參數之間的量化誤差，但是這種量化誤差和網絡精度之間存在著一定的差距，最小化量化誤差并不會直接提高網絡精度，因為每一層的量化誤差會逐層積累，而且量化誤差會受到輸入數據的增幅。

一種更好的學習二值參數的方式是最小化內積相似性之差。假設網絡某一層輸入為，是原始的內積相似性，則是量化之后的內積相似性，最小化與之間的誤差可以學習到更好的二值參數。從哈希的角度來講，代表著數據在原始空間中的相似性或者近鄰關系，則代表著數據投影到漢明空間之后的內積相似性。而哈希的作用就是將數據投影到漢明空間，且在漢明空間中保持數據在原始空間中的近鄰關系。至此，學習二值參數的問題就轉化成了一個在內積相似性下的哈希問題，該哈希主要是將數據投影到漢明空間并保持其在原始空間中的內積相似性。

團隊首先在VGG9小網絡上對方法進行驗證，并且在AlexNet和ResNet-18上超過當前的二值權重網絡。特別的，在ResNet-18上，該方法比當前最好方法的精度提高了3個百分點。獲得了較好的實驗結果。

表1：不同方法在VGG9上的分類錯誤率

表2：不同方法在AlexNet的分類精度

表3：不同方法在ResNet-18的分類精度

Dasgupta等人[2]在2017年11月份的《Science》上撰文揭示了果蠅嗅覺神經回路其實是一種特殊的哈希，其哈希投影是稀疏的二值連接。對比二值權重網絡（BWN）,我們可以發現二者之間有著密切的關系，首先，二者的網絡都是二值連接，這意味著二值權重在生物神經回路中有存在的生物基礎，這也為二值權重網絡的潛在機理提供了啟發；其次，二者都是為了保持近鄰關系，并且可以描述為哈希問題，這種現象表明神經網絡的某些連接是為了保持近鄰關系。最后，果蠅嗅覺回路中的稀疏連接和卷積層的參數共享機制有著異曲同工之處，都是對輸入的部分區域進行連接。

相關工作已經被AAAI2018接收[1]，并將在大會上作口頭報告。

參考資料：

[1] Qinghao Hu, Peisong Wang, Jian Cheng. From Hashing to CNNs: Training Binary Weight Networks via Hashing. AAAI 2018

[2]Dasgupta S, Stevens C F, Navlakha S. A neural algorithm for a fundamental computing problem. Science, 2017, 358(6364): 793-796.