點云是三維深度學習中一種重要的數據類型，研究人員們一直致力于高效準確的處理點云，并基于點云實現分類、檢測和分割等一系列高級計算機視覺任務。自從PointNet以來，研究人員們提出了眾多基于PointNet的模型和模型變體，極大的拓展了計算機視覺對于三維點云數據的處理能力。

但是由于點云的表示和處理方法對于計算資源的消耗使得網絡模型無法加深，同時全局與局部的信息缺乏多層級地交互也限制了模型的表達能力。

為了探索這些問題的解決辦法、來自倫敦大學學院的研究人員們提出了一系列新的點云處理模塊，從效率、信息共享和點云卷積操作等方面進行了研究，得到了更寬、更深、更快效率更高的點云處理網絡，讓更深的點云深度學習模型成為可能。

與圖像領域的深度學習架構相比，針對點云的處理手段還比較簡單。無論是模塊的多樣性和網絡的寬度與深度上，點云網絡的架構都還有很大的發展空間。例如PointNet和PointNet++這樣的模型架構隨讓證明了神經網絡的有效性，但是對于計算資源的巨大消耗成為了制約這類架構發展的限制。

網絡內部的每一個節點都需要攜帶所有鄰域的特征使得存儲資源消耗過大，過深的網絡無法高效的實現。而在圖像領域的發展經驗表明，更深更寬的網絡與模型的精度有著直接的聯系。研究人員在這一工作中通過引入三方面的新結構來改善點云處理網絡的精度、降低計算資源的消耗，同時提升了推理階段的運行速度。

多分辨率

研究人員引入了多分辨率用于在多個不同的尺度上處理多尺度網絡結構，大幅度降低了內存占用。在PointNet++中利用不斷增加的聚類半徑來對原始點云處理多尺度信息。而在這篇文章中，研究人員直接在網絡早期的處理階段使用了多個不同的聚類半徑來處理，使得模型可以混合多個尺度的信息，理解多尺度上下文內容并減少計算資源的消耗。

研究人員使用了以下采樣的方法來對原始點云進行處理，而后進行分組實現了不同尺度的處理。下圖顯示了多分辨率的處理方式不僅增加了某個點的領域感受野，同時不增加內存占用，更好的捕獲全局的內容信息。

圖中紅色的點表示綠色點增加的感受野

點卷積模塊

為了更加高效的獲取鄰域信息，研究人員將圖像鄰域信息的卷積概念延伸到了點云領域，提出了點卷積概念，在訓練過程中更有效地混合鄰域信息。相較于PointNet++減小了67%的內存占用，實現了41%的速度提升。其中的關鍵在于針對分組操作在前向傳播的過程中將中間結果及時釋放，利用單層神經網絡大大加速了處理過程。

上面的算法顯示了前向和反向傳播的過程，在內存占用和速度上同時進行了優化。

卷積計算單元對于內存占用的大幅下降使得更深的網絡成為可能。與先前的工作相比，這種結構的網絡在深度增加時對計算資源需求增加地更為緩慢。

新的模型不僅在降低了初始化地內存需求，當層數增加時內存的增加也較為緩慢。深度翻倍時模型地高分辨和低分辨部分地僅僅增加了16.8%和2.3%。

優化信息流

為了綜合各個尺度下的信息實現更有效的點云感知，研究人員對模型進行了更深入的分析和改進。首先為了保證在模型加深時網絡的穩定性，研究人員在模型中添加了殘差結構，在提高訓練效果的同時避免了梯度消失的問題。

為了更好地利用多分辨率的信息，研究人員利用了交叉分辨率鏈接來為不同分辨率下的分支提供了信息溝通的渠道，使得高、中、低各個分辨率的信息得以有效在訓練過程中交換，每個分辨率在專注于學習自身尺度信息的同時與其他分辨率進行信息交換，更有效地提升了訓練和速度和推理地精度。

最終利用鄰域卷積、多分辨率交叉互聯和多分辨率點云處理等基礎模塊構建出了可堆疊的深度卷積點云網絡。

研究人員在ShapeNet-Part，ScanNet，PartNet等數據集上對算法進行了驗證，并利用平均IOU和部分IOU等指標評測了算法對于點云目標分割的表現。研究發現新提出的卷積點云處理結構對于更為復雜的數據表現更為優秀。

首先多分辨率結構為模型提供了不同尺度上的信息理解，對于不同分辨率的信息混合可以增加對于復雜數據的感知，更為關鍵的是在模型同時還在效率上實現了提升。在反向傳播階段時間減少了62%。

其次，交叉連接部分可以看作是不同分辨率間的信息互補，在很小的內存開銷和速度延遲下，能在最復雜的PartNet數據集上實現更好的分割精度。

最后，內存高效的卷積利用單層感知機實現點云特征提取移除了中間層的激活，并利用多個相同單元進行堆疊，不僅提升了2.6~3%的IOU提升，更減小了67%的內存占用和41~68%的時間消耗。

最重要的，由于新的網絡模塊對于內存的消耗減少，使得更深的點云處理網絡成為可能，通過殘差結構和交叉互聯保證了深度網絡的穩定性和信息的流動過程。

下圖展示了模型與PointNet++比較的一些結果，可以看到深度卷積點云網絡在分割任務中的的誤差更小：

基于本文提出模塊重新構建的網絡模型在IOU和計算資源利用率上均有大幅度提升：