論文題目：SpinNet: Learning a General Surface Descriptor for 3D Point Cloud Registration

作者：Sheng Ao, Qingyong Hu, Bo Yang, Andrew Markham, Yulan Guo

和二維圖像匹配類似，三維點云匹配中，實現能夠在兩個掃描幀之間共享的魯棒局部特征也是一直以來十分棘手的問題。這項任務的挑戰性在于：1）不同的掃描幀通常具有不同的視角，2）原始3D掃描通常是不完整的、具有較多噪聲且點密度明顯不同的。針對這項任務，已經有許多傳統的方法被提出來，例如經典的SHOT，ISS等。但是盡管它們在高質量的3D點云上取得了令人鼓舞的結果，但它們不能推廣到高噪聲和大規模實際3D點云。最近，基于深度神經網絡的點云匹配方法取得了出色的成果。然而，它們有兩個主要限制。第一，其中許多方法，如D3Feat和FCGF，依賴于基于核的點卷積或子流形稀疏卷積來提取每個點的特征，導致學得的點局部特征對旋轉敏感。因此，當應用于具有強烈旋轉變化的新型3D掃描幀時，它們的性能會急劇下降。第二，雖然最近一些方法引入了旋轉不變的點描述符，但它們只是將手工特征或外部局部參考坐標系集成到神經網絡中，從根本上限制了網絡的表示能力。這篇論文則是致力實現用于三維點云匹配的信息豐富的旋轉不變特征。該網絡明顯滿足三個重要特性：1）它具有旋轉不變性，能從不同旋轉角度的3D掃描中學習一致的局部特征；2）它描述性強。本質上，它保留了突出的局部特征，即使在噪聲、表面不完整或點密度不同時也能實現；3）它不包括任何手工設計的特征。這個工作將極大的促進三維點云的相關研究，提高對旋轉變換的魯棒性。

1 摘要

從點云配準和重建等下游任務來看，提取魯棒且普適的3D局部特征至關重要。現有的基于學習的局部描述符要么對旋轉變換敏感，要么依賴于經典手工制作的特征，既不具有普適性也不具有代表性。本文引入了一種新的、概念上簡單的神經結構，稱為SpinNet，以提取旋轉不變但足夠信息豐富從而實現精確配準的局部特征。首先引入了一個空間點變形器將輸入的局部表面映射到一個精心設計的圓柱空間中，從而實現SO(2)等變表示的端到端優化。然后利用強大的基于點和3D圓柱卷積神經網絡層的神經特征提取器來實現緊湊且具有代表性的描述符以用于匹配。在室內外數據集上進行的大量實驗證明SpinNet顯著優于現有的最新技術。更為重要的是，在不同傳感器模態的未見場景中具有最佳的泛化能力。

貢獻

我們提出了一個新的神經特征學習器用于3D表面匹配。它具有旋轉不變性、代表性和在看不見的情況下具有卓越的泛化能力。

通過將轉換后的3D表面規則化成圓柱體，我們引入了強大的3D圓柱卷積來學習豐富和通用的特征。

我們進行了大量實驗和消融研究，證明了我們方法的顯著泛化能力。

2 方法

2.1 問題陳述

給定兩個部分重疊的點云和。點云配準的任務是找到最優剛性變換，以及點對應關系來對齊成對的片段，最終恢復完整的場景。點對應關系需要滿足：

其中表示旋轉矩陣，表示平移向量， 是殘差誤差。在實踐中，由于這個問題的非凸性，同時找到對應關系和估計變換是不可行的。但是，如果可以確定具有一對一對應關系的點子集和，則配準問題可以簡化為以下L2距離的最小化問題：

其中是成功匹配到的對應關系數，是一個置換矩陣，其元素滿足如果中的第個點對應于中的第個點，則，否則為0。

我們提出了一種新的表面特征學習器SpinNet，它是一個映射函數，其中如果和 確實是正確匹配的，則等于任意剛性變換（如旋轉和平移）下的。特別地，我們的特征學習器主要由空間點形變器和神經元特征提取器組成。

2.2 空間點形變器

這個模塊旨在將輸入的3D表面空間轉換為柱形體，在克服旋轉變化的同時不丟失局部關鍵信息。如圖2所示，它包括四個組成部分，如下所述。

基于參考坐標系進行對齊

給定局部表面中的特定點，我們首先從其半徑為的鄰域點集中估計一個朝向觀察方向的參考軸。然后使用旋轉矩陣將與Z軸對齊。與可能存在歧義和不穩定的外部局部參考坐標系相比，我們估計出來的在旋轉變化方面更加魯棒和穩定。隨后，將鄰域點集轉換為。為了實現平移不變性，我們進一步將標準化到中心點，即。因此，獲得的局部塊已經與z軸對齊，剩下的旋轉自由度完全留給XY平面。

球形體素化

這是本文的核心，在設計網絡時需要引入一些幾何知識先驗實現一些歸一化，來加速訓練、實現泛化：

為了進一步消除XY平面上的旋轉不變性，我們利用旋轉魯棒的球形表示。特別地，將塊視為球體，并沿徑向距離，仰角和方位角均勻地將其分成個體素。每個體素的中心點被表示為，其中, , 。然后，我們明確確定了每個體素中心點的一組鄰域點。具體來說，我們使用半徑查詢找到以固定半徑為基礎的鄰域點，其中。最后，我們隨機采樣并保留每個體素的個點，旨在實現并行計算的高效性。這個球形體素化步驟對于接下來的空間點變換至關重要。

歡迎關注微信公眾號「3D視覺工坊」，加群/文章投稿/課程主講，請加微信：dddvisiona，添加時請備注：加群/投稿/主講申請

在XY平面上的變換

為了使每個球形體素在XY平面上具有旋轉不變性，我們將每個體素主動繞Z軸旋轉，將其中心與YZ平面對齊，其中旋轉矩陣定義如下：

這種操作消除了每個體素在XY平面上的一個旋轉自由度，而不會丟失每個體素的任何局部幾何信息。值得注意的是，現有的方法通常使用手工特征來實現旋轉不變性，導致豐富的局部信息被丟失。獨特的是，我們的簡單策略可以保留這些信息。

圓柱體建模

一旦每個體素的局部幾何被轉換，進一步保留跨多個體素的較大空間結構就變得至關重要。這要求將所有體素的相對位置在整個框架中表示出來。為此，我們將球形體素重新組合成一個圓柱體。這有利于所提出的三維圓柱卷積網絡，它保證了輸入局部表面的等變性，并保留了多個體素的拓撲模式。具體來說，給定經過轉換的球形體素，每個都有一組相鄰點，我們將它們邏輯上投影到一個圓柱體積，表示為，如圖2所示。

總之，對于給定的輸入表面塊，我們的空間點變換器將其Z軸明確地與參考軸對齊，并主動地對XY平面上的球形體素模式進行轉換，并通過圓柱體建模進一步保留了拓撲表面結構。顯然，該模塊使所有表面幾何保持完整，以供后續的神經特征提取器學習。

2.3 神經特征提取器

此模塊旨在使用強大的神經網絡層從每個圓柱體素內的轉換點中學習特征。如圖3所示，它包含兩個組件，具體討論如下。

基于點的網絡層

對于每個圓柱體素內的點，我們使用共享的MLP（多層感知器）和最大池化函數學習每個體素的初始特征。形式上，基于點的網絡層定義為：

其中是D維的學習特征，請注意，MLP權重在所有球形體素之間共享。最終，我們得到一組3D圓柱特征圖。

三維圓柱卷積層

為了進一步學習多個體素之間的空間結構，我們提出了一種高效的3D圓柱卷積網絡（3DCCN）。特別是，給定位于第層中第個圓柱特征圖上位置的一個體素，我們的3DCCN定義如下：

其中是徑向維度上的卷積核大小，和分別是卷積核的高度和寬度，是可學習的參數。

與現有的卷積操作非常不同，我們提出的3DCCN在以下兩個方面是新穎的。第一，由于圓柱特征圖在整個圓柱體上是360度連續的，因此我們的3DCCN被設計為繞這些特征圖進行卷積操作，即通過周期性邊界從?180度到180度。因此，我們的3DCCN中不需要顯式填充，但是在特征圖邊界處的3D CNN是必需的。第二， 與現有的3D流形稀疏卷積或核心點卷積相比，圍繞360度體積的連續卷積使得所獲取的特征圖具有等變性，從而實現了最終的旋轉不變性。在堆疊多個這些3DCCN層并進行最大池化之后，原始的圓柱特征圖被壓縮成了一個緊湊且具有代表性的特征向量。

2.3 端到端應用細節

空間點形變器直接與神經元特征提取器相連，隨后采用現有的對比損失進行端到端優化。廣泛適用的批內最難樣本抽樣也被即時采用，以最大化最近的正負樣本塊之間的距離。我們基于PyTorch框架實現了SpinNet。使用默認參數的Adam優化器。初始學習率設置為0.001，并且每5個epoch衰減率為0.5。我們訓練網絡20個epoch，然后使用在驗證集上表現最佳的模型進行測試。為了公平比較，我們在所有實驗中保持相同的設置。所有實驗在Intel Xeon CPU @2.30GHZ和NVIDIA RTX2080Ti GPU的平臺上進行。

審核編輯 ：李倩