本文介紹了一種基于激光雷達數據的激光網絡自動駕駛三維目標檢測方法——LaserNet。高效的處理結果來自于在傳感器的自然距離視圖中處理激光雷達數據。在激光雷達視場范圍內的操作有許多挑戰，不僅包括遮擋和尺度變化，還有基于傳感器如何捕獲數據來提供全流程信息。

本文介紹的方法是使用一個全卷積網絡來預測每個點在三維物體上的多模態分布，然后有效地融合這些多模態分布來生成對每個對象的預測。實驗表明，把每個檢測建模看作一個分布，能獲得更好的整體檢測性能。基準測試結果表明，相比其他的檢測方法，本方法的運行時間更少；在訓練大量數據來克服視場范圍目標檢測問題上，本方法獲得最佳性能。

LaserNet通過以下幾個步驟實現三維檢測：

使用傳感器的固有范圍視場來構建一個密集的輸入圖像；

圖像通過全卷積網絡生成一組預測；

對于圖像中的每個激光雷達點，預測一個類概率，并在俯視圖中對邊界框架進行概率分布回歸；

每個激光雷達點分布通過均值漂移聚類進行組合，以降低單個預測中的噪聲；

檢測器進行端到端訓練，在邊界框架上定義損失；

用一種新的自適應非最大抑制（NMS）算法來消除重疊的邊框分布。

上圖為深層聚合網絡架構。列表示不同的分辨率級別，行表示聚合階段。

上圖為特征提取模塊（左）和特征聚合模塊（右）。虛線表示對特征圖進行了卷積。

上圖為自適應NMS。在兩輛車并排放置的情況下，左邊的虛線描述了產生的一組可能的預測。為了確定邊界框是否封裝了唯一的對象，使用預測的方差（如中間所示）來估計最壞情況下的重疊（如右圖所示）。在本例中，由于實際重疊小于估計的最壞情況重疊，因此將保留這兩個邊界框。

上圖為在訓練集和驗證集上的邊界框上的預測分布的校準的圖。結果表明，該模型不能學習KITTI上的概率分布，而能夠學習較大的ATG4D上的分布。

【實驗結果】

上表顯示了與其他最先進的方法相比，LaserNet在驗證集上的結果。像KITTI基準一樣，我們計算了汽車0．7 IoU和自行車及行人0：5 IoU的平均精度（AP）。在這個數據集上，LaserNet在0－70米范圍內表現優于現有的最先進的方法。此外，LaserNet在所有距離上都優于LiDAR－only方法，只有在附加圖像數據提供最大價值的長距離上，車輛和自行車上的LiDAR－RGB方法優于LaserNet。

對ATG4D數據集進行消融研究，結果如上表所示。

預測概率分布。預測概率分布最大的改進是預測邊界框架的分布。當僅預測平均邊界框時，公式（6）為簡單平均，公式（9）為框角損失。此外，邊界框的得分在本例中是類概率。實驗結果表明，性能上的損失是由于概率與邊界框架的準確性沒有很好地相關性導致的。

圖像形成：Velodyne 64E激光雷達中的激光器并不是均勻間隔的。通過使用激光id將點映射到行，并在傳感器捕獲數據時直接處理數據，可以獲得性能上的提高。

均值漂移聚類：每個點獨立地預測邊界框的分布，通過均值漂移聚類將獨立的預測組合起來實現降噪。

非極大值抑制：當激光雷達的點稀疏時，有多個邊界框的配置可以解釋觀測到的數據。通過預測各點的多模態分布，進一步提高了該方法的查全率。在生成多模態分布時，使用具有嚴格閾值的NMS是不合適的。或者，我們可以使用軟NMS來重新評估置信度，但是這打破了對置信度的概率解釋。通過自適應NMS算法，保持了概率解釋，并獲得了更好的性能。

對于自動駕駛而言，運行時性能同樣重要。上表比較了LaserNet（在NVIDIA 1080Ti GPU上測量）和KITTI上現有方法的運行時的性能。Forward Pass是指運行網絡所花費的時間，除Forward Pass外，總時間還包括預處理和后處理。由于在一個小的密集的范圍視場內處理，LaserNet比目前最先進的方法快兩倍。

使用訓練集中的5，985個掃描點訓練網絡，并保留其余的掃描以進行驗證。使用與之前相同的學習時間表對網絡進行5萬次迭代訓練，并在單個GPU上使用12個批處理。為了避免在這個小的訓練集上過度擬合，采用數據增強手段隨機翻轉范圍圖像，并在水平維度上隨機像素移動。在這樣一個小的數據集中，學習邊界框上的概率分布，特別是多模態分布是非常困難的。因此，訓練網絡只檢測車輛并預測邊界框上的單峰概率分布。如上表所示，我們的方法在這個小數據集上的性能比當前最先進的鳥瞰圖檢測器差。