摘要

自動駕駛汽車的魯棒環境感知是一項巨大的挑戰，這使得多傳感器配置與例如相機、激光雷達和雷達至關重要。在理解傳感器數據的過程中，3D 語義分割起著重要的作用。因此，本文提出了一種基于金字塔的激光雷達和攝像頭深度融合網絡，以改進交通場景下的 3D 語義分割。單個傳感器主干提取相機圖像和激光雷達點云的特征圖。一種新穎的 Pyramid Fusion Backbone 融合了這些不同尺度的特征圖，并將多模態特征組合在一個特征金字塔中，以計算有價值的多模態、多尺度特征。Pyramid Fusion Head 聚合這些金字塔特征，并結合傳感器主干的特征在后期融合步驟中進一步細化。該方法在兩個具有挑戰性的戶外數據集上進行了評估，并研究了不同的融合策略和設置。論文基于range view的lidar方法已經超過迄今為止提出的所有融合策略和結構。 論文的主要貢獻如下：

模塊化多尺度深度融合架構，由傳感器主干和新穎的金字塔融合網絡組成；

金字塔融合主干用于激光雷達和圖像在range view空間中的多尺度特征融合；

金字塔融合頭用于聚合和細化多模態、多尺度的金字塔特征。

相關工作

2D語義分割

全卷積網絡（FCN）開創了2D語義分割的新局面。全卷積網絡專為端到端像素級預測而設計，因為它們用卷積替換全連接層。由于最初的 FCN 難以捕捉場景的全局上下文信息 [7]，因此出現了新的結構 [7]-[9] — 基于金字塔特征進行多尺度上下文聚合，在收集全局上下文的同時保留精細細節。PSPNet [7] 應用了一個金字塔池化模塊（PPM），其結合最后一個特征圖的不同尺度。因此，網絡能夠捕獲場景的上下文以及精細的細節。HRNetV2 [9] 等其他方法利用主干中已經存在的金字塔特征進行特征提取。對于全景分割的相關任務，EfficientPS [8] 通過應用雙向特征金字塔網絡 (FPN) [10]，自底向上和自頂向下結合各種尺度的特征，之后使用語義頭，包含大規模特征提取器 (LSFE)、密集預測單元 (DPC) [11] 和不匹配校正模塊 (MC)，以捕獲用于語義分割的大尺度和小尺度特征。

3D語義分割

與將 CNN 應用于規則網格排列的圖像數據相比，它們不能直接應用于 3D 點云。目前得到廣泛應用的已經有幾種表示形式和專門的體系結構。 直接處理非結構化原始數據的先驅方法是 PointNet [3]，它應用共享的多層感知器來提取每個輸入點云的特征。由于必須對任何輸入排列保持不變，因此使用對稱操作來聚合特征。進一步PointNet++ [4] 通過點云的遞歸分層組合來利用特征之間的空間關系。 不處理原始點云而將其轉換為離散空間的方法，例如 2D 或 3D 柵格。一種基于球面投影的新穎的2D柵格表示，即range view。SqueezeSeg [12] 是最早利用這種表示進行道路目標分割的方法之一。最新的方法 SqueezeSegV3 [13] 使用空間自適應卷積來消除range view的變化特征分布。RangeNet++ [1] 提出了一種有效的基于 kNN 的后處理步驟，以克服球面投影引起的一些缺點。與以前的方法相比，SalsaNext [2] 改進了網絡結構的各個方面，例如用于解碼的pixel-shuffle和 Lovasz-Softmax-Loss [14] 的使用。[15]中使用了卷積的另一種適應，這種方法應用輕量級harmonic dense卷積來實時處理range view，并取得了不錯的結果。此外，出現了利用多種表示的混合方法 [16]、[17]。

3D 多傳感器融合

多傳感器融合在計算機視覺的不同任務中受到廣泛關注。相機和激光雷達功能的結合主要用于 3D 目標檢測。語義分割等密集預測所需的特征的密集融合只有少數工作[18]-[21]進行了研究。 在 [18] 中，將基于密集和roi的融合應用于多個任務，包括 3D 目標檢測。另一種 3D 目標檢測方法 [19] 使用連續卷積來結合密集相機和激光雷達的BEV特征。融合層將多尺度圖像特征與網絡中不同尺度的激光雷達特征圖融合在一起。 LaserNet++ [20] 實現目標檢測和語義分割兩個任務。其首先通過殘差網絡處理相機圖像。使用投影映射，將相機特征轉換為range view。之后，concat的特征圖被輸入到 LaserNet [22]。Fusion3DSeg [21] 對相機和激光雷達特征使用迭代融合策略。在 Fusion3DSeg 中，相機和range view特征按照迭代深度聚合策略進行融合，以迭代融合多尺度特征。最終特征進一步與來自 3D 分支的基于點云的特征相結合，而不是常用的基于 kNN 的后處理 [1]特征。 與 [18] 相比，[19] 所提出的方法是模塊化的，并且各個傳感器主干彼此獨立，因為沒有圖像特征被送到激光雷達主干。此外，[19]提出了一種新穎的雙向金字塔融合策略。而 LaserNet++ [22] 只融合一次，不使用多尺度融合。Fusion3DSeg [21] 是最相關的工作，使用了迭代融合策略，這與本文的并行自底向上和自頂向下的金字塔策略有很大不同。

方法

論文提出的深度傳感器融合方法PyFu由四個主要部分組成。包含兩個主干，分別提取lidar和圖像特征，之后是Pyramid Fusion Backbone，以自頂向下和自底向上的方式在不同尺度上融合兩種模式的編碼器特征。進一步，Pyramid Fusion Head 結合了這些特征，并在后期融合步驟中將它們與兩個傳感器主干特征結合起來得到最終輸出。整體結構如下圖a所示。模塊化的方式訓練策略的選擇允許論文的方法處理相機不可用、更換主干或傳感器而不影響另一個，并聯合預測相機和激光雷達語義分割任務。因此，兩個主干都對其傳感器數據進行了預訓練，并在整個融合架構的訓練過程中凍結。所以論文的算法可以預測單個傳感器的語義結果，作為無相機或額外相機分割的備選。

Lidar主干

激光雷達主干根據 [21]、[23] 的球面投影計算輸入點云的特征，這些特征在range view中表示。其受 EfficientPS [8] 的啟發，并適應了range view。與相機圖像相比，range images的分辨率較小，尤其是垂直方向，因此前兩個stage的下采樣步驟僅在水平方向執行。此外，論文使用 EfficientNet-B1 [24] 作為編碼器并刪除最后三個stage。因此，雙向 FPN 只有三個stage而不是四個stage，并且輸出通道減少到 128 個，因為 EfficientNet-B1 使用的特征通道比 EfficientNet-B5 少。如上圖 a 所示，第三、第四和第六stage的特征圖輸入至 Pyramid Fusion Backbone中，用于與相機特征融合。由于移除了 FPN，相應的 DPC 模塊 [8] 也從語義頭中移除。頭部為 Pyramid Fusion Head 的后期融合提供其輸出特征。

Camera主干

論文研究的第一個主干還是 EfficientPS，但使用原始的 Efficient-B5 作為編碼器。與激光雷達主干相比，EfficientPS 可以直接作為相機主干。同樣，第三、第四和第六stage的特征圖輸入至 Pyramid Fusion Backbone。對于 Pyramid Fusion Head 中的后融合步驟，使用語義頭的輸出。 此外，選擇基于ResNet101 [25] 的 PSPNet 作為另一個主干。ResNet101 的 conv3_4、conv4_23 和 conv5_3 層的三個特征圖作為 Pyramid Fusion Backbone 的輸入提供。PPM 的輸出作為后期融合的輸入。

金字塔融合網絡

融合算法的核心模塊是 Pyramid Fusion Network，其融合了激光雷達和相機的特征。融合模塊將特征轉換至同一空間下，然后對兩種模態進行融合。Pyramid Fusion Backbone 在不同尺度下進行融合，并且以自頂向下和自底向上的方式聚合和組合得到的融合特征，如上圖 b 所示。Pyramid Fusion Head 在后期融合步驟中對這些多模態、多尺度特征進行組合和進一步細化。

特征轉換

為了實現激光雷達和攝像頭的融合，特征需要在同一空間下。因此，需要進行圖像到range view空間的特征投影。此外，投影必須適合不同尺度的特征圖。為了解決這個任務，論文使用了Fusion3DSeg [21]、[26] 的可擴展投影。總體思路是根據3D點云創建從圖像到range view的坐標映射。每個點云都可以投影到range view以及圖像中，從而在圖像和range view坐標之間創建所需的鏈接。

融合模塊

特征轉換和融合由融合模塊執行，如下圖。首先，兩個傳感器的特征圖都被裁剪至相同的視野，因為融合只能在這個區域進行。圖像特征通過上述特征轉換在空間上轉換到range view空間上，然后學習特征投影以對齊激光雷達和圖像的特征空間，由一個反向殘差塊 (IRB) [8] 實現。lidar特征使用雙線性插值對齊圖像特征的大小，以方便進行融合。然后將對齊后的兩個特征concat，后面使用一個或多個用于學習融合的殘差模塊。該模塊旨在利用不同類型和數量的block來實現不同的融合策略。論文研究了一種基于Bottleneck Residual Block (BRB) [27] 的策略，以及使用 IRB （Inverted Residual Block ）的反向殘差融合策略。

金字塔融合主干

所提出的融合模塊被合并到雙向 FPN 中以融合不同尺度的多傳感器特征，然后是自底向上和自頂向下的聚合以計算多模態、多尺度特征。從激光雷達主干中，三種不同尺度的特征輸入至對應的融合模塊。在那里，特征圖被上采樣到目標輸出分辨率，并與來自圖像主干的特征圖融合，這些特征圖也來自三個不同的尺度。然后將融合得到的三個特征圖聚合在自底向上和自頂向下的特征金字塔中，以計算多尺度特征。這樣，不同尺度的多模態特征的進行融合，一方面是精細的細節，包含越來越多的上下文，另一方面是上下文，添加的細節越來越多。最終組合兩個金字塔輸出，并將生成的多模態、多尺度金字塔特征傳遞給 Pyramid Fusion Head。

金字塔融合head

head的第一步類似于激光雷達主干的語義head，其結合了來自雙向 FPN 的三個特征圖。進一步，論文使用圖像主干和lidar主干的最后一層特征，以改進金字塔融合網絡的特征。最終的特征圖接一個 1x1 卷積和softmax，得到分割結果。論文也使用了基于 kNN 的后處理 [1]步驟。

實驗結果

本文在SemanticKITTI [28] and PandaSet [29]兩個數據集上展開實驗。

金字塔融合網絡

論文首先在SemanticKITTI上展開實驗，結果如下表所示。總體而言，PyFu 的性能分別優于兩個基線 +3.9% 和 +2.7%，推理時間為 48 毫秒。

下一步，研究融合模塊內部的不同融合策略，結果如下表所示。首先，評估不同策略對金字塔主干 PFB 的影響。使用 BRB 后跟Residual Basic Block (BB) [27] 的bottleneck fusion策略優于IRB 的反向策略。這也適用于整個 Pyramid Fusion Network。

論文進一步在PandaSet上展開實驗，相比于基線實現了+8.8% 的顯著改進。

可視化結果如下：

定量結果

進一步，論文與SOTA的基于range view的方法進行比較，以評估多傳感器融合的優勢，SemanticKITTI上的結果如下表所示。總體上優于所有激光雷達方法。值得一提的是，增益的主要來自融合，而不是基線。這再次強調了圖像特征對改進 3D 語義分割的價值。論文進一步比較了與其他融合網絡的性能。金字塔融合策略優于所有其他融合方法，PyFu 和 Fusion3DSeg [21] 的性能優勢表明多尺度傳感器融合的巨大潛力。

最后，論文在PandaSet數據集上對比了集中方法，結果如下表所示：

審核編輯：郭婷