本文建立了一個用于無人機距離估計的UAVDE數據集,通過UWB傳感器獲取兩個無人機之間的距離。實驗發現傳統的立體測量法在無人機場景中無法應用,原因是無人機位置偏差問題。為了解決這個問題,提出了一種新的位置修正模塊(PCM),可以直接預測圖像位置和無人機實際位置之間的偏移量,并在立體測量中進行計算補償。此外,為了進一步提升在難樣本上的性能,提出了一個動態迭代修正機制,通過多個堆疊的PCM和門控機制來適應地決定是否需要進一步修正。通過廣泛的實驗,作者的方法在UAVDE上取得了38.84%的性能提升,證明了其有效性和優越性。
1 前言
本文介紹了群體無人機的研究和應用的重要性,并說明了在無人機場景中準確估計周圍無人機距離的難點。存在的方法主要依賴于密集視差預測,但在無人機場景中存在數據注釋困難和計算資源有限的問題。為了解決這些問題,本文構建了UAVDE數據集,并提出了一種新的位置校正模塊(PCM)和動態迭代校正(DIC)機制。在UAVDE數據集上的實驗結果表明,所提出的方法在無人機距離估計中具有有效性和優越性。
作者的主要貢獻有:
形式化了無人機距離估計任務并提出了UAVDE數據集。
發現位置偏差問題是損害無人機距離估計性能的主要挑戰。
提出了一種名為位置校正模塊(PCM)和動態迭代校正(DIC)機制的新修正方法,以準確預測圖像和真實位置之間的偏移,并用于立體三角測量的計算補償。
在UAVDE數據集上對所提出的方法進行了實驗評估,結果證明了作者方法的有效性和優越性。
2 相關工作
本文回顧了與作者的工作相關的經典和基于學習的立體距離估計的文獻。經典的立體匹配算法通常包括匹配代價計算、代價聚合、優化和視差細化四個步驟,利用不同的像素表示和后處理技術可以在相對簡單的場景中取得良好的效果。然而,在復雜的無人機場景中,現有方法通常受到遮擋、光照變化和無特征區域等環境干擾的影響。為了應對這些問題,近年來的研究者開始利用深度學習技術來提取像素級特征并進行匹配。學習到的表示在低紋理區域和各種光照下表現出更強的魯棒性。有些方法還試圖在代價聚合過程中結合語義線索和上下文信息,取得了積極的結果。然而,基于學習的方法需要依賴以激光雷達密集注釋的高質量訓練數據,在無人機場景中很難獲得這種關鍵的密集注釋數據。因此,本文提出了一種新的數據集,用于無人機距離估計,該數據集利用UWB傳感器獲取距離,并發現了無人機距離估計中的關鍵問題-位置偏差,并提出了一種新的位置修正方法。
3 UAVDE數據集
本文介紹了一個名為UAV Distance Estimation (UAVDE)的新穎無人機距離估計數據集。數據集使用一架AMOV P600記錄型無人機和一架DJI M200目標無人機進行立體圖像采集。采集了包括建筑背景、森林、運動場和籃球場等典型場景的3895個立體圖像,并劃分為訓練、驗證和評估三個子集。為了適應未見場景并解決模型過擬合問題,訓練子集與其他子集包含的場景不同。數據集的注釋過程中,通過UWB定位技術測量了目標無人機中心位置的距離,并手動標注了無人機邊界框以用于無人機檢測器的訓練。
4 方法
4.1. Position Correction Module - 位置校正模塊
本文主要解決了位置偏移問題,并提出了一種新穎的位置校正模塊 (PCM)。根據分析,作者使用4元組{θ、r、w、h}來預測位置偏移,其中θ和r表示相對角度和到圖像中心的半徑,w和h表示檢測到的無人機邊界框的大小。通過一個簡單的多層感知機 (MLP) 進行預測,得到校正量。在訓練過程中,采用了L2損失函數來優化校正后的距離與真實距離之間的差異。PCM的訓練與無人機檢測器的訓練是相互獨立的,在推斷過程中,PCM只需附加到無人機檢測器的末尾進行位置校正。
4.2. Dynamic Iterative Correction - 動態迭代校正
本文針對無法完全校正的難樣本,提出了一種動態迭代校正方法。通過堆疊多個位置校正模塊(PCM)來連續進行迭代校正。為了確定是否需要進一步校正,本文設計了一個門控機制,根據數據樣本的難度自適應調整校正過程。在訓練過程中,使用絕對相對差異(Abs Rel)作為測量指標來確定難樣本,并使用交叉熵損失函數對門控模塊的輸出進行優化。通過多個PCM和門控模塊的指令,可以在推斷過程中順序執行多個PCM,實現動態迭代校正。
5 實驗
5.1. 數據集
本實驗中,作者構建了UAVDE數據集,該數據集旨在幫助研究無人機場景中的距離估計。數據集包含2815個訓練樣本、541個驗證樣本和539個評估樣本,分辨率為1280×720。每個樣本都有距離注釋以及左右圖像中的無人機邊界框注釋。作者使用驗證子集來進行超參數和模型選擇。為了評估距離估計的性能,作者采用了兩個常用的評估指標:AbsRel和SqRel。其中,AbsRel表示絕對相對誤差,SqRel表示平方相對誤差。這些評估指標可以通過計算距離估計值與真實距離之間的差異來評估算法的準確性。
5.2. 實驗細節
在本實現中,作者選擇了YOLOX-Nano作為無人機檢測器,因為它在性能和計算效率之間達到了良好的平衡。作者先在UAVDE數據集上進行預訓練,然后固定檢測器,用于生成訓練所需的位置矯正機制。為了實現位置矯正機制和門控模塊,作者采用了相同的多層感知器MLP-Mixer。通過利用MLP-Mixer的混合機制,作者可以捕捉生成的位置矯正機制中的內部關系,并預測位置偏移。為了提高計算效率,作者將原始的8層MLP-Mixer變體減少到2層,并避免了過擬合問題。在訓練過程中,采用SGD優化器,并配合梯度裁剪、余弦學習率調度和線性預熱等策略。通過在驗證子集上進行驗證,確定了閾值T和λ的取值,使得在困難樣本上能夠獲得明顯的改進。
5.3. 性能比較
在本實驗中,為了展示作者提出的方法的優越性,作者與兩種經典方法進行了比較。根據比較結果,作者觀察到經典方法在無人機場景中表現不佳,受到位置偏移和環境干擾的影響。相比之下,基線方法展現出更好的性能,但仍然受到位置偏移問題的困擾。注釋的邊界框在性能上只有輕微的改善,無法解決位置偏移問題。與其他方法相比,作者的方法能夠通過補償位置偏移帶來顯著的性能提升,達到38.84%的改進效果,這證明了作者方法的優越性和有效性。
5.4. 消融實驗
本文通過進行消融實驗來驗證作者提出的方法的有效性。實驗結果表明,通過引入PCM組件可以顯著改善距離估計精度,特別是解決位置偏差問題。同時,DIC組件在對困難樣本進行多次修正后,可以進一步提升性能。對于修正階段數量的選擇,進行兩次修正可以帶來明顯的改進,進一步的修正效果不明顯。閾值T的選擇不同范圍對方法的改進均有一定影響,表明方法對T值的選擇具有魯棒性。此外,通過資源消耗分析,作者發現我們提出的PCM和門控模塊在計算成本上幾乎可以忽略不計,有助于輕量級設計。針對困難樣本,作者提出的DIC機制可以進一步改善估計性能,特別是對于距離較遠的樣本。最后,通過可視化分析,作者展示了我們的方法在易樣本和難樣本上的修正效果,證明了其有效性。
6 總結
在本文中,作者專注于無人機距離估計問題,這在實際中非常重要但卻很少被研究。為了幫助研究,作者建立了一個新穎的無人機距離估計數據集,令人驚訝的是作者發現常用的立體三角化范式在無人機場景中不起作用。主要原因是圖像畸變現象和立體三角化中的內部幾何模糊導致的位置偏移問題,在無人機場景中很常見。為了解決這個問題,作者提出了一個新穎的位置校正模塊(PCM),來明確預測圖像和目標無人機實際位置之間的偏移量。此外,作者設計了一個動態迭代校正(DIC)機制,進一步改善對難樣本的校正效果。大量實驗證實了作者方法的有效性和優越性。
責任編輯:彭菁
-
傳感器
+關注
關注
2550文章
51035瀏覽量
753077 -
PCM
+關注
關注
1文章
195瀏覽量
53203 -
無人機
+關注
關注
229文章
10420瀏覽量
180134 -
數據集
+關注
關注
4文章
1208瀏覽量
24689
原文標題:IEEE 2023 I 立體三角測量為什么在無人機距離估計中不起作用?
文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論