端到端自動駕駛是自動駕駛技術的重要發展方向之一。而要實現端到端自動駕駛,離不開高精度3D信息輸入,因此如何實現高精度的3D感知尤為關鍵。
從3D感知的實現技術路徑來看,主要包括稠密算法和稀疏算法兩個范疇。
在稠密算法范疇,主要通過點云轉換、多視圖立體視覺等方法,來獲取場景中每一個點的深度信息,從而更準確地描述場景中的物體。其中最具代表性的就是近兩年非常火熱的BEV感知,其多傳感器數據從圖像空間到BEV空間的轉換過程,就是典型的稠密特征到稠密特征的重新排列組合過程。目前,BEV已在業界得到廣泛關注以及應用部署。
稠密算法也面臨著一些挑戰,比如巨大的數據量,需要高效的數據處理和存儲方法來提高計算效率,減少內存占用。此外,考慮到多傳感器數據結構的復雜性,需要高效的計算方法和計算平臺來提升處理速度,并滿足實時性要求。而在大多數實際應用場景中,自動駕駛系統需要計算的目標在空間中通常呈稀疏狀態分布,這也就意味著在稠密算法范疇中,大量的計算是被浪費了的。
稀疏感知算法通過減少Query數量以及降低特征交互量來加快計算速度并降低存儲需求,大大提高感知模型的計算效率和系統性能。基于稀疏算法的感知方案在2D到3D的轉換效率和長距離感知方面具有一定優勢,也是目前業界正在積極探索的方向。
近期,地平線發表了關于稀疏感知方案的系列工作:Sparse4D v1 & v2,從Query構建方式、特征采樣方式、特征融合方式、時序融合方式等多個方面提升模型感知效果。Sparse4D在nuScenes檢測任務上達到了SOTA的效果,超過了VideoBEV、SOLOFusion和StreamPETR等算法的指標。
為了讓大家進一步了解Sparse4D,10月18日19點,地平線聯合智猩猩策劃推出新一期地平線「你好,開發者」自動駕駛技術專場,主題為《面向端到端自動駕駛的稀疏感知通用架構探索》,由地平線感知算法工程師林天威主講。
林天威首先會介紹3D感知的研究背景和發展現狀,并對稀疏通用感知架構進行解析。之后,林天威將重點介紹和講解長時序稀疏化3D目標檢測算法Sparse4D v1 & v2相關工作。最后他會分享稀疏感知新范式的未來探索方向。
審核編輯:彭菁
-
存儲
+關注
關注
13文章
4296瀏覽量
85799 -
自動駕駛
+關注
關注
784文章
13784瀏覽量
166388 -
3D感知
+關注
關注
0文章
19瀏覽量
3724
原文標題:面向端到端自動駕駛的稀疏感知通用架構探索 | 地平線「你好,開發者」直播預告
文章出處:【微信號:horizonrobotics,微信公眾號:地平線HorizonRobotics】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論