最近幾年,放在攝像頭上的深度學習研究,發展很蓬勃。相比之下,激光雷達(LiDAR) 身上的學術進展并不太多。
最近幾年,放在攝像頭上的深度學習研究,發展很蓬勃。相比之下,激光雷達(LiDAR) 身上的學術進展并不太多。可是,激光雷達采集的數據,有很多優點。比如空間信息豐富,比如光照不足也不影響感知,等等。
當然,也有缺點。激光雷達數據,缺乏RGB圖像的原始分辨率、以及高效的陣列結構(Array Structure) 。并且,3D點云很難在神經網絡里編碼。
如何“淘汰”攝像頭?
激光雷達廠商Ouster,是領域內獨角獸Quanergy的前聯合創始人Angus Pacala,出走之后建立的新公司。
Ouster聯合創始人兼CEO
去年11月,公司推出了OS-1激光雷達,想要從這里開始,打破激光雷達與攝像頭的界限。中心思想是,只要激光雷達的數據足夠好,就算專為處理RGB圖像而生的深度學習算法,也可以拿來用。Pacala說,現在OS-1可以實時輸出固定分辨率的深度圖像(Depth Image) ,信號圖像(Signal Image) 以及環境圖像(Ambient Image)。這些任務都不需要攝像頭的參與。
高速相對運動中,容易產生果凍效應
數據層與數據層之間,是空間相關的。拍攝高速運動的物體,也不容易產生果凍效應(Shutter Effects) 。另外,OS-1的光圈,比大多數單反相機的光圈要大,適合光照不足的場景。團隊還開發了光敏度很低的光子計數ASIC,在低光照的情況下采集環境圖像。
自上而下:環境、強度、范圍圖像,以及點云
設備可以在近紅外波段捕捉信號與環境信息,獲得的數據,跟普通可見光圖像差不太多。這樣,分析RGB圖像用的算法,也可以處理激光雷達的數據。
小伙伴們還可以用Ouster (剛剛進行了固件升級) 的開源驅動,把數據轉換成360度的全景動態:
數據跑一跑
就像剛才說的,只要數據夠好,就可以用那些為攝像頭開發的算法,來做深度學習。把深度、強度和環境信息,編碼成向量。就像RGB圖像可以編碼成紅綠藍通道一樣。所以,OS-1的數據質量究竟怎么樣?
數據跑得很開心
Pacala說,他們用過的算法,和激光雷達的合作都很愉快。
舉個栗子,他們訓練了一個像素語義分類器,來分辨可以行駛的道路,其他汽車,行人,以及自行車。
這里是舊金山,在英偉達GTX 1060上運行分類器,實時生成了這樣的**語義分割**效果:
語義分割:路是路車是車
這是團隊做的第一個實現。
數據是逐像素的數據,所以能夠無縫將2D翻譯成3D幀,來做邊框估計這類實時處理。
除此之外,團隊還把深度、信號和周圍環境分開,單獨放進神經網絡里去跑。一個栗子,用了SuperPoint項目里預訓練的神經網絡,來跑強度和深度圖像。
網絡是在RGB圖像上訓練的,從來沒接觸過激光雷達/深度數據。初次見面,卻一見如故:
不過,融合了攝像頭屬性的激光雷達,搭載到自動駕駛車上會有怎樣的表現,還是未知。
-
激光雷達
+關注
關注
968文章
3968瀏覽量
189830 -
車載攝像頭
+關注
關注
5文章
137瀏覽量
28068 -
深度學習
+關注
關注
73文章
5500瀏覽量
121113
原文標題:從此,激光雷達和攝像頭,就是一個東西了?
文章出處:【微信號:IV_Technology,微信公眾號:智車科技】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論