自特斯拉在2021 AI Day上提出BEV障礙物感知的思路后,BEV逐漸成為業(yè)界爭(zhēng)相落地的熱點(diǎn)。
但BEV也存在一些待解決問(wèn)題,比如:
(1) 僅能對(duì)真實(shí)世界中類別限定的目標(biāo)進(jìn)行的感知(如圖1.b所示),如果想得到可行駛區(qū)域、環(huán)島、人行橫道、上方障礙物(如各類紅綠燈或攝像頭懸臂、地庫(kù)限高架等)、臨時(shí)廣告牌等,需要額外的感知模塊去進(jìn)行處理;
(2) 障礙物僅能用3D框描述,具體的形狀輪廓也丟失了;
(3) 如果行駛環(huán)境中出現(xiàn)沒(méi)見(jiàn)過(guò)的物體(如圖1.a中右下角的紅色移動(dòng)廣告牌或者紅綠燈懸臂),那障礙物檢測(cè)也會(huì)失效,只能通過(guò)多模態(tài)開(kāi)放場(chǎng)景檢測(cè)技術(shù)來(lái)彌補(bǔ)這類問(wèn)題,但是這在目前算力有限的自動(dòng)駕駛芯片上是無(wú)法實(shí)現(xiàn)的。
因此在2022的AI day上特斯拉提出占據(jù)預(yù)測(cè)的新思路,成功解決了上述問(wèn)題。占據(jù)預(yù)測(cè)任務(wù)就是將以自車為中心的三維空間劃分成一個(gè)個(gè)小的體素柵格,然后預(yù)測(cè)每個(gè)柵格的語(yǔ)義類別。具體效果如圖1.c所示,可以看出占據(jù)預(yù)測(cè)可以對(duì)整個(gè)復(fù)雜世界的所有物體進(jìn)行有效感知,從而有效的解決上述障礙物預(yù)測(cè)的問(wèn)題。
但是現(xiàn)有公開(kāi)的占據(jù)預(yù)測(cè)方法都需要構(gòu)建三維體素級(jí)的特征表示,這不可避免地引入大量計(jì)算資源消耗,此外還需要硬件平臺(tái)對(duì)3D(可變形)卷積或者transformer模塊有較好的支持,這些都阻礙了業(yè)界將占用預(yù)測(cè)在實(shí)車上的部署落地。
圖 1. 障礙物檢測(cè)與占據(jù)預(yù)測(cè)效果對(duì)比。受訓(xùn)練數(shù)據(jù)約束,預(yù)測(cè)范圍為前后左右40m,上下-1m到5.4m,柵格粒度0.4m。
與使模型變得更大、更復(fù)雜從而取得優(yōu)異性能的趨勢(shì)相反,理想的框架應(yīng)該對(duì)不同的端上芯片部署友好,并且保持高精度。本著輕量易部署且性能無(wú)損甚至還提升的初衷下,大連理工、后摩智能以及阿德萊德聯(lián)合提出了一種簡(jiǎn)單輕量的占據(jù)插件,稱之為FlashOCC。
通過(guò)在主流占據(jù)方法(BEVDetOcc、FBOcc、UniOcc等)上的驗(yàn)證,證明了FlashOCC在部署顯存需求、推理時(shí)間、訓(xùn)練耗時(shí)以及模型精度上都取得了最優(yōu)的權(quán)衡,并且對(duì)各類端上芯片部署友好。
論文地址:https://arxiv.org/abs/2311.12058
代碼鏈接:https://github.com/Yzichen/FlashOCC
內(nèi)容簡(jiǎn)介
方法架構(gòu):
圖 2插件概述以及綜合性能比對(duì)
FlashOcc以極優(yōu)的精度完成了實(shí)時(shí)環(huán)視3D占用預(yù)測(cè),代表了該領(lǐng)域的開(kāi)創(chuàng)性貢獻(xiàn)。此外,它還展示了跨不同車載平臺(tái)部署的優(yōu)越性,因?yàn)?strong>不需要昂貴的體素級(jí)特征處理,從而避免了transformer或 3D(可變形)卷積算子。FlashOcc通過(guò)2類替換對(duì)現(xiàn)有基于體素級(jí)3D特征的占據(jù)任務(wù)進(jìn)行提升:
(1) 用2D卷積替換3D卷積;
(2) 用通道到高度變換替換從3D卷積得到的占用預(yù)測(cè),具體如圖1.(a)所示。圖1.(b)則通過(guò)圖表詳細(xì)說(shuō)明了模型精度與速度、推理內(nèi)存消耗以及訓(xùn)練時(shí)間等因素之間的權(quán)衡。
雖然FlashOcc專注于以即插即用的方式增強(qiáng)現(xiàn)有模型,但它仍然可以分為五個(gè)基本模塊,具體如圖2所示:
(1) 用于提取圖像特征的2D圖像編碼器。
(2) 將2D圖像特征映射到BEV表征的視圖轉(zhuǎn)換模塊。
(3) 修正BEV特征的BEV編碼器。
(4) 預(yù)測(cè)每個(gè)體素分割標(biāo)簽的占用預(yù)測(cè)頭。
(5) 集成歷史信息以提高性能的時(shí)間融合模塊(可選)。
圖 3框架圖
實(shí)驗(yàn)表明我們方法在同比條件下都取得了最優(yōu)的性能以及訓(xùn)練及部署資源消耗。
表 1Occ3D-nuSences驗(yàn)證集上的性能
表 2訓(xùn)練及部署消耗說(shuō)明
下圖對(duì)模型預(yù)測(cè)進(jìn)行可視化。由于用于訓(xùn)練的數(shù)據(jù)的柵格細(xì)粒度是40cmx40cmx40cm,因此對(duì)細(xì)節(jié)的構(gòu)建較為粗糙。但即便如此,可以看到我們的方法可以有效預(yù)測(cè)橫跨馬路懸空的紅綠燈,這證明FlashOcc有效的構(gòu)建了高度信息,此外懸空樹(shù)木的輪廓預(yù)測(cè)也證明了這一點(diǎn);而圖中表示行人的占據(jù)柵格,在胸口前柵格占據(jù)表示手持手機(jī)、腿后柵格占據(jù)表示后拉行李箱,證明我們方法對(duì)細(xì)節(jié)外形捕捉能力;交通錐的準(zhǔn)確預(yù)測(cè)證明了小目標(biāo)捕獲能力。
圖 4 可視化。受訓(xùn)練數(shù)據(jù)約束,預(yù)測(cè)范圍為前后左右40m,上下-1m到5.4m,柵格粒度0.4m。
總結(jié)與展望
FlashOcc初步探索了性能無(wú)損端上部署友好輕量級(jí)占用預(yù)測(cè)方法,為占據(jù)任務(wù)實(shí)車落地提供技術(shù)原型支撐,精度、效率和內(nèi)存消耗均超越當(dāng)前SOTA。未來(lái)進(jìn)一步探索高效的端上可部署的端到端自動(dòng)駕駛方案將是我們重要的研究方向。
審核編輯:劉清
-
FlaSh
+關(guān)注
關(guān)注
10文章
1633瀏覽量
147955 -
特斯拉
+關(guān)注
關(guān)注
66文章
6311瀏覽量
126551 -
自動(dòng)駕駛芯片
+關(guān)注
關(guān)注
3文章
47瀏覽量
5088
原文標(biāo)題:后摩前沿 | 輕量級(jí)占用網(wǎng)絡(luò)FlashOcc:主打?qū)崟r(shí)性,高精度高效內(nèi)存
文章出處:【微信號(hào):后摩智能,微信公眾號(hào):后摩智能】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論