作者：Dr. Luo，東南大學(xué)工學(xué)博士，英國(guó)布里斯托大學(xué)博士后，是復(fù)睿微電子英國(guó)研發(fā)中心GRUK首席AI科學(xué)家，常駐英國(guó)劍橋。Dr. Luo長(zhǎng)期從事科學(xué)研究和機(jī)器視覺先進(jìn)產(chǎn)品開發(fā)，曾在某500強(qiáng)ICT企業(yè)擔(dān)任機(jī)器視覺首席科學(xué)家。

ADS純視覺感知產(chǎn)品設(shè)計(jì)的痛點(diǎn)觀察

自動(dòng)駕駛ADS是新世紀(jì)產(chǎn)業(yè)革命即行業(yè)數(shù)字化AI化的第二個(gè)發(fā)力市場(chǎng)，近幾年來具備L2/L2+功能的車型紛紛成功上市并占領(lǐng)市場(chǎng)，特定場(chǎng)景的L3/L4級(jí)功能的車型也開始落地。L3是有關(guān)安全責(zé)任歸屬的臨界點(diǎn)，L3以上才可以被稱為是自動(dòng)駕駛，駕駛主體將變成車輛的自動(dòng)駕駛系統(tǒng)，人類駕駛員只在必要時(shí)接管。隨著AI技術(shù)與駕駛場(chǎng)景的深度融合，智能車AVs將按照大眾的預(yù)期逐步實(shí)現(xiàn)從低速到高速、從載物到載人、從商用到民用的落地節(jié)奏。領(lǐng)航輔助駕駛（Navigation On Autopilot）做為L(zhǎng)2+級(jí)功能也受到大眾廣泛的歡迎，在自動(dòng)巡航控制ACC、車道居中控制LCC、勻速保持控制ALC等初級(jí)功能基礎(chǔ)上，允許汽車根據(jù)導(dǎo)航信息，自主完成上下匝道、高速巡航、換道超車等智能化操作。半封閉、道路結(jié)構(gòu)化的高速場(chǎng)景復(fù)雜度較低，易于智能駕駛功能量產(chǎn)落地，商業(yè)化落地主要為車道保持輔助LKA、ACC、車道居中輔助LCA、高速NOA等功能。

城市路況復(fù)雜度高，行人、非機(jī)動(dòng)車、機(jī)動(dòng)車等道路因素較多，開發(fā)NOA功能挑戰(zhàn)性顯然更大。上述所說的針對(duì)L2的場(chǎng)景應(yīng)用，可以解放人的雙手和雙腳，但駕駛員做為責(zé)任主體，必須負(fù)責(zé)監(jiān)督路況并在需要時(shí)能夠迅速接管駕駛?cè)蝿?wù)，責(zé)任主體的分心或者打盹可以說仍是當(dāng)前一個(gè)非常致命性的因素之一，需要車輛銷售人員的正確宣傳與算法的技術(shù)有效檢測(cè)這類事件，并配合用戶進(jìn)行改善。大量的分析已經(jīng)表明，目前在很大的程度上AVs的安全性能估計(jì)比人類駕駛(也可以說人類自身的最好能力或者是人類心理可接受的期望值)明顯要差一個(gè)數(shù)量級(jí)以上，雖然可以適應(yīng)仿真和簡(jiǎn)單低遮擋的約束真實(shí)場(chǎng)景，但仍難以應(yīng)對(duì)城市的復(fù)雜道路交通場(chǎng)景，包括惡劣天氣環(huán)境，定位信號(hào)缺失，目標(biāo)高度遮擋，有限全局視野，人車交互，車車交互，以及小尺寸目標(biāo)或干擾目標(biāo)等。

場(chǎng)景動(dòng)態(tài)適應(yīng)能力問題，即所謂“Long-Tail Challenge”長(zhǎng)尾挑戰(zhàn)，依舊是ADS當(dāng)前待解決的主要難題之一。 ? 為了提升ADS的時(shí)空4D感知能力和人身安全等特性，市場(chǎng)上AVs類似配置29個(gè)攝像頭，6個(gè)Radar和5個(gè)LiDAR多模多傳感器的設(shè)計(jì)已經(jīng)非常常見。對(duì)比昂貴的LiDAR設(shè)備，攝像頭一個(gè)最大的優(yōu)勢(shì)是高分辨率和低成本，純視覺的多攝像頭組合設(shè)計(jì)可以提供充分的場(chǎng)景語義信息。針對(duì)當(dāng)前市場(chǎng)上所采用的純視覺感知的產(chǎn)品設(shè)計(jì)，除了上述極端場(chǎng)景外，本文在這里將重點(diǎn)交流一下我們的總體深度洞察，尤其是包括應(yīng)用的主力場(chǎng)景，即非惡劣天氣下被大眾認(rèn)為不容易被干擾或者是認(rèn)為目標(biāo)不容被易漏檢誤檢的行駛場(chǎng)景等等。

對(duì)于ADS Auto-Pilot純視覺感知產(chǎn)品應(yīng)用，現(xiàn)有市場(chǎng)上頻頻爆發(fā)出來的嚴(yán)重或者致命的交通事故，反而多發(fā)生在這類比較正常的天氣和一些認(rèn)為很容易處理的交通場(chǎng)景下。如圖1所示(備注：圖片都來自官方報(bào)告或者官網(wǎng)新聞)，事故原因大體包括: ?

(2022年7月) 臺(tái)灣某市，天氣良好，Auto-Pilot模式，與高速公路的路邊橋墩相撞，導(dǎo)致車輛起火，人員重傷

(2022年7月) 美國(guó)佛州，天氣良好，Auto-Pilot模式，與洲際公路的路肩停車位的卡車相撞，導(dǎo)致車輛起火，2人死亡

(2022年x月) 美國(guó)多州，夜晚行駛，Auto-Pilot模式，與拋錨車輛(拋錨現(xiàn)場(chǎng)設(shè)置有warning lights, flares, cones, and an illuminated arrow board)相撞，16次車禍中，15人傷1人亡

(2021年7月20日-2022年5月21日) 美國(guó)多州，Auto-Pilot模式，總共392起EV車禍，273次車禍來自純視覺感知產(chǎn)品應(yīng)用

(2018年3月) 美國(guó)加州，天氣良好，Auto-Pilot模式，與高速公路的邊界柵欄相撞，導(dǎo)致車輛起火，人員死亡

(2016年下月) 美國(guó)威州，天氣良好，Auto-Pilot模式，(第一起)與洲際公路的路肩停車位的卡車相撞，導(dǎo)致車輛起火，1人死亡

如圖1所示，事故分析原因比較復(fù)雜，人為疏忽因素猜測(cè)應(yīng)該是主因(例如系統(tǒng)感知決策能力不滿足應(yīng)用場(chǎng)景時(shí)責(zé)任人主體未能及時(shí)接管車輛等等)。有關(guān)系統(tǒng)感知決策能力問題，目測(cè)分析有可能來自于感知層目標(biāo)識(shí)別，其原因可能包括：未能準(zhǔn)確識(shí)別倒地的貨車、路邊橋墩、可行駛的區(qū)域，或者攝像頭臟污，器件突然失靈等等。從上述分析可以看出，從2016年的第一起，到2022年的相同事故發(fā)生，純視覺方案未能有效識(shí)別路肩停車位的卡車還是有很大可能性的。我們的出發(fā)點(diǎn)是希望能夠更好的解決ADS行業(yè)落地的眾多難題，當(dāng)然不希望這些前沿技術(shù)探討誤導(dǎo)了行業(yè)專家和消費(fèi)者心理，也特別注明不會(huì)對(duì)文中任何敏感領(lǐng)域的問題探討承擔(dān)任何法律責(zé)任，完整的事故分析結(jié)果請(qǐng)讀者以官方出臺(tái)的報(bào)告為事實(shí)依據(jù)。 ? 對(duì)比US全國(guó)1 in 484,000 miles的事故率，來自某著名T車廠發(fā)布的2021年自產(chǎn)車交通事故安全評(píng)估的分析數(shù)據(jù)如下：

可以看出十倍的提升，依舊滿足不了大眾對(duì)智能出行安全的期望值。如果定位在上百倍或上千倍的提升為目標(biāo)值或者說大眾可以接受的程度，對(duì)行業(yè)設(shè)計(jì)者來說，前方的路依舊是任重而道遠(yuǎn)，更需要上下而求索，在5-10年內(nèi)交付一個(gè)比較完美的答案。

ADS的場(chǎng)景不確定性

自動(dòng)駕駛ADS主要是由高速場(chǎng)景向城市道路場(chǎng)景演進(jìn)來落地領(lǐng)航輔助NOA功能，AI與場(chǎng)景的深度融合，推動(dòng)ADS逐步實(shí)現(xiàn)從低速到高速，從載物到載人，從商用到民用，從階段一提供L2高級(jí)輔助駕駛和L3擁堵高速公路副駕駛，發(fā)展到階段二可以提供L3擁堵公路自動(dòng)駕駛和L4高速公路自動(dòng)駕駛，最終實(shí)現(xiàn)階段三的L4城郊與市區(qū)自動(dòng)駕駛和L5商用無人駕駛等等。ADS算法的典型系統(tǒng)分層架構(gòu)如圖2所示，一般包括傳感層，感知層，定位層，決策層(預(yù)測(cè)+規(guī)劃)和控制層。每個(gè)層面會(huì)采用傳統(tǒng)算法模型或者是與深度學(xué)習(xí)DNN模型相結(jié)合，從而在ADS全程駕駛中提供人類可以認(rèn)可的高可靠和高安全性，以及在這個(gè)基礎(chǔ)上提供最佳能耗比、最佳用車體驗(yàn)、和用戶社交娛樂等基本功能。

圖2：ADS技術(shù)棧案例 (Nageshrao,2022)

極端惡劣場(chǎng)景問題

ADS部署的傳感器在極端惡劣場(chǎng)景(雨雪霧、低照度、高度遮擋、傳感器部分失效、主動(dòng)或被動(dòng)場(chǎng)景攻擊等)的影響程度是不一樣的。所以傳感器組合應(yīng)用可以來解決單傳感器的感知能力不足問題，常用的多模傳感器包括Camera(Front-View or Multiview; Mono or Stereo；LD or HD)，毫米波Radar(3D or 4D)和激光雷達(dá)LIDAR(LD or HD)。如圖3所示，ADS傳感器特性可以總結(jié)如下：

Camera

優(yōu)勢(shì)：

可以提供360環(huán)視和遠(yuǎn)距前后視角的環(huán)境語義表征。

單目和多目Camera可以提供一定程度的目標(biāo)深度信息。

不足：

(如圖4和圖7所示)受惡劣場(chǎng)景影響嚴(yán)重：雨雪、濃霧、強(qiáng)光等場(chǎng)景。

鏡頭臟污會(huì)嚴(yán)重影響圖像質(zhì)量。

需要一個(gè)照明環(huán)境。

LIDAR

優(yōu)勢(shì)：

可以提供場(chǎng)景的空間信息。

不足：

難以檢測(cè)有反光效應(yīng)的或者透明的物體。

(如圖5所示)當(dāng)雨速高于40mm/hr到95mm/hr，信號(hào)反射密度嚴(yán)重?fù)p失并產(chǎn)生雨枕現(xiàn)象。

(如圖5、圖6所示)大雪天氣下可視距離縮短并產(chǎn)生反射干擾波形。

(如圖5所示)濃霧場(chǎng)景會(huì)產(chǎn)生鬼影現(xiàn)象。

溫差會(huì)產(chǎn)生額外時(shí)間延遲。

Radar

優(yōu)勢(shì)：

總體對(duì)環(huán)境的適應(yīng)性高。

對(duì)周圍車輛檢測(cè)準(zhǔn)確率高，可以提供目標(biāo)的速度信息。

4D Radar還可以提供目標(biāo)高度的可靠信息。

不足：

不適合做小目標(biāo)檢測(cè)。

不能檢測(cè)塑料袋等材料。

(如圖6所示)大雨濃霧和暴風(fēng)雪會(huì)產(chǎn)生接收信號(hào)強(qiáng)衰減和斑點(diǎn)噪聲。

圖3：ADS傳感層的不確定性與性能對(duì)比(Khan, 2022)

圖：LiDAR的暴風(fēng)雪場(chǎng)景(Zhang 2022) ?

Camera和LiDAR的雨天場(chǎng)景(Zhang 2022) ? ADS感知層的一個(gè)主要挑戰(zhàn)是惡劣場(chǎng)景的挑戰(zhàn)。如圖8所示，對(duì)比LiDAR和Camera，4D高清Radar發(fā)送的毫米波，可以有效穿越雨滴和雪花，不受低照與雨雪霧天氣影響，但會(huì)受到多徑干擾問題影響，總體來說對(duì)環(huán)境的適應(yīng)性高，單獨(dú)或者組合應(yīng)用對(duì)2D/3D目標(biāo)檢測(cè)非常有優(yōu)勢(shì)，同時(shí)還可以提供高精度的目標(biāo)高度和速度信息，可以有助于ADS的預(yù)測(cè)規(guī)劃性能提升。

圖：4D Radar，Camera，LiDAR點(diǎn)云的3D目標(biāo)檢測(cè)識(shí)別對(duì)比案例 (Paek, 2022) ?

遮擋場(chǎng)景問題

ADS感知層的主要應(yīng)用場(chǎng)景包括高速公路，城郊與市區(qū)道路；十字路口，交通環(huán)島，潮汐公路；隧道，停車場(chǎng)等，其主要任務(wù)是基于多模的2D/3D人車物目標(biāo)識(shí)別，動(dòng)態(tài)目標(biāo)跟蹤與速度識(shí)別，交通標(biāo)志識(shí)別，車道線識(shí)別，紅綠燈識(shí)別，路面可行駛區(qū)域語義分割，路面障礙檢測(cè)，盲區(qū)檢測(cè)，交通事件檢測(cè)，司機(jī)打瞌睡檢測(cè)等。與此對(duì)應(yīng)的核心產(chǎn)品特性包括：碰撞預(yù)警，緊急剎車，車道偏離預(yù)警，傳感部分失效預(yù)警；車道變道，車道并道，路口通行，行為預(yù)測(cè)，軌跡預(yù)測(cè)，軌跡規(guī)劃；車速控制，轉(zhuǎn)向控制等等。 ? ADS感知層的一個(gè)挑戰(zhàn)是目標(biāo)遮擋即感知盲區(qū)的挑戰(zhàn)。單純依賴AVs自身360全方位近距感知和遠(yuǎn)距感知，很難能夠讓ADS從理論上完全超越人類的駕駛水平，通過預(yù)測(cè)預(yù)警達(dá)到更低的交通事故率和提供更好的人身安全。如圖9所示的典型前方遮擋場(chǎng)景，Camera畫面相對(duì)影響較小，LiDAR前方有大片區(qū)域由于遮擋出現(xiàn)空白，嚴(yán)重影響感知決策。一個(gè)可行的策略是利用這類3D陰影特性進(jìn)行障礙目標(biāo)檢測(cè)，即將陰影與遮擋目標(biāo)關(guān)聯(lián)，通過這種先驗(yàn)假定來降低目標(biāo)漏檢率(Haul, 2022)。 ?

圖9：近場(chǎng)目標(biāo)遮擋場(chǎng)景（Haul, 2022) ? 如圖10所示的對(duì)比案例，可以看出車路協(xié)同可以有效解決盲區(qū)與上述所說的長(zhǎng)距感知的挑戰(zhàn)，但對(duì)應(yīng)的缺點(diǎn)也不言而喻，部署的成本與長(zhǎng)期可靠運(yùn)營(yíng)費(fèi)用以及如何防網(wǎng)絡(luò)攻擊問題，這決定了對(duì)鄉(xiāng)村和偏遠(yuǎn)地區(qū)的場(chǎng)景，需要尋求AVs自身的多模感知認(rèn)知決策能力提升。 ?

圖10：獨(dú)立感知與車路協(xié)同感知對(duì)比案例(Mao, 2022)

目標(biāo)可感知和小目標(biāo)的問題

ADS感知層的一個(gè)挑戰(zhàn)是可感知目標(biāo)距離的挑戰(zhàn)。遠(yuǎn)距離(250-300米)小目標(biāo)感知任務(wù)對(duì)高速行駛AVs的安全響應(yīng)速度是至關(guān)重要的。對(duì)3D目標(biāo)識(shí)別等視覺任務(wù)可說，隨著感知距離增加，抽取高密度特征的AI主干網(wǎng)絡(luò)的計(jì)算復(fù)雜度會(huì)按照二次元速度增加，對(duì)算力需求也加速度增加。從圖12的對(duì)比還可以看出，采用長(zhǎng)距LIDAR可以提升感知距離，特征點(diǎn)可以覆蓋更大的區(qū)域但更稀疏，同時(shí)也會(huì)產(chǎn)生”Centre Feature Missing(CFM)”即點(diǎn)云空心化或者叫黑洞的問題，極端場(chǎng)景包括近距離的超大車輛的中心特征缺失。解決CFM挑戰(zhàn)問題的一般方法是在BEV特征空間依賴卷積操作通過特征發(fā)散來提供中心區(qū)域的感知場(chǎng)，或者通過點(diǎn)云中非空的區(qū)域來預(yù)測(cè)中間空心區(qū)目標(biāo)，代價(jià)是目標(biāo)預(yù)測(cè)誤差和不確定性的輸出結(jié)果，或者通過連通域打標(biāo)簽CCL進(jìn)行Instance Point Group進(jìn)行插值和濾波，以及整個(gè)點(diǎn)云的超分變率Super-Resolution來改善性能。 ?

圖12：短距LIDAR點(diǎn)云(紅色，75米)與長(zhǎng)距LIDAR點(diǎn)云(藍(lán)色，200米)對(duì)比案例 (Fan, 2022)

立體盲Stereoblindness的問題

人類是通過雙目視差來進(jìn)行2D/3D目標(biāo)的識(shí)別與定位，純視覺感知設(shè)計(jì)，通過跨攝像頭部署或者希望通過單目視頻信息進(jìn)行3D目標(biāo)識(shí)別，總體性能在實(shí)際駕駛環(huán)境中有產(chǎn)品應(yīng)用體驗(yàn)。立體盲的問題，可以對(duì)比參考一下這些場(chǎng)景分析來定義，如圖13所示的兩個(gè)事故案例：純視覺感知算法錯(cuò)把2D宣傳畫當(dāng)成真實(shí)的3D目標(biāo)，不停地針對(duì)假想的在前方飛奔的行人進(jìn)行緊急剎車，徹底是一種邏輯混亂狀態(tài)，嚴(yán)重的話也會(huì)因?yàn)椴扇×隋e(cuò)誤決策導(dǎo)致車禍。設(shè)想一下，如果類似宣傳畫、交通障礙標(biāo)志(宣傳畫或者實(shí)際物品)在行駛車輛上，也許通過點(diǎn)云來識(shí)別目標(biāo)是否運(yùn)動(dòng)，純粹靠單目或跨攝像頭融合感知3D或者所謂活體目標(biāo)，困難重重。一種解決的思路是采用Few-shot Learning-based的方法來消除立體盲問題帶來的致命安全威脅。如圖14所示，EyeDAS案例是對(duì)檢測(cè)到的目標(biāo)摳圖進(jìn)行四種屬性的非監(jiān)督概率估測(cè)，通過一個(gè)宏分類器來決策是否是2D/3D目標(biāo)。類似這樣的實(shí)現(xiàn)策略，相信如果有足夠的數(shù)據(jù)，一個(gè)DNN網(wǎng)絡(luò)同樣可以基于單目做很好的活體或者3D目標(biāo)識(shí)別，可以見到類似的這樣設(shè)計(jì)，但立體盲問題需要重點(diǎn)評(píng)估。 ?

圖14：EyeDAS 后處理算法案例(Levy 2022) ? ADS的感知算法不確定性 ? 從UN的統(tǒng)計(jì)數(shù)據(jù)可以看到，全球每年道路交通事故都約有5000萬人傷，125萬人亡，經(jīng)濟(jì)損失可以高達(dá)約1.85萬億美元，而94%交通事故均來自可以避免的人為因素，且90%發(fā)生在中低收入的國(guó)家。研究表明，將有效預(yù)警提前1.9秒，事故率可下降90%，而提前2.7秒，事故率可下降95%，所以AI算法的感知認(rèn)知領(lǐng)域的技術(shù)進(jìn)展推動(dòng)了輔助ADAS以及自動(dòng)駕駛ADS技術(shù)的行業(yè)落地也是勢(shì)在必然的。2021年統(tǒng)計(jì)數(shù)據(jù)表明，一個(gè)US司機(jī)在自然駕駛環(huán)境NDE下每英里的車禍發(fā)生平均概率約在百萬分之一的水平。而2021年US加州自動(dòng)駕駛車輛AVs最好的disengagement rate也只能做到十萬分之一。由于篇幅原因，本文不準(zhǔn)備全面展開討論感知算法中眾多不確定性問題。只重點(diǎn)討論1-2個(gè)大家比較關(guān)注的技術(shù)難點(diǎn)。

稀缺目標(biāo)檢測(cè)的問題

“長(zhǎng)尾問題”沒有一個(gè)很明確的定義，一般指AVs即使經(jīng)歷了交通公路百萬公里數(shù)的路況測(cè)試，對(duì)每個(gè)AI算法模塊而言，包括感知層和決策層(預(yù)測(cè)+規(guī)劃)，仍不能完全覆蓋各種各樣的低概率安全至關(guān)重要的復(fù)合駕駛場(chǎng)景，即所謂的“Curse of Rarity(CoR)稀缺問題”。業(yè)界對(duì)如何實(shí)現(xiàn)一個(gè)通用的任意目標(biāo)種類的檢測(cè)器或者是一個(gè)通用的運(yùn)動(dòng)目標(biāo)檢測(cè)器，依舊是一個(gè)未解的技術(shù)難題。如何定義和分析這些稀有場(chǎng)景，也可以有助于更好理解目標(biāo)檢測(cè)識(shí)別語義理解預(yù)測(cè)決策算法性能的提升，從而加速安全可靠的ADS解決方案的開發(fā)與部署。 ? 如同圖15和本文開頭所提到的交通事故原因分析所述，CoR問題中稀有(小樣本)目標(biāo)的場(chǎng)景比比皆是，這里簡(jiǎn)短羅列一些供大家參考：

Traffic Cone，Traffic Barrels, Traffic Warning Triangles未能被準(zhǔn)確識(shí)別導(dǎo)致的二次車禍場(chǎng)景

不容易被檢測(cè)到的公路上飄逸的塑料袋

山體滑坡導(dǎo)致公路路面障礙物

公路上行走的各類動(dòng)物

車前方正常行駛交通車輛，如果裝載了交通交通標(biāo)志物體如何有效檢測(cè)和決策

有一定坡度的路面如何有效進(jìn)行2D/3D物體檢測(cè)

圖16：ADS中CoR問題的呈現(xiàn)圖 (Khan, 2022) ? 如圖16所示，CoR稀缺問題總體有很多中解決方法，但在機(jī)器人、ADS領(lǐng)域的一個(gè)關(guān)鍵挑戰(zhàn)是系統(tǒng)安全性能的保證。一個(gè)解決的思路是采用仿真來產(chǎn)生上述所提的大量稀少的安全事件場(chǎng)景，但仍然遠(yuǎn)遠(yuǎn)不夠，原因在于多數(shù)仿真環(huán)境采用手工設(shè)計(jì)的規(guī)則很難模仿現(xiàn)實(shí)駕駛場(chǎng)景的高復(fù)雜性與不確定性，安全相關(guān)的真實(shí)事件數(shù)據(jù)非常難以采集，實(shí)際路況中人車交互和車車交互也很難建模，安全度量和評(píng)估也同樣異常艱難。從AI算法角度，可以在仿真數(shù)據(jù)基礎(chǔ)上繼續(xù)結(jié)合Importance Sampling和Importance Splitting方法，Importance Sampling方法可以根據(jù)輸入的概率分布來對(duì)輸出的Likelihood Ratio釋然比進(jìn)行加權(quán)來產(chǎn)生無偏置的估計(jì)，這只適合簡(jiǎn)單的場(chǎng)景。Importance Splitting方法強(qiáng)激勵(lì)的通道可以繼續(xù)分解，可以將稀有事件的估計(jì)分解成條件概率分布序列從而減少估計(jì)方差，但人工設(shè)置的閾值選取是一個(gè)挑戰(zhàn)，也很難評(píng)估Policy空間的性能敏感性，尤其是針對(duì)near-miss事件和交通事故等各類不確定性。 ?

涉及交通安全的事件場(chǎng)景數(shù)據(jù)是非常稀缺的。假定上億英里里程數(shù)可能碰到一次AVs的致命事件，需要上萬億英里的里程數(shù)估計(jì)才能積累足夠的數(shù)據(jù)。從工程實(shí)踐來看是非常不現(xiàn)實(shí)的，雖然2022已有幾個(gè)國(guó)家先后開通了ADS L4車輛上路的法規(guī)，但這個(gè)僵局嚴(yán)重影響了AVs安全性能的提升和部署進(jìn)程。一個(gè)可行的方案是通過收集人駕駛的車輛數(shù)據(jù)，例如US交通部的統(tǒng)計(jì)，每年全國(guó)有3萬億英里的里程數(shù)累計(jì)，其中包括6百萬次車禍，2百萬人受傷，3萬人致命傷亡事件。避開數(shù)據(jù)采集的隱私問題不談，這類自然駕駛環(huán)境NDE海量車輛軌跡數(shù)據(jù)，可以有助于建立高保真NDE模型，從而通過仿真環(huán)境來構(gòu)建大量合成數(shù)據(jù)，這樣的思路在過去對(duì)其它行業(yè)感知類視覺任務(wù)已經(jīng)證明是非常行之有效的。

? 業(yè)界第二種思路是將這類涉及交通安全事件的發(fā)生概率降低到人類可以接受或者可以忽略的水平。如圖11所示，解決問題的途徑包括協(xié)同CAV技術(shù)，即通過對(duì)道路基礎(chǔ)設(shè)施部署大量的多模傳感設(shè)備(Camera, LIDAR, Radar)，通過 V2V，V2I(例如路邊邊緣計(jì)算設(shè)備RSD)和V2X通信技術(shù)來提供車車或者車路協(xié)同來實(shí)現(xiàn)知識(shí)與信息共享，有效解決單個(gè)AVs由于遮擋和有限視野問題產(chǎn)生的難決策的僵局。相對(duì)而言，單AV的多攝像頭、多模融合感知多任務(wù)共享，以及CAV(V2V,V2I)之間跨攝像頭、跨模感知融合技術(shù)目前已經(jīng)有非常明顯的進(jìn)展。

目標(biāo)檢測(cè)置信度問題

對(duì)目標(biāo)檢測(cè)任務(wù)而言，一個(gè)主要的發(fā)展趨勢(shì)，是從CNN(Compute-bound)向Transformer (memory-bound)演進(jìn)。CNN目標(biāo)檢測(cè)方法包括常用的Two-Stage Candidate-based常規(guī)檢測(cè)方法(Faster-RCNN)和One-Stage Regression-based 快速檢測(cè)方法(YOLO, SSD, RetinaNet, CentreNet)。Transformer目標(biāo)檢測(cè)方法包括DETR, ViT, ?Swin Transformer, Detection Transformer (如Error! Reference source not found.所示)等等。兩者之間的主要差別是目標(biāo)感知場(chǎng)的尺寸，前者是局部視野，側(cè)重目標(biāo)紋理，后者是全局視野，從全局特征中進(jìn)行學(xué)習(xí)，側(cè)重目標(biāo)形狀。 ? 對(duì)于這些目標(biāo)檢測(cè)識(shí)別的SOTA深度學(xué)習(xí)DL模型而言，采用Softmax或者Sigmoid層做預(yù)測(cè)輸出，一個(gè)常見的問題是，由于遮擋等多因素原因，會(huì)導(dǎo)致網(wǎng)絡(luò)層產(chǎn)生過高的置信度預(yù)測(cè)，會(huì)遠(yuǎn)偏離實(shí)際的概率分布score，如圖17所示。而且DNN網(wǎng)絡(luò)越深，神經(jīng)元越多，這種叫做Overconfidence的交叉效應(yīng)也越明顯。對(duì)應(yīng)感知輸出結(jié)果會(huì)極大影響ADS決策甚至?xí)a(chǎn)生錯(cuò)誤決策。一種可行的技術(shù)策略是在DNN中添加一個(gè)基于貝葉斯最大似然率ML或最大后驗(yàn)概率MAP的推理層，這種基于目標(biāo)識(shí)別的概率特性可解釋性強(qiáng)，更值得信賴。 ?

圖17：Softmax過高置信度分布VS概率密度分布的案例(Melotti 2022) ? ADS算法設(shè)計(jì)的一個(gè)艱巨任務(wù)是如何減少Overconfidence預(yù)測(cè)，如何捕獲這種預(yù)測(cè)的不確定性。然而這類不確定性估計(jì)和對(duì)應(yīng)基于安全的設(shè)計(jì)是一個(gè)很大的挑戰(zhàn)，不確定性與采用的算法形態(tài)(模塊化的或者端到端的；多模態(tài)實(shí)現(xiàn)；深度融合或者部分模塊聯(lián)合建模的策略)、數(shù)據(jù)規(guī)模、不確定性的量化表征(熵、交互信息、KL Divergence、預(yù)測(cè)方差)、多智能體的交互狀態(tài)和行為都非常相關(guān)，也不容易建模，所以有改善，仍待從理論的角度進(jìn)行提高，這也是當(dāng)前學(xué)術(shù)研究的一個(gè)最大熱點(diǎn)，即如何有效對(duì)ADS系統(tǒng)進(jìn)行概率估計(jì)，確保AVs車輛在行駛中保持在一個(gè)安全狀態(tài)。一些有效的嘗試包括采用Generalized Polynomial Chaos(GPC)混沌學(xué)GPC模型來取代感知模型中的復(fù)雜度感知分量，并用來評(píng)估加入不安全狀態(tài)的狀態(tài)分布或者是概率，評(píng)估的準(zhǔn)確度很接近Monte Carlo仿真，并有幾倍計(jì)算速度提升。 ?

ADS感知的數(shù)據(jù)驅(qū)動(dòng)DDM模型，其安全可信某種程度上其實(shí)是來自與訓(xùn)練數(shù)據(jù)中隱含的行為定義，這對(duì)實(shí)現(xiàn)ADS安全至上的感知帶來了大挑戰(zhàn)。實(shí)際行駛應(yīng)用中(可以認(rèn)為是隨機(jī)的、部分可觀察的交互環(huán)境)可以通過對(duì)當(dāng)前運(yùn)行狀態(tài)的不確定性進(jìn)行估計(jì)，進(jìn)而調(diào)整系統(tǒng)隨后的行為，和基于這些估計(jì)決定AVs的安全距離控制。

編輯：黃飛