自動(dòng)駕駛有可能大大減少交通事故、道路擁堵以及相關(guān)的經(jīng)濟(jì)損失。安全的自動(dòng)駕駛需要檢測(cè)周?chē)恼系K物、移動(dòng)物體并識(shí)別可駕駛區(qū)域。對(duì)于城市駕駛的所有附近物體以及高速公路駕駛的遠(yuǎn)處物體都必須執(zhí)行此操作。當(dāng)前的自動(dòng)駕駛汽車(chē)通常會(huì)結(jié)合使用雷達(dá)、激光雷達(dá)、攝像頭、高精度 GPS 和先前的地圖信息來(lái)確定汽車(chē)周?chē)恼系K物和路面上的安全行駛區(qū)域。

自由空間檢測(cè)Freespace為自動(dòng)駕駛車(chē)輛提供了對(duì)環(huán)境的信息感知。對(duì)于Freespace來(lái)說(shuō)，最好的傳感器檢測(cè)方式是Velodyne 多光束激光傳感器。這種高性能傳感器能夠?qū)ξ矬w以及可行駛表面進(jìn)行檢測(cè)和分類(lèi)。但是鑒于成本關(guān)系，要在自動(dòng)駕駛領(lǐng)域大量普及顯得不太可能。基于視覺(jué)的系統(tǒng)可以通過(guò)提供遠(yuǎn)距離物體和路面檢測(cè)和分類(lèi)來(lái)補(bǔ)充其他傳感器。但是，視覺(jué)傳感器在雨、霧和雪中的性能會(huì)顯著下降，限制了其在晴朗天氣下的適用性。

當(dāng)然，這幾十年來(lái)，基于圖像處理的研究一直在擴(kuò)展到解決道路分割問(wèn)題。早期的方法，包括 FCN和 SegNet，提出了編碼器-解碼器架構(gòu)，其中編碼器可以生成多個(gè)尺度的特征圖，解碼器可以提供高預(yù)測(cè)精度的像素級(jí)分類(lèi)。RBNet研究道路結(jié)構(gòu)與其邊界布置之間的上下文關(guān)系。RBA使用由反向注意力和邊界注意力單元組成的殘差細(xì)化模塊。除了基于低級(jí)特征的算法之外，鑒于深度卷積神經(jīng)網(wǎng)絡(luò)最近在計(jì)算機(jī)視覺(jué)任務(wù)中取得的成功，DNN 成為解決自動(dòng)駕駛中感知挑戰(zhàn)的良好候選者。

此外，業(yè)內(nèi)也還進(jìn)行了許多其他的嘗試，比如利用深度CNN 解決分割問(wèn)題的研究，CNN 應(yīng)用于自動(dòng)駕駛感知任務(wù)的工作已經(jīng)產(chǎn)生了專(zhuān)門(mén)的網(wǎng)絡(luò)，可以檢測(cè)攝像頭畫(huà)面中的其他車(chē)輛和車(chē)道，并且已經(jīng)通過(guò)將自由空間問(wèn)題視為語(yǔ)義分割的任務(wù)進(jìn)行研究。然而，可能的道路障礙物和道路結(jié)構(gòu)的多樣性使得針對(duì)每種可能的障礙物和道路場(chǎng)景訓(xùn)練特定網(wǎng)絡(luò)變得不切實(shí)際。特別是，獲得涵蓋所有可能場(chǎng)景的訓(xùn)練數(shù)據(jù)將非常困難。相反，采用更通用的檢測(cè)器來(lái)確定可以安全行駛的自由路面Freespace將比檢測(cè)道路目標(biāo)語(yǔ)義顯得更加實(shí)用。

本文將重點(diǎn)介紹兩類(lèi)不同類(lèi)型的可行使區(qū)域檢測(cè)方案。

基于占據(jù)網(wǎng)格的Freespace檢測(cè)

典型的可行使區(qū)域檢測(cè)方法是通過(guò)占據(jù)網(wǎng)格圖Occupancy Grid Map 的方式進(jìn)行，占據(jù)網(wǎng)格圖OGM是將區(qū)域分割為格子狀，并通過(guò)分配給各各自單元的隨機(jī)變量判別假設(shè)的方法。OGM是多個(gè)傳感器輸出的綜合判定，由于與路徑規(guī)劃的搜索算法具有高度親和性，在業(yè)內(nèi)被用來(lái)作為可行使區(qū)域的有效代表。

如下圖，首先通過(guò)各傳感器對(duì)場(chǎng)景對(duì)象進(jìn)行檢測(cè)，期間，需要對(duì)各個(gè)傳感器檢測(cè)結(jié)果的置信度進(jìn)行估計(jì)，隨后需要對(duì)如上得出的可行使區(qū)域檢測(cè)估計(jì)結(jié)果進(jìn)行最大似然估計(jì)，從而更新占據(jù)網(wǎng)格信息。在這個(gè)更新過(guò)程中，通常需要使用先前累積的先驗(yàn)地圖進(jìn)行分析。

在占據(jù)網(wǎng)格圖OGM生成網(wǎng)格圖過(guò)程中，需要根據(jù)給定的數(shù)據(jù)計(jì)算映射的事后概率如下：

m表示地圖，即到特定時(shí)刻為止傳感器的全部觀測(cè)量，*表示該特定時(shí)刻為止時(shí)，本車(chē)移動(dòng)具體軌跡。例如，在100x100單元的地圖中，由于各單元具有確定性占有/可能性占有兩種狀態(tài)。對(duì)于這樣非常高維度的空間處理，若推定如上公式的后驗(yàn)概率，則需要大量的計(jì)算量。估計(jì)地圖m的時(shí)候概率問(wèn)題，替換為推定各小區(qū)后驗(yàn)概率的問(wèn)題，此時(shí)，各小區(qū)后驗(yàn)概率如下：

這種表示方式中，m表示具有索引單元格的網(wǎng)格圖，映射m是各個(gè)單元mi的集合。

此時(shí)，用上式可以映射出后驗(yàn)概率如下：

通過(guò)對(duì)如上后驗(yàn)概率的推斷，可以得出相應(yīng)的可行駛區(qū)域位置。

對(duì)于如上定義的傳感器可靠性組合方法進(jìn)行敘述?？紤]傳感器可靠性在不同場(chǎng)景應(yīng)用下的概率可以用如下方程進(jìn)行計(jì)算。

通過(guò)對(duì)各傳感器進(jìn)行綜合推斷，可以更新OGM的后驗(yàn)概率。

一般來(lái)說(shuō)，在整合各傳感器輸出時(shí)，在對(duì)每個(gè)傳感器生成OGM時(shí)，使用了將OGM彼此融合的方法。但是，在該方法中，由于需要生成與使用傳感器數(shù)目相當(dāng)?shù)腛GM。因此如果傳感器數(shù)目增加，則存儲(chǔ)器負(fù)荷和計(jì)算量也將增加。因此，較好的方法是不為每個(gè)傳感器生成OGM，而是在傳感器數(shù)據(jù)處理期間就進(jìn)行融合運(yùn)算生成對(duì)應(yīng)共同的OGM。采用由各個(gè)傳感器輸出逐次更新的方法，由此能夠更加高效的更新OGM。如下圖表示了更新不同傳感器的時(shí)間戳OGM。

基于 GoogLeNet 的網(wǎng)絡(luò)

和 OverFeat 架構(gòu)檢測(cè)自由路面

另一種可行駛區(qū)域的檢測(cè)方法是通過(guò)訓(xùn)練一個(gè)基于 GoogLeNet 和 OverFeat 架構(gòu)的網(wǎng)絡(luò)來(lái)檢測(cè)高速快速公路環(huán)境中的自由路面。經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)在自由空間檢測(cè)任務(wù)上表現(xiàn)非常出色。這將有可能基于計(jì)算機(jī)視覺(jué)的傳感器用作自動(dòng)駕駛汽車(chē)可行使區(qū)域檢測(cè)，包括對(duì)一般障礙物的檢測(cè)和安全駕駛區(qū)域的檢測(cè)。

在本文中，網(wǎng)絡(luò)的任務(wù)是在給定單個(gè) 640 x 480 分辨率相機(jī)幀的情況下檢測(cè)自由路面。圖像的每個(gè) 4 x 4 像素非重疊塊被分類(lèi)為自由路面或非自由路面。如果某個(gè)斑塊包含車(chē)輛可以安全行駛的道路部分，則該斑塊應(yīng)被歸類(lèi)為自由路面。某些特定情況下，補(bǔ)丁如果不包含障礙物，例如另一輛車(chē)，或車(chē)輛無(wú)法行駛的表面，例如人行道/路肩，那對(duì)應(yīng)的道路空間將不被定為可行使區(qū)域。

該數(shù)據(jù)集由 30 多個(gè)小時(shí)的 1 兆像素分辨率視頻組成，由在灣區(qū)高速公路上行駛的車(chē)輛上的前置攝像頭錄制，相應(yīng)的數(shù)據(jù)用車(chē)道和汽車(chē)標(biāo)簽進(jìn)行提前標(biāo)注。

**圖 1. **數(shù)據(jù)集中車(chē)道標(biāo)簽示例。80 米內(nèi)的所有車(chē)道標(biāo)記均已標(biāo)記，該場(chǎng)景下無(wú)論遮擋情況

車(chē)道標(biāo)注（見(jiàn)圖1）指示高速公路上距離車(chē)輛80米以內(nèi)的所有車(chē)道的位置，包括被其他車(chē)輛遮擋的車(chē)道，車(chē)道標(biāo)簽是根據(jù)相機(jī)和激光雷達(dá)點(diǎn)云數(shù)據(jù)生成的。首先自動(dòng)提取泳道，然后由人工標(biāo)注人員進(jìn)行檢查和糾正。

**圖 2. **數(shù)據(jù)集中的汽車(chē)標(biāo)簽示例。100 米內(nèi)所有完全可見(jiàn)和部分遮擋的車(chē)輛都標(biāo)有邊界框

汽車(chē)標(biāo)注（見(jiàn)圖 2）由車(chē)輛約 100 米內(nèi)所有可見(jiàn)和部分遮擋車(chē)輛的邊界框組成（最終組合標(biāo)簽見(jiàn)圖 3）。汽車(chē)標(biāo)簽由人工標(biāo)注團(tuán)隊(duì)通過(guò) Amazon Mechanical Turk 生成。

**圖 3. **顯示自由路面標(biāo)簽的汽車(chē)和車(chē)道標(biāo)簽組合示例。綠色陰影區(qū)域顯示標(biāo)記為自由空間的圖像區(qū)域。

在此數(shù)據(jù)集中，自由駕駛空間定義為兩個(gè)車(chē)道標(biāo)簽之間不包含車(chē)輛的區(qū)域。網(wǎng)絡(luò)預(yù)計(jì)會(huì)產(chǎn)生一個(gè)像素掩模，該像素掩模指示與上面定義的相同區(qū)域作為自由空間。定性結(jié)果將顯示試駕的道路圖像，并標(biāo)明可行駛的路面。同時(shí)將定量地根據(jù)正確分類(lèi)的圖像塊的F1分?jǐn)?shù)來(lái)評(píng)估結(jié)果。我們直觀地預(yù)計(jì)網(wǎng)絡(luò)性能會(huì)隨著車(chē)輛前方距離的增加而降低。理想情況下，該網(wǎng)絡(luò)將能夠識(shí)別各種道路結(jié)構(gòu)和各種障礙物類(lèi)型中的自由路面。最終數(shù)據(jù)集包含 13,000 個(gè)訓(xùn)練圖像，1,300 張驗(yàn)證圖像和 1,300 張測(cè)試圖像。

該網(wǎng)絡(luò)使用修改后的 GoogLeNet風(fēng)格網(wǎng)絡(luò)來(lái)生成圖像特征。修改后的網(wǎng)絡(luò)遵循 GoogLeNet 架構(gòu)，僅到平均池化層為止。平均池化對(duì)于圖像網(wǎng)絡(luò) ImageNet 分類(lèi)任務(wù)效果很好，但自由空間檢測(cè)任務(wù)需要本地信息，而平均池化將激活量減少為單個(gè)激活向量時(shí)可能會(huì)丟失這些信息。

圖像中自由空間的定位是通過(guò)修改后的 OverFeat架構(gòu)完成的，輸入圖像特征如上面生成的。該自由空間的定位是通過(guò)對(duì)圖像特征激活后執(zhí)行大小維度為 1 x 1 卷積來(lái)完成的，然后使用類(lèi)似的全連接層和 softmax 分類(lèi)得到注意力權(quán)重，從而生成0-1之間的概率分布關(guān)系值。Softmax計(jì)算后，實(shí)際上之前較高的得分會(huì)被增強(qiáng)，而較低的得分則會(huì)被抑制或淹沒(méi)。也就是說(shuō)，較高的Softmax會(huì)保留模型中認(rèn)為更加重要的圖層，降低的得分則會(huì)淹沒(méi)不相關(guān)的圖層，將輸出向量輸出到線性層進(jìn)行處理，以此來(lái)更快更精準(zhǔn)的確定環(huán)境的類(lèi)別。應(yīng)該注意的是，圖像特征激活對(duì)應(yīng)體積下的空間維度相對(duì)于原始圖像尺寸要小一些。因此，在圖像特征激活體積的空間維度上執(zhí)行分類(lèi)相對(duì)于原始圖像中的受檢測(cè)分類(lèi)所提供的可行駛區(qū)域定位會(huì)差很多。

為了解決這個(gè)問(wèn)題，在全連接層中使用額外的深度通道來(lái)表示圖像中的特定位置。例如，最終的softmax激活量空間維度為 20 x 15，其中每個(gè)位置代表原始圖像中的 32 x 32 像素塊。然而，每個(gè)空間位置的深度為 128，因?yàn)樵紙D像中每個(gè) 32 x 32 像素塊內(nèi)都有 8 x 8 個(gè) 4 x 4 像素的塊，并且有 2 個(gè)類(lèi)：自由空間和非自由空間。這使得自由空間補(bǔ)丁的定位能夠達(dá)到更精細(xì)的分辨率，同時(shí)仍然能夠從原始圖像的較大補(bǔ)丁中獲取上下文信息。

這里介紹的訓(xùn)練網(wǎng)絡(luò)在檢測(cè)高速公路環(huán)境中的自由路面方面取得了良好的效果。該網(wǎng)絡(luò)在 Caffe 框架中實(shí)現(xiàn)，并進(jìn)行了一些修改。該網(wǎng)絡(luò)在單個(gè) Nvidia GeForce GTX TITAN Black GPU 上進(jìn)行訓(xùn)練。該網(wǎng)絡(luò)使用在 ImageNet 上訓(xùn)練的 BVLC GoogLeNet 的權(quán)重進(jìn)行初始化，并使用自由空間數(shù)據(jù)集進(jìn)行微調(diào)。

這些結(jié)果是通過(guò)在 ImageNet 數(shù)據(jù)上預(yù)訓(xùn)練 GoogLeNet 風(fēng)格的架構(gòu)并使用自由空間數(shù)據(jù)進(jìn)行微調(diào)來(lái)實(shí)現(xiàn)的。通過(guò)相對(duì)較少的訓(xùn)練（僅 60,000 次迭代），該網(wǎng)絡(luò)就能夠正確識(shí)別自由路面，同時(shí)將其他車(chē)輛指示為障礙物。該網(wǎng)絡(luò)還能夠區(qū)分道路邊界和其他道路標(biāo)記。

該模型采用動(dòng)量為 0.9 的小批量隨機(jī)梯度下降進(jìn)行訓(xùn)練。初始學(xué)習(xí)率設(shè)置為 0.01，每 3200 減少 0.96迭代。最終模型經(jīng)過(guò) 60,000 次迭代訓(xùn)練批量大小為 10，即 46 個(gè) epoch。典型定性測(cè)試集的結(jié)果如圖 4 和 5 所示。

圖 4. 紅色陰影區(qū)域顯示圖像中該像素塊的正確類(lèi)別的 softmax 分?jǐn)?shù)。該網(wǎng)絡(luò)成功預(yù)測(cè)開(kāi)放路面為空閑空間，同時(shí)指示卡車(chē)和其余車(chē)輛為非空閑空間。

圖 5. 紅色陰影區(qū)域顯示圖像中該像素塊的正確類(lèi)別的 softmax 分?jǐn)?shù)。該網(wǎng)絡(luò)成功地將開(kāi)放路面預(yù)測(cè)為自由空間。請(qǐng)注意，盡管這兩個(gè)區(qū)域在視覺(jué)上非常相似，但兩側(cè)的路肩并未標(biāo)記為空閑。

以上兩者測(cè)試圖像顯示，通過(guò)學(xué)習(xí)網(wǎng)絡(luò)可以非常成功地將道路上的障礙物正確分類(lèi)為非自由空間。它還成功區(qū)分了道路車(chē)道和路肩，即使這兩個(gè)路面在視覺(jué)上非常相似。同時(shí)，該網(wǎng)絡(luò)還可以隨著車(chē)輛沿著道路曲線行駛過(guò)程中進(jìn)行實(shí)時(shí)跟蹤檢測(cè)。

實(shí)際上，通過(guò)本文介紹的網(wǎng)絡(luò)可以知道，局部像素信息不足以區(qū)分道路車(chē)道和路肩，因此較高級(jí)別的特征為了做出這種區(qū)分，網(wǎng)絡(luò)層是必要的。隨著其他車(chē)輛周?chē)偷缆愤吘壍臋z測(cè)變得更加清晰，網(wǎng)絡(luò)可以進(jìn)行定性區(qū)分。然而，這些改進(jìn)并不能通過(guò) F1 指標(biāo)很好地衡量，因?yàn)樗鼈冎徽加脦讉€(gè)像素塊。而這些細(xì)微的差異被大部分路面和主要包含天空和背景的圖像頂部的大量正確分類(lèi)所掩蓋。

在未來(lái)的工作中，我們打算在更多不同的條件下收集更多的數(shù)據(jù)。特別是在城市情況下，涉及更多類(lèi)型的障礙物，例如行人的語(yǔ)義區(qū)分?；谠搶?shí)驗(yàn)結(jié)果，可以將該網(wǎng)絡(luò)架構(gòu)將擴(kuò)展到更復(fù)雜的城市情況下的一般自由空間檢測(cè)。

同時(shí)，必須制定更合適的量化指標(biāo)，以更好地區(qū)分網(wǎng)絡(luò)改進(jìn)。在訓(xùn)練時(shí)，網(wǎng)絡(luò)可以很快學(xué)會(huì)檢測(cè)大部分空閑路面。在我們這里所用的數(shù)據(jù)集中，圖像底部的大部分區(qū)域是自由路面，而圖像頂部的大部分區(qū)域不是路面。

此外，更受人關(guān)注的區(qū)域是自由路面和非自由路面之間的邊界區(qū)分。這種邊界實(shí)際上需要進(jìn)一步的模型訓(xùn)練，才能有助于網(wǎng)絡(luò)在這些邊界上做出更好的預(yù)測(cè)，最終在自由空間和障礙物或道路邊緣之間提供非常清晰的邊界。準(zhǔn)確一點(diǎn)的說(shuō)，在未來(lái)的工作中，道路模型學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練可能會(huì)把整個(gè)損失函數(shù)集中在邊界上，而不是對(duì)所有像素塊進(jìn)行平均加權(quán)。因此，集中力量在自由空間邊界上訓(xùn)練的學(xué)習(xí)網(wǎng)絡(luò)將有可能會(huì)提供更好的結(jié)果。







審核編輯：劉清