日前，在由黑芝麻智能主辦的“2023智能汽車高峰論壇”上，黑芝麻智能深度學習研發(fā)高級總監(jiān)王祚官發(fā)表了主題為“BEV感知，給自動駕駛開啟‘上帝視角’”的主旨演講，分享黑芝麻智能在BEV感知方面的研發(fā)進展。

近日，由黑芝麻智能主辦的“2023智能汽車高峰論壇”匯聚了眾多行業(yè)專家和企業(yè)代表。在其中的軟件論壇上，來自不同領域的嘉賓共同探討新形勢下汽車軟件行業(yè)的未來。黑芝麻智能深度學習研發(fā)高級總監(jiān)王祚官在論壇上發(fā)表了主題為“BEV感知，給自動駕駛開啟‘上帝視角’”的主旨演講，分享黑芝麻智能在BEV感知方面的研發(fā)進展。

感知質(zhì)量更好的前融合方案

BEV是Bird‘s-Eye-View Perception的縮寫，即鳥瞰視角感知，簡單而言就是融合車載多視角攝像頭的輸入，然后變成鳥瞰圖的檢測輸出，可用于各種下游任務。

相校于傳統(tǒng)的感知算法，BEV感知有明顯優(yōu)勢。如果把多視角的感知看作一個融合過程，傳統(tǒng)的感知算法可以看作是一個后融合方案，其典型做法是對每一路輸入的視頻做單獨檢測，然后通過一些方法把檢測結(jié)果融合起來。其缺點是會產(chǎn)生一些比較大的累計誤差。

BEV感知則屬于前融合感知，把圖像特征先融合起來，直接生成BEV的檢測結(jié)果，如此省去了很多中間步驟，生成的感知結(jié)果質(zhì)量比后融合方案的更好。

王祚官表示，BEV感知能為自動駕駛感知任務提供有效的時空表征方法，將成為車載感知的主流發(fā)展方向。

黑芝麻智能開發(fā)多重亮點的BEV技術(shù)

王祚官介紹，黑芝麻智能的BEV框架主要分三部分：第一部分是特征提取，對每一路輸入的圖像，提取其圖像特征；第二部分是BEV的特征生成，包含空間的融合和時間的融合；第三部分是目標檢測。

整體而言，黑芝麻智能開發(fā)的BEV技術(shù)有諸多亮點：上下文感知增強的BEV投影，可自適應時空采樣，可學習車道結(jié)構(gòu)的碼本，基于“BST渲染器”的實時矢量化地圖構(gòu)建能力，結(jié)合“NeRF + LiDAR”的 Occupancy Grid Map（占位柵格地圖）功能 ，以及芯片本身的高效網(wǎng)絡架構(gòu)與強大性能。

在將圖像投影到三維空間時，現(xiàn)有方法僅從一條光線中采樣上下文特征。黑芝麻智能采用了上下文感知的增強BEV，圖象包括非常豐富的場景信息，最終可以得到質(zhì)量非常高的BEV。

空間的融合之后，緊接著就是時間的融合，典型做法是把當前均勻采樣的幀融合在一起。但這樣做有一個明顯問題，即車輛停止的時候，采樣會產(chǎn)生大量重復的幀，造成之前的路面信息丟失，導致算力浪費，而且感知范圍會變小。黑芝麻智能的做法是增加了空間上的抽樣，即根據(jù)車身信息，每隔一定的距離做抽樣，然后把空間抽樣和時間抽樣結(jié)合起來，作為最后的目標檢測。通過這種方式，車輛在緩慢行駛甚至停止的情況下，仍然能夠保證有較大的感知范圍。

車道是高度規(guī)則化的結(jié)構(gòu)，黑芝麻智能設計了用低維編碼的方法來引入車道線的結(jié)構(gòu)信息，學習并保存多種車道結(jié)構(gòu)的碼本（Codebook），并在學習到的碼本指導下進行預測。

在車輛周圍實時生成地圖對自動駕駛非常關鍵。但是，地圖通常包含很多種類的元素，比如車道線、人行道、停車位等，這給網(wǎng)絡實時預測周圍地圖帶來了困難。黑芝麻智能采用矢量的方法作為統(tǒng)一的表達方式，開發(fā)了可微分的“BST-Renderer”，將各種地圖元素渲染成圖像，然后對渲染出的圖像進行訓練。用一致的矢量表示，的好處就是說，為后期的矢量地圖構(gòu)建提供了便利。

在提到OCCUPANCY GRID時，王祚官表示，一個空間是否被占據(jù)，表示方法是把它離散化成等大小的立方體，用一個參數(shù)來表示這個立方體被占據(jù)的概率是多少。傳統(tǒng)的典型做法是使用LiDAR信號，但會出現(xiàn)信號缺失或被遮擋的問題。黑芝麻智能設計了“NeRF + LiDAR”的方案，與僅使用 LiDAR相比，可端到端訓練，充分結(jié)合圖像信息和LiDAR信息，對被遮擋區(qū)域依然可以進行場景流監(jiān)督，可使用無LiDAR數(shù)據(jù)集進行模型微調(diào)。

此外，BEV模型里面使用了很多Transformer模型，鑒于Transformer注意力機制的計算成本較高，黑芝麻智能簡化了計算，使其適合在邊緣設備上運行。

自研高性能芯片為BEV模型落地提供支持

黑芝麻智能已將開發(fā)的BEV模型部署到旗下華山二號A1000芯片上。A1000芯片擁有58TOPS（INT8）的強大算力，有矩陣運行單元和非線性運算單元，再加上DSP，能夠滿足行業(yè)需求。與此同時，BEV模型還可部署在黑芝麻智能最新發(fā)布的武當系列C1200芯片上。該系列是業(yè)內(nèi)首個智能汽車跨域計算芯片平臺。

作為中國本土智能汽車芯片的供應商之一，黑芝麻智能擁有全棧感知算法量產(chǎn)化能力，能夠提供客戶算法定制服務，支持第三方算法移植，多種算法交付方式等靈活的商業(yè)模式。這些感知算法能夠加速并且助力一些中短期內(nèi)智能領航和泊車應用產(chǎn)品快速落地，從而加速整個芯片的量產(chǎn)及應用。