傳感器融合被認為是智能駕駛的必然趨勢。這兩年，在交通部政策的推動下，部分L1和L2級別的ADAS功能被要求在一些商用車型中強制安裝，其中包括AEB（自動緊急剎車）。這里就借AEB在商用車上的落地談談傳感器融合的事情。

AEB的技術實現方法

目前，實現AEB的技術主要有三類，分別是基于視覺傳感器、毫米波雷達和激光雷達。由于成本限制因素，國內主要使用前兩種方式。視覺傳感器和毫米波雷達實現對車輛的AEB功能的原理不同：毫米波雷達主要是通過對目標物發送電磁波并接收回波來獲得目標物體的距離、速度和角度。視覺方案稍復雜，以單目視覺方案為例，它需要先進行目標識別，然后根據目標在圖像中的像素大小來估算目標的距離。

這兩類技術各有優劣。總體來講，攝像頭方案成本低，可以識別不同的物體，在物體高度與寬度測量精度、車道線識別、行人識別準確度等方面有優勢，是實現車道偏離預警、交通標志識別等功能不可缺少的傳感器，但作用距離和測距精度不如毫米波雷達，并且容易受光照、天氣等因素的影響。毫米波雷達受光照和天氣因素影響較小，測距精度高，但難以識別車道線、交通標志等元素。另外，毫米波雷達通過多普勒偏移的原理能夠實現更高精度的目標速度探測。

于是就有了第三種方案，將攝像頭和雷達進行融合，相互配合共同構成汽車的感知系統，取長補短，實現更穩定可靠的AEB功能。

融合方案也是國內商用車AEB的落地上所強制要求的方式。在JT/T 1094-2016《營運客車安全技術條件》中提到，車長超過9米的營運客車需裝備符合JT/T 883規定的車道偏離預警系統（LDWS）和AEB（包括前車碰撞預警系統）。在交通部辦公廳所印發的《營運客車安全達標實車核查工作規范》中明確要求，營運客車駕駛室前面罩需要安裝AEBS毫米波雷達或激光雷達裝置。后續想必也會出臺政策推進在其他商用車車型上的普及，未來可能還會擴展覆蓋乘用車。

傳感器數據融合的原理與優勢

采用融合方案后，攝像頭和雷達會獲取到不同的感知信息，這些信息之間可以相互補充，但也可能會存在矛盾。假設在某一場景下，來自攝像頭的信息是車輛前方50米左右有異型車，需要剎車，而雷達卻沒有反饋同樣的信息，這樣的矛盾信息可能會讓車輛不知所措。所以，為了讓車輛控制中心接收到一致且明確的行動指令，就需要將傳感器的數據進行融合。

傳感器數據融合的基本原理跟人腦綜合處理來自眼、鼻、耳等多器官的信息類似，主要是綜合多個傳感器獲取的數據和信息，把多傳感器在空間或時間上冗余或互補信息依據某種準則來進行組合，獲得對被測對象的一致性描述。

回到駕駛場景上，大致是這樣的流程：首先攝像頭和毫米波雷達分別針對觀測目標收集數據，然后對各傳感器的輸出數據進行特征提取與模式識別處理，并將目標按類別進行準確關聯，最后利用融合算法將同一目標的所有傳感器數據進行整合，從而得出關于目標威脅性的一致性結論。

以極目智能的視覺和雷達融合系統為例。如下圖，圖中藍色點和綠色點分別為攝像頭和毫米波雷達對同一目標的檢測，攝像頭主要負責目標外觀鎖定，毫米波雷達主要負責測距。紅色點是雷達檢測到的其他地物目標。

極目智能視覺和雷達融合系統

數據融合也有不同的策略，比如有的方案會選擇將不同傳感器各自處理生成的目標數據進行融合，有些會選擇將不同傳感器的原始數據進行融合，避免一些原始數據的丟失。在智能駕駛場景下，視覺和毫米波雷達的數據融合大致有3種策略：圖像級、目標級和信號級。

圖像級融合，是以視覺為主體，將雷達輸出的整體信息進行圖像特征轉化，然后與視覺系統的圖像輸出進行融合；目標級融合，是對視覺和雷達輸出進行綜合可信度加權，配合精度標定信息進行自適應的搜索匹配后融合輸出；信號級融合，是對視覺和雷達傳感器ECU傳出的數據源進行融合。其中，信號級別的融合數據損失最小，可靠性最高，但需要大量的運算。

測試數據顯示，與單視覺或單雷達方案相比，融合方案在系統可靠性和魯棒性、數據可信度、系統分辨能力等方面更具優勢。

視覺傳感器和毫米波雷達融合的技術基礎

傳感器融合已被公認為是智能駕駛的必然趨勢。為了實現視覺和毫米波雷達的數據融合，需要具備一些技術基礎，比如系統化的圖像和雷達數據獲取和處理技術體系，在數據處理和目標分類識別等層面具有信息融合算法的優化和設計能力，等等。鑒于當前國內的視覺感知技術要比毫米波雷達更加成熟，那么對于視覺技術企業來講，他們在與外部雷達平臺進行融合的時候，則需要具備優秀的雷達系統二次開發能力，盡量提高信息的利用率。

對于視覺和毫米波雷達的融合，技術實現上的主要難點在于攝像頭和雷達觀測值的匹配、數據融合、多目標場景下有效目標庫的維護等，需要考慮容錯性、靈活性、可拓展性、可靠性、安裝等多方面的因素。

同時，信息融合技術實現需要不斷配合大量路測，涉及設備輸出、真值標定以及二次數據開發等工作，對應的數據采集量、數據存儲量、數據交互量、數據處理工作量非常大，對于研發機構的綜合開發能力有很高的要求。

最后，傳感器數據融合的核心關鍵還是在于采用合適的融合算法。作為一個新興領域，數據融合目前尚無統一的理論和廣義有效的融合模型和算法，需要根據具體場景來選擇，但可以預見，神經網絡和人工智能等新技術在傳感器數據融合中將起到越來越重要的作用。