2023年末工信部，公安部，住房和城鄉建設部，交通運輸部四部門聯合發布的《關于開展智能網聯汽車準入和上路通行試點工作的通知》正式打響了中國L3級自動駕駛賽道的第一聲發令槍，也意味著L3/L4級自動駕駛商業化落地即將到來。

感知智能始終是實現L3/L4級自動駕駛的技術難點，現在自動駕駛市場無法有效解決的技術痛點在于1）基于純視覺網絡的Corner Cases問題（環境光照影響、樣本長尾效應等）；2）4D毫米波雷達點云數據的豐富度與置信度之間的矛盾；3）許多車企選用激光雷達作為主要傳感器之一，但激光雷達的性價比較低，且受大雨大霧天氣影響較大，另外大功率激光雷達還有掃到人眼可能致盲的潛在風險。

昱感微的“多傳感器多維像素融合感知芯片”可以解決問題：昱感微融合感知芯片創新性地將可見光攝像頭、紅外攝像頭以及4D毫米波雷達的探測數據在前端（數據獲取時）交互，將各傳感器的探測數據“坐標統一、時序對齊”，圖像與雷達數據完成像素級實時“時空對齊同步”并以“多維像素”格式輸出，基于“物理感知”數據驅動，能很好地避免純視覺網絡的corner cases問題；同時，毫米波雷達和攝像頭的結合還可以達到1+1>2的效果，使感知系統能夠不受天氣光線等場景限制，實時完成精準目標感知。

昱感微融合感知芯片的“多維像素”數據輸出是昱感微的核心技術創新之一。多維像素是指在可見光攝像頭像素信息上加上其它傳感器對于同源目標感知的信息，將感知系統的感知維度擴展以實現多維度（多模態）感知目標的完整信息。如下圖示例，芯片將攝像頭圖像數據，和雷達探測目標的距離、速度、散射截面R的感知數據，以及紅外傳感器探測的熱輻射圖像數據疊加組合到一起，以攝像頭的像素為顆粒度組合全部感知數據，每個像素不僅有視覺信息，還包含了4D毫米波雷達和紅外傳感器的探測數據，形成多維度（多模態）測量參數矩陣數組。基于圖像像素為基準+雷達數據的“多維像素”感知數據，與現有主流AI計算平臺完全兼容，助力客戶高效平滑升級產品。

昱感微的雷視融合感知方案提供目標與環境的多模態精準感知信息。多模態是指傳感器對目標與環境感知的圖像數據（明暗、紋理、顏色等）+雷達數據（目標的距離、速度、材質等）+紅外輻射數據（紋理、溫度等）的綜合感知。當人眼看到路上行駛的汽車，大腦中反映出的信息不僅是一輛汽車，還有它的顏色、型號/品牌、方向、以及大概的速度和距離等信息，這就是人眼解讀出的視覺語言。昱感微的雷視融合方案可以比人眼更敏銳，為自動駕駛系統提供更豐富更精準的“視覺語言”——目標與環境的多模態精準感知數據，使自動駕駛系統實時精準感知道路上的各種狀況。

對目標的感知，4D毫米波雷達在立體空間的每個檢測點（3D空間的密集數據采樣點）可以取得推算出來的包含此處（采樣點）的距離、相對運動速度（多普勒信息）、水平方位角和俯仰角維度的功率測量信息——業界稱其為：雷達4D張量信息（“4D Radar Tensors”，簡稱為: “4DRT”信息）。雷達4D張量信息數據量非常豐富，最大程度地保留有效的感知信息。目前4D雷達產品點云仍較稀疏，其主要原因之一是現有通用的信號過濾器會造成大量信息損失（例如采用目前流行的CFAR：“Constant False Alarm Rate”即“恒定虛警率”檢測算法）；但如果沒有進行數據過濾提取（對比用CFAR算法處理的步驟），系統輸出且后續模塊再需要處理的數據量又太大，對于系統的傳輸帶寬、內存緩存、后續系統算力都提出了極高的要求，在算法里如何有效區分與識別目標的有效反射信息（系統希望獲取的）與雜波信號和噪聲信號就更加挑戰了。最挑戰的還是在雷達算法本身，在雷達系統獲取的大量的4D張量采樣信息里，如何區分出哪些信息是目標對雷達信號產生的有效反射信息（系統希望獲取的），哪些信息是背景噪聲，哪些信息是其它雷達系統帶來的信號串擾，哪些信息是雷達信號的多徑串擾……如何有效地區分它們并最大限度地識別出目標有效反射信息，是解決4D毫米波雷達點云數據的豐富度與置信度之間的矛盾的方法，也是目前行業正期待有技術突破的方向，需要重新定義與設計雷達感知、定位和映射的算法，以強化并重新演繹出4D毫米波雷達的強感知特性。

昱感微的融合感知芯片將雷達4D張量信息與圖像像素信息做對接，形成類似的“多維像素數據矩陣”，將雷達的每個4D張量信息與圖像像素矩陣層中的像素元素建立一一對應關系。這樣可以高效地識別分辨出雷達信號產生的有效反射信息，在最大限度地保留雷達點云數據豐富度的同時增加其數據的置信度。

引入圖像信息帶來的好處：系統基于圖像信息帶入的語義信息來構建更精細的雷達數據處理算法，在圖像語義信息的支持下，機器學習、神經網絡等算法更精確高效完成雷達4D張量信息對目標與環境完整感知信息的獲取。

“雷達4D張量信息＋圖像的像素信息”是實現目標與環境多模態精準感知、助力毫米波雷達感知跨越目前門檻的最佳方式。多模態視覺語言（多模態語義）解析的傳感器融合方式已經是業界新一輪傳感器融合產品起飛的跑道，是完全滿足L3/L4級自動駕駛要求的感知最優解。

昱感微的融合感知方案將視覺圖像信息和雷達探測信息實現“坐標統一、時序對齊”的“多維像素”信息輸出，將賦予產業界前所未有的感知能力。