2月6日,上海保隆科技有限公司(保隆科技)聯合上海芯侖光電科技有限公司(芯侖科技)、武漢大學共同發布的汽車動態傳感器(DVS,Dynamic Vision Sensor)正是基于圖像傳感器能否像人眼一樣主動感知真實世界這樣的大膽技術假設。
如果我們希望人工智能像人一樣思考,那么圖像傳感器能否像人眼一樣主動感知真實世界?
2月6日,上海保隆科技有限公司(保隆科技)聯合上海芯侖光電科技有限公司(芯侖科技)、武漢大學共同發布的汽車動態傳感器(DVS,Dynamic Vision Sensor)正是基于這樣的大膽技術假設。傳統圖像傳感器基于幀的概念,原理性的缺陷導致運動信息缺失、海量無效數據、非結構化數據輸出,從而帶來巨大的數據傳輸和存儲壓力、運算資源的浪費、系統整體能耗和成本的上升、以及穩定性的缺陷;DVS采用新型的仿生原理圖像傳感器芯片,全時全速追蹤運動物體,有效過濾冗余背景信息,輸出運動物體的結構化場景信息,實現感知端預處理,減輕后端信號處理算法的復雜度,并使用更低的計算資源處理器來實現實時處理能力。保隆科技將其形容為“超眼”。
低數據流,剔除冗余數據:道路兩邊靜止的車輛和建筑(非動態數據)“消失”
DVS為L4、L5高級別自動駕駛感知系統提供了一條新的技術路線。國際上開發DVS的代表性公司包括瑞士的Inilabs、法國的Prophesee以及三星,此次保隆發布的DVS 屬于自主研發,集成了芯侖科技的芯片技術和武漢大學的算法技術。相比于保隆科技當天發布的77G及24G毫米波雷達、雙向前視系統、紅外熱成像夜視儀、駕駛員預警系統、車用人臉識別系統等產品,保隆科技汽車電子單元總監李威表示,DVS是保隆科技“引領戰略”下的傳感器產品,是保隆科技的技術創新,也是自動駕駛行業的技術創新。
據芯侖科技聯合創始人、CTO陳守順博士介紹,此次發布的DVS核心技術是模仿人眼視神經,以事件為驅動原理,可如人眼一般主動看世界:
· 無固定觀察頻率
· 靈敏響應速度
· 脈沖式信息讀取和輸出
· 像素電路間并行處理
· 主動特征提取,無多余背景信息
每個像素電路獨立檢測光強水平,無需曝光,不受幀率約束。當光強發生變化時,便以極快的反應速度(5納秒)輸出一個包含(X、Y、A、T)的事件(event)數據。
進出隧道瞬間,不受光照強烈變化影響,仍可捕捉路面信息
尤需指出的是,該DVS可實現多種模式同時輸出:
圖像模式(Picture Mode):與傳統圖像傳感器一致的全副圖像,兼容傳統圖像處理算法和硬件。
動態模式(Motion/Event Mode):動態特征脈沖信號通過自然光強變化的判定輸出二值化的動態特征區域信息(X、Y、A、T)。
光流模式(Optical Flow Mode):獨有的密集光流模式,無需降維,從芯片上得到光流向量場信息。
高架上行駛,完整捕捉道路標線和交通標識
自動駕駛、尤其是L4、L5高度自動駕駛,面臨大量對實時和高速處理要求高、算力不可達的場景,以及一些邊緣性場景(Corner Case),基于上述原理和核心技術,DVS動態視覺傳感器有能力解決。比如特斯拉Model S將卡車誤判為白云、Uber自動駕駛車輛夜晚撞死橫穿馬路的行人、以及自動駕駛車輛進出隧道光強變化等場景。保隆科技汽車電子單元總監李威表示,他們將特別選取一些場景,在封閉測試場內對DVS的性能開展測試。
極暗場景下,也可清晰顯示部分物體的移動
據李威透露,當前保隆科技已完成DVS攝像頭本體、處理器平臺的研發集成工作,正在進行運算平臺的優化,預計今年底可完成,明年將提供標準化的產品,進行小批量的量產。今年將為包括商用車、乘用車、特種車輛的合作伙伴提供定制化產品,進行裝車試用。宇通客車是保隆DVS的重要合作伙伴,宇通汽車智能研究院副院長彭能嶺博士出席發布會,對DVS在自動駕駛領域的應用前景、以及與保隆的合作研發均充滿希望。
-
圖像傳感器
+關注
關注
68文章
1897瀏覽量
129528 -
動態數據
+關注
關注
0文章
6瀏覽量
8470
原文標題:動態視覺傳感器(DVS):高級自動駕駛的“超眼”
文章出處:【微信號:IV_Technology,微信公眾號:智車科技】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論