當(dāng)前,中國正在大力推進包括人工智能、5G和工業(yè)物聯(lián)網(wǎng)在內(nèi)的新基礎(chǔ)設(shè)施建設(shè),為智慧城市的發(fā)展注入新動能。其中,城市的智能交通是至關(guān)重要的組成部分。通過對于人工智能、計算機視覺、云計算和大數(shù)據(jù)等技術(shù)的融合應(yīng)用,智能交通管理系統(tǒng)將使得道路使用者(人與各種車輛)與道路交通設(shè)施和諧互動,有助于提升交通安全與效率(包括緩解交通擁堵),從而改善人民的出行體驗。

面向智能交通管理的應(yīng)用場景,深圳市新創(chuàng)中天信息科技發(fā)展有限公司(以下簡稱:新創(chuàng)中天)推出了基于英特爾?AI計算機視覺的智能交通路側(cè)視頻邊緣計算設(shè)備(以下簡稱:路側(cè)視頻邊緣計算設(shè)備),適用于交通路口、城市道路以及高速公路等不同的場景。部署在網(wǎng)絡(luò)邊緣的該設(shè)備搭載了英特爾?賽揚?系列CPU(Central Processing Unit:中央處理器)和英特爾?Movidius?Myriad? X VPU(Vision Processing Unit:視覺處理器),并基于 OpenVINO? 工具套件快速進行高性能AI計算機視覺算法開發(fā),實現(xiàn)了優(yōu)異的性能。以城市中的交通路口為例,該設(shè)備能夠?qū)崿F(xiàn)對于機動車(包括特種車輛)、非機動車、行人、交通信號燈、路面交通標識、交通流量狀態(tài)和交通事件等的檢測和識別,并為路側(cè)交通基礎(chǔ)設(shè)施設(shè)備(如交通信號紅綠燈等)的自動控制提供相關(guān)視頻檢測分析數(shù)據(jù)。

背景:基于“端-邊-云”架構(gòu)的智能交通管理系統(tǒng)

充分提升交通安全與效率,除了改善城市空間布局、提升道路供給等措施之外,還需積極發(fā)展基于“端-邊-云”架構(gòu)的先進智能交通管理系統(tǒng)。如圖1所示,這一系統(tǒng)的核心理念是基于在端側(cè)對于交通狀況的全面感知、在邊緣和云對交通數(shù)據(jù)的精準綜合分析以及對路側(cè)交通基礎(chǔ)設(shè)施的實時控制,從而完成豐富多樣的智能交通管理功能。

圖1. 智能交通管理系統(tǒng)"端-邊-云"整體系統(tǒng)架構(gòu)

在這一智能交通管理系統(tǒng)中,基于邊緣計算與AI計算機視覺的路側(cè)視頻邊緣計算設(shè)備是極為重要的基礎(chǔ)性設(shè)備。該設(shè)備負責(zé)對路側(cè)感知設(shè)備如相機所采集的視覺信息(包括視頻和圖像)進行實時計算分析,并在必要時與位于云端的控制中心進行數(shù)據(jù)交互,將優(yōu)化的信號相位和配時方案輸入給路側(cè)的交通信號控制機。結(jié)合其它的輸入信號,交通信號控制機通過其特定的算法確定最終的相位和配時方案,對路口的交通信號燈進行控制。

相較于傳統(tǒng)的感應(yīng)線圈、磁力計以及激光雷達等檢測技術(shù),基于各種相機采集信息的AI計算機視覺技術(shù)用于交通目標、狀態(tài)和事件的檢測和分析具有顯著的成本優(yōu)勢,非常適合大規(guī)模的部署。除了交通路況信息,該設(shè)備還可以感知天氣(如雨、雪、霧)等環(huán)境信息,并將這些信息和本地分析的結(jié)果上傳至控制中心,作進一步的處理。該設(shè)備的普及,有助于全面提升交通安全與效率。

挑戰(zhàn):面向智能交通管理的邊緣計算設(shè)備

路側(cè)視頻邊緣計算設(shè)備需要實現(xiàn)對于機動車(包括特種車輛)、非機動車、行人、交通信號燈、路面交通標識、交通流量狀態(tài)和交通事件等的檢測和識別,因此需要連接多種相機(包括電警相機、卡口相機、交通流量檢測相機、路口監(jiān)控球機和行人檢測相機)以收集所需的視頻信息。

電警相機:主要用于拍攝車輛尾部,識別車牌號碼等車輛信息;通常安裝在電警桿(距離停止線20-25米)上;1臺相機能覆蓋1-3條車道。卡口相機:主要用于拍攝車輛前部,識別車牌號碼等車輛信息;通常安裝在電警桿上;1臺相機能覆蓋1-3條車道。

交通流量檢測相機:主要用于拍攝車輛前部或尾部,檢測車流量、車道占有時間、排隊長度、擁堵路況等,將檢測分析數(shù)據(jù)提供給交通信號控制機,用于交通信號的相位和配時優(yōu)化;通常安裝在電警桿或者交通信號燈桿上;1臺相機覆蓋4-8車道。路口監(jiān)控球形相機:主要用于監(jiān)控路口,也可用于路口下行的反溢(擁堵)檢測;可以通過遠程控制隨時改變拍攝方向和焦距;通常安裝在電警桿上。

行人檢測相機:主要用于檢測行人等待區(qū)和斑馬線上的行人;通常安裝在行人信號燈燈桿或附近路側(cè)設(shè)施上。該設(shè)備是事關(guān)交通安全的關(guān)鍵設(shè)備,在實際的部署和使用中,需要解決來自于低成本與低功耗限制下的數(shù)據(jù)處理性能、可靠穩(wěn)定性、連接和兼容能力等多方面的技術(shù)挑戰(zhàn)。

該設(shè)備承擔(dān)著多路相機的視頻編解碼、基于深度學(xué)習(xí)計算機視覺的車輛和行人實時檢測和分析、車流量和人流量的實時分析、路口交通信號燈的相位和配時分析等負載。該設(shè)備的性能主要體現(xiàn)在可同時處理的視頻通道數(shù)、處理時延和準確率。因為涉及到對交通信號燈的控制,處理時延和準確率對于確保交通安全尤為重要。對于作為最終用戶的交通管理部門而言,性能還體現(xiàn)在交通安全與效率的提升。該設(shè)備性能的提升,對于芯片的處理能力提出了新的挑戰(zhàn),同時也要滿足客戶對整體設(shè)備成本和功耗的要求,因此需要高性價比和高能效比的芯片產(chǎn)品和系統(tǒng)架構(gòu)設(shè)計。

該設(shè)備大多部署于環(huán)境惡劣的道路周邊,溫度和濕度的變化劇烈,外物沖擊等司空見慣。這就要求該設(shè)備具有極強的環(huán)境適應(yīng)能力,能夠適應(yīng)溫度和濕度的變化,具備防水、防塵、防腐蝕和防震動沖擊等能力,同時還需具備出色的電磁兼容和抗干擾能力,以確保在整個產(chǎn)品生命周期內(nèi)不間斷地提供穩(wěn)定可靠的服務(wù)。

該設(shè)備需要連接多種相機和交通信號控制機等路側(cè)設(shè)備,并能與本文中提到的各種智能交通管理子系統(tǒng)進行數(shù)據(jù)交互。因此它的連接和兼容能力對整體性能至關(guān)重要。

新創(chuàng)中天?路側(cè)視頻邊緣計算設(shè)備搭載了英特爾?賽揚?CPU和英特爾?Movidius? Myriad? X VPU,擁有傳統(tǒng)計算機視覺和基于深度學(xué)習(xí)的計算機視覺的強大處理能力。其硬件與軟件架構(gòu)分別如圖2和圖3所示。用于自動交通信號控制時,其與其它設(shè)備的連接如圖4所示。

圖2. 路側(cè)視頻邊緣計算設(shè)備硬件架構(gòu)

圖3. 路側(cè)視頻邊緣計算設(shè)備軟件架構(gòu)

圖4. 用于自動交通信號控制的路側(cè)視頻邊緣計算設(shè)備

英特爾?賽揚?系列CPU具備業(yè)界領(lǐng)先的性能,支持不同的操作系統(tǒng),能夠滿足廣泛的業(yè)務(wù)需求。這一系列CPU不僅具備較強的計算能力,還具備高性價比、高能效比和安全可靠等優(yōu)點。該處理器內(nèi)嵌了英特爾?核芯顯卡,具備較強的視頻編碼和解碼處理能力?；谶@一處理器的路側(cè)視頻邊緣計算設(shè)備不但充分勝任對相關(guān)數(shù)據(jù)的計算、存儲與轉(zhuǎn)發(fā),以及對各種所連接設(shè)備的控制等功能需求,還具備低成本與低功耗的顯著優(yōu)勢。

Myriad? X VPU 是英特爾第一個包含神經(jīng)計算引擎(用于深度神經(jīng)網(wǎng)絡(luò)推理的專用硬件加速器)的視覺處理器。神經(jīng)計算引擎結(jié)合 16 個強大的 SHAVE 內(nèi)核和高吞吐量智能內(nèi)存結(jié)構(gòu),使得Myriad? X VPU成為設(shè)備上深度神經(jīng)網(wǎng)絡(luò)和計算機視覺應(yīng)用的理想選擇。Myriad? X VPU可以使用 OpenVINO? 工具套件的英特爾分發(fā)版編程,從而將神經(jīng)網(wǎng)絡(luò)移植到邊緣,還可以通過包含所有必要開發(fā)工具、框架和 API 的 Myriad 開發(fā)套件 (MDK: Myriad Development Kit) 編程,用于在芯片上實現(xiàn)自定義視覺、成像和深度神經(jīng)網(wǎng)絡(luò)工作負載。在實際應(yīng)用中,Myriad? X VPU展現(xiàn)出了算力強且功耗低等獨特優(yōu)勢。

新創(chuàng)中天正在使用 OpenVINO? 工具套件來提升視頻檢測和分析等算法的準確度,加速推理時間,并節(jié)約算力資源。OpenVINO? 工具套件是源自英特爾的一款功能非常全面的優(yōu)秀軟件工具套件,支持快速開發(fā)豐富多樣的應(yīng)用和解決方案,來模擬人類的視覺 [1][2][3]。該工具套件基于卷積神經(jīng)網(wǎng)絡(luò) (CNN: Convolutional Neural Network),可在多種英特爾? 硬件中擴展計算機視覺 (CV: Computer Vision) 的工作負載,實現(xiàn)卓越性能。OpenVINO? 工具套件支持傳統(tǒng)計算機視覺和基于深度學(xué)習(xí)的計算機視覺的豐富多樣的應(yīng)用,其主要包含的功能模塊如圖5所示。

圖5. OpenVINO?工具套件的主要功能模塊

支持跨英特爾?深度學(xué)習(xí)推理加速器的異構(gòu)執(zhí)行,將通用 API 用于英特爾的不同硬件平臺,包括CPU、集成顯卡、包含有英特爾?Movidius? VPU的神經(jīng)計算棒和英特爾? HDDL視覺處理加速卡、FPGA等等,可幫助客戶實現(xiàn)跨架構(gòu)的算法移植和優(yōu)化；通過易于使用的計算機視覺函數(shù)庫和預(yù)優(yōu)化的內(nèi)核,加快產(chǎn)品開發(fā)和上市速度;包括針對計算機視覺的標準優(yōu)化調(diào)用,包括 OpenCV、OpenCL和 OpenVX。

除了使用OpenVINO? 工具套件中的AI計算機視覺功能之外,路側(cè)視頻邊緣計算設(shè)備還用到了其中的英特爾?Media SDK,支持在英特爾?集成顯卡上進行高性能的視頻編碼和解碼。

得益于英特爾?賽揚?系列CPU和Myriad? X VPU提供的強大通用計算和AI計算機視覺推理能力,該設(shè)備能夠?qū)η拔奶岬降母鞣N相機采集的視頻或圖像信息進行處理,對視頻畫面中的車輛和行人進行位置坐標標定,能夠?qū)崿F(xiàn)對于機動車(包括特種車輛)、非機動車、行人、交通信號燈、路面交通標識、交通流量狀態(tài)和交通事件等的檢測和識別。以交通流量狀態(tài)為例,該設(shè)備能夠?qū)崟r檢測每條車道和每輛車的狀態(tài)數(shù)據(jù),包括每個車道的車輛進入/離開狀態(tài)、車道占有時間、過車總數(shù)量、過車速度、區(qū)域內(nèi)實時車輛數(shù)目、最后一輛車的位置、車隊長度和車型分類等關(guān)鍵數(shù)據(jù)信息。該設(shè)備可進一步對檢測數(shù)據(jù)進行統(tǒng)計分析。

新創(chuàng)中天研發(fā)總工程師周長軍表示:“路側(cè)視頻邊緣計算設(shè)備是智能交通管理的重要基礎(chǔ)性設(shè)備,能夠全面增強交通管理部門對于交通路況的感知能力,并基于對實時數(shù)據(jù)的分析進行高效管理,從而提升交通安全與效率。除了對于機動車(包括特種車輛)、非機動車、行人、交通信號燈、路面交通標識、交通流量狀態(tài)和交通事件等的檢測和識別之外,我們還將進一步增加對道路路面狀態(tài)和天氣等的檢測功能,滿足更精細化和更有預(yù)見性的交通管理需求。”

目前,基于英特爾?AI計算機視覺的新創(chuàng)中天?路側(cè)視頻邊緣計算設(shè)備已經(jīng)在北京、江西和山東等省市實現(xiàn)了廣泛的部署。在用戶實踐中,該設(shè)備展現(xiàn)了以下顯著的優(yōu)勢:通過充分利用英特爾的各類芯片產(chǎn)品的出色多媒體處理能力,深度學(xué)習(xí)加速能力,以及多任務(wù)多進程的處理能力,該設(shè)備最多可以同時處理12路視頻,可以實現(xiàn)基于深度學(xué)習(xí)的車輛和行人實時檢測和分析,車流量和人流量的實時分析,為智能交通管理及時提供相關(guān)數(shù)據(jù)。

另外,該設(shè)備將視頻處理負載轉(zhuǎn)移到了邊緣端,能夠有效降低時延,緩解網(wǎng)絡(luò)轉(zhuǎn)發(fā)原始視頻信息的帶寬壓力和中心處理服務(wù)器的負載壓力,更好地保障信息安全,并能為未來拓展基于位置的服務(wù)。

得益于AI計算機視覺核心算法的創(chuàng)新,以及對于英特爾硬件和軟件潛能的充分挖掘,該設(shè)備可以精確檢測和分析視頻采集測覆蓋區(qū)域內(nèi)每輛車的特征信息和每條車道上的交通狀態(tài),并根據(jù)這些分析數(shù)據(jù)精細化控制交通信號燈等系統(tǒng)。該設(shè)備還可以通過視頻檢測不同車型,提供如特種車輛(救護車或消防車)和公交車輛優(yōu)先通行等多種新業(yè)務(wù)。

fqj