根據(jù)世界衛(wèi)生組織的最新調(diào)查，每年有大約125萬人死于道路交通事故，其中超過一半的人數(shù)是弱勢(shì)道路使用者（行人、騎車者、摩托車手）。盡管在夜間道路上的車輛較少，但是發(fā)生交通事故比例卻很高。

紅外夜視輔助系統(tǒng)應(yīng)運(yùn)而生

一個(gè)有效減少此類道路交通事故傷亡人數(shù)的策略是使用汽車夜視輔助駕駛系統(tǒng)，在危險(xiǎn)的駕駛情況下給出預(yù)警或者幫助駕駛員做出決策。

當(dāng)前汽車輔助駕駛系統(tǒng)應(yīng)用基于雷達(dá)、激光測(cè)距雷達(dá)、攝像機(jī)以及超聲波等不同的傳感器系統(tǒng)，與其他技術(shù)相比，攝像機(jī)是減少道碰撞事故發(fā)生的重要手段。很多汽車廠商在他們生成的車輛上安裝了可見光攝像頭用于障礙物檢測(cè)，比如奧迪、大眾和豐田一些車型的泊車輔助系統(tǒng)。

由于可見光相機(jī)在夜間、霧天等能見度比較低的條件下對(duì)目標(biāo)檢測(cè)的效果并不理想，為了克服可見光這方面的不足，對(duì)于紅外夜視輔助系統(tǒng)的研究越來越多，基于紅外傳感器的夜視系統(tǒng)有許多的優(yōu)點(diǎn)，具體表現(xiàn)在以下幾個(gè)方面：

1.紅外夜視儀系統(tǒng)通過接收外界目標(biāo)的紅外輻射成像，并不依賴場(chǎng)景的光照條件，凡是溫度高于絕對(duì)零度的物體，都會(huì)輻射紅外線。

2.相對(duì)于可見光相機(jī)，紅外熱像儀分辨率、成像效果以及性價(jià)比在不斷提高，越來越多的監(jiān)控場(chǎng)景開始使用紅外相機(jī)。

3.紅外夜視儀具有全天候工作的能力，可顯著降低夜間駕駛風(fēng)險(xiǎn)，幫助其在全黑夜間、雨雪天氣、霧霾天氣以及對(duì)面車燈眩光等人眼能見度較低的情況下，輸出前方路況的清晰熱圖像，有效提升駕駛員視覺范圍，避免車輛、行人以及障礙物的碰撞，有效提升駕駛安全。

基于以上原因，車載紅外夜視技術(shù)受到了國內(nèi)外各大汽車制造廠商和研究機(jī)構(gòu)的高度重視，隨著技術(shù)的成熟，車載紅外夜視系統(tǒng)的應(yīng)用逐漸推廣開來。

車載視覺的行人檢測(cè)受到廣泛關(guān)注

在車載輔助駕駛系統(tǒng)中行人檢測(cè)是一項(xiàng)核心的技術(shù)，其作用是通過安裝在車輛上的攝像機(jī)自動(dòng)檢測(cè)行人，估計(jì)出潛在的危險(xiǎn)以保護(hù)行人。

由于車載視覺系統(tǒng)面臨著一個(gè)開放的環(huán)境，針對(duì)行人檢測(cè)除了存在著行人姿態(tài)、尺度、遮擋等難題，根據(jù)實(shí)際的應(yīng)用場(chǎng)景還要考慮系統(tǒng)的魯棒性、檢測(cè)的實(shí)時(shí)性以及攝像機(jī)的運(yùn)動(dòng)等因素。

針對(duì)以上存在的問題，車載視覺的行人檢測(cè)受到廣泛的關(guān)注。為了使研究者更好地了解和掌握技術(shù)的發(fā)展趨勢(shì)，有許多綜述文獻(xiàn)對(duì)行人檢測(cè)的技術(shù)進(jìn)行了歸納總結(jié)。

較早的有賈慧星等對(duì)2000-2005年間車載輔助駕駛系統(tǒng)中行人感興趣區(qū)域生成和對(duì)象識(shí)別兩個(gè)方面主要的研究方法進(jìn)行了分析和對(duì)比。許騰等同樣圍繞著這兩個(gè)環(huán)節(jié)對(duì)2005-2012年的主流車載行人檢測(cè)算法特征進(jìn)行了詳細(xì)的研究。

車載行人檢測(cè)方法發(fā)展迅速，每年都有新的算法涌現(xiàn)，因此有必要對(duì)近些年的車載行人檢測(cè)算法進(jìn)展進(jìn)行分析，并進(jìn)一步對(duì)用于紅外成像的行人檢測(cè)方法進(jìn)行歸納梳理。

此外，車載紅外夜視系統(tǒng)中行人檢測(cè)算法運(yùn)行時(shí)要有確保良好的魯棒性和實(shí)時(shí)性，所應(yīng)用的硬件平臺(tái)就要有足夠的計(jì)算能力，但同時(shí)系統(tǒng)受到體積、功耗和成本等的限制，因此本文對(duì)目前適用于車載的硬件處理器的特性進(jìn)行了簡單的對(duì)比分析。

車載紅外夜視技術(shù)相關(guān)發(fā)展?fàn)顩r

1.夜視技術(shù)分類和對(duì)比

根據(jù)成像的原理，夜視系統(tǒng)主要分為主動(dòng)夜視系統(tǒng)和被動(dòng)夜視系統(tǒng)，其中微光和紅外成像是運(yùn)用最廣的夜視技術(shù)。

微光是泛指夜間或者低照度條件下微弱的光，波長約在0.4~2um。微光夜視技術(shù)又稱為像增強(qiáng)技術(shù)，通過像增強(qiáng)器將微弱或者能量比較低的光轉(zhuǎn)化為增強(qiáng)的光學(xué)圖像，以實(shí)現(xiàn)直接觀察。

紅外夜視技術(shù)分為主動(dòng)紅外夜視技術(shù)和被動(dòng)紅外夜視技術(shù)。主動(dòng)紅外夜視技術(shù)是通過紅外燈主動(dòng)照射并利用目標(biāo)反射回來的紅外光來實(shí)施觀察的紅外技術(shù)，對(duì)應(yīng)裝備為主動(dòng)夜視系統(tǒng)。

被動(dòng)紅外夜視技術(shù)是借助于目標(biāo)自身發(fā)射的紅外輻射來實(shí)現(xiàn)觀察的紅外技術(shù)，將人眼所不能直接看到的目標(biāo)表面的溫度分布變成人眼可看到的代表溫度分布的熱圖像，其裝備為熱成像儀。

各成像技術(shù)優(yōu)缺點(diǎn)對(duì)比

對(duì)于車載平臺(tái)的夜視技術(shù)，在考慮到夜視距離、惡劣天氣以及會(huì)車時(shí)強(qiáng)光照影響時(shí)，熱成像技術(shù)相對(duì)于其他兩種技術(shù)有著更好的適用特性，并且隨著非制冷紅外探測(cè)器的發(fā)展，其性價(jià)比在不斷提升，應(yīng)用也越來越廣泛。

可見光和紅外成像效果對(duì)比

2.車載紅外夜視儀的發(fā)展?fàn)顩r

過去的十幾年里，關(guān)于汽車夜視輔助駕駛系統(tǒng)的研究已經(jīng)有了很大進(jìn)展，并且相關(guān)研究表明車載紅外夜視儀在減少夜間行車事故中有很好的效果。其相應(yīng)的產(chǎn)品需求量在迅速增長，促使了各大汽車廠商、紅外夜視相關(guān)產(chǎn)品的供應(yīng)商加大了研究的力度。當(dāng)前用于車載的紅外夜視儀主要有兩種：主動(dòng)式和被動(dòng)式。

車載夜視儀發(fā)展時(shí)間線

美國的通用汽車公司在2000年對(duì)旗下產(chǎn)品卡迪拉克轎車配備了夜視系統(tǒng)，是全世界第一款將夜視系統(tǒng)配備在汽車上的汽車品牌，該夜視系統(tǒng)使用的是紅外熱成像探測(cè)器，安裝在車輛的前部以便接收前方目標(biāo)的紅外輻射，夜視距離在300m左右。

此后德國豪華車奔馳和寶馬在2005年分別推出了汽車夜視系統(tǒng)，寶馬7系車配備的是被動(dòng)夜視系統(tǒng)，將熱成像儀添加了防撞層安裝在汽車前端，夜視距離可達(dá)300m左右，中等車速下水平視角達(dá)到24°，奔馳S550和E級(jí)車型上使用了主動(dòng)夜視系統(tǒng)，系統(tǒng)由紅外線燈、紅外線攝像機(jī)和顯示器組成，最遠(yuǎn)可探測(cè)距離達(dá)到150m。

與被動(dòng)式夜視系統(tǒng)相比，該系統(tǒng)在價(jià)格上較便宜，但是在面對(duì)相向車輛的燈光照射時(shí)成像質(zhì)量差。奧迪直到2010年開始夜視系統(tǒng)的配備，在應(yīng)用效果上并不遜色。

隨著車載夜視系統(tǒng)的流行，國內(nèi)眾多企業(yè)和研究機(jī)構(gòu)開始相關(guān)方面的研究。在中國，夜視系統(tǒng)除了裝配在奔馳、奧迪、寶馬等豪華品牌的進(jìn)口車型上，紅旗HQ3、比亞迪思銳等國產(chǎn)車型上也先后進(jìn)行配備，打破了豪華車的壟斷，但是大多是采用主動(dòng)式紅外夜視技術(shù)，產(chǎn)品的環(huán)境適應(yīng)性和夜視距離受到了很大限制。

此外一些夜視儀的供應(yīng)商對(duì)車載夜視技術(shù)的發(fā)展有很大的推動(dòng)作用，國外的奧托立夫是主要的系統(tǒng)供應(yīng)商，FLIR是最主要的紅外熱像儀供應(yīng)商；國內(nèi)有高德紅外、浙江大立科技以及保千里等夜視儀供應(yīng)商。隨著技術(shù)的發(fā)展和夜視系統(tǒng)的成本降低，未來幾年車載夜視系統(tǒng)將會(huì)得到逐漸普及和應(yīng)用。

車載紅外行人檢測(cè)算法

1.車載視覺行人檢測(cè)技術(shù)

傳統(tǒng)的車載視覺行人檢測(cè)是使用相當(dāng)廣泛的基于滑動(dòng)窗口的多尺度行人檢測(cè)框架。該框架的主要思想是：利用預(yù)先訓(xùn)練好的分類器判別當(dāng)前窗口內(nèi)是否包含行人，然后對(duì)判別含有行人的窗口進(jìn)行融合，從而給出行人在圖片中的位置。

傳統(tǒng)車載視覺行人檢測(cè)框架

現(xiàn)有的綜述文獻(xiàn)大多是圍繞該框架從感興趣區(qū)域分割方法、特征提取和分類器構(gòu)造等方面進(jìn)行展開，根據(jù)所用信息的不同采取不同的感興趣區(qū)域分割算法，然后利用梯度方向直方圖、局部二值模式等特征的改進(jìn)或者融合，使用支持向量機(jī)或者Boosting等分類器的改進(jìn)形式訓(xùn)練特征。

車載行人檢測(cè)系統(tǒng)對(duì)魯棒性和實(shí)時(shí)性都有很高的要求，傳統(tǒng)的檢測(cè)框架在圖像的多尺度金字塔進(jìn)行搜索可以提高檢測(cè)精度，但是多尺度遍歷的方法對(duì)算法的檢測(cè)速度有很大的制約。

為了能夠在精確提取特征的同時(shí)又不明顯犧牲算法的實(shí)時(shí)性，2009年Dollar等提出了CHNFTRS（通道特征）的方法，利用積分圖像快速計(jì)算圖像的顏色、梯度幅值以及梯度方向等通道特征，CHNFTRS方法在檢測(cè)精度和效率上超過HOG特征，是當(dāng)時(shí)最優(yōu)的檢測(cè)算法。

隨后Dollar又以CHNFTRS方法為核心進(jìn)行了改進(jìn)，采用鄰近尺度特征估計(jì)的方法，在不降低檢測(cè)性能的前提下加速了行人檢測(cè)，對(duì)于640x480像素分辨率的圖像，每秒可以處理6幀左右。

Benenson等使用CHNFTRS的特征，提出了多尺度訓(xùn)練模型框架VeryFast，將檢測(cè)時(shí)間從檢測(cè)階段轉(zhuǎn)移到了訓(xùn)練階段，在使用GPU處理器加速的條件下實(shí)現(xiàn)了100 fps的檢測(cè)速度。

后來Dollar本人在2014年又結(jié)合快速特征金字塔計(jì)算特征通道的方法，提出了ACF（聚合通道特征）檢測(cè)框架，ACF框架能夠在保證實(shí)時(shí)性的同時(shí)，檢測(cè)效果的魯棒性在當(dāng)前特征統(tǒng)計(jì)學(xué)習(xí)的算法中也處于領(lǐng)先水平。

此外，近幾年隨著GPU處理器在圖像處理上廣泛應(yīng)用，深度學(xué)習(xí)發(fā)展趨勢(shì)迅速，尤其是在圖像目標(biāo)檢測(cè)和分類領(lǐng)域卷積神經(jīng)網(wǎng)絡(luò)算法相對(duì)傳統(tǒng)的檢測(cè)算法性能提升顯著。

首先是Ross Girshick將傳統(tǒng)計(jì)算機(jī)視覺領(lǐng)域的方法選擇性搜索與CNN結(jié)合，先后提出了R-CNN、FastR-CNN、Faster R-CNN等框架，基于區(qū)提名的R-CNN系列的算法在檢測(cè)精度上有了很大的提升，但是檢測(cè)的速度較慢，針對(duì)這個(gè)問題出現(xiàn)了端到端目標(biāo)檢測(cè)方法，比如SDD以及Redmon等人提出YOLO系列，在檢測(cè)速度上做到了實(shí)時(shí)。

Liliang Zhang等基于可見光行人數(shù)據(jù)庫訓(xùn)練了專用于行人檢測(cè)的深度學(xué)習(xí)網(wǎng)絡(luò)，其實(shí)驗(yàn)結(jié)果與其他主流的檢測(cè)算法相比有了極大的提升。最后針對(duì)上述總結(jié)按時(shí)間順序列出了2009年來具有代表性的一些算法。

近10年以來主流行人檢測(cè)算法比較

2.車載紅外行人檢測(cè)算法應(yīng)用現(xiàn)狀

上一小節(jié)主要針對(duì)可見光領(lǐng)域的行人檢測(cè)算法的概括，雖然可見光和紅外圖像存在著很多差異，主要表現(xiàn)在紅外圖像沒有豐富的顏色特征、紋理特征，但可見光的一些處理算法對(duì)于紅外圖像有很好的指導(dǎo)意義，紅外圖像的行人檢測(cè)技術(shù)進(jìn)展與上一節(jié)分析的行人檢測(cè)技術(shù)發(fā)展路線是相對(duì)應(yīng)的。

紅外行人檢測(cè)的傳統(tǒng)框架主要包括ROIs提取、分類器識(shí)別等階段。由于紅外圖像中行人相對(duì)于背景往往有較高的亮度，因此在ROIs區(qū)域分離的時(shí)候，通常采取的手段有閾值分割、區(qū)域生長和關(guān)鍵點(diǎn)提取的方法。閾值分割的方法是通過檢測(cè)圖像中的熱點(diǎn)區(qū)域，可以采用靜態(tài)閾值或動(dòng)態(tài)閾值的方法分割出可能包含行人的區(qū)域。

此外針對(duì)紅外圖像背景較為簡單的特性，可以通過提取關(guān)鍵點(diǎn)來生成ROIs，例如文獻(xiàn)中使用旋轉(zhuǎn)和尺度不變的SURF特征分割ROIs區(qū)域；另外還有結(jié)合距離信息的方法，主要實(shí)現(xiàn)手段有雷達(dá)測(cè)距和立體視覺，其中基于立體視覺的ROIs分割技術(shù)應(yīng)用較為廣泛。

它通過獲取的3D圖像估計(jì)地平面位置，結(jié)合行人身高先驗(yàn)知識(shí)估計(jì)可能包含人體的區(qū)域。用于紅外行人檢測(cè)的特征描述子有上述提及的HOG特征、LBP特征及其改進(jìn)和融合特征，此外還有強(qiáng)度自相似性特征，其中Brehar等使用自適應(yīng)閾值分割提取ROIs，使用梯度方向、亮度、梯度值特征，使用快速金字塔構(gòu)建的方法，針對(duì)640x480像素分辨率的紅外圖像，實(shí)現(xiàn)了30 fps的檢測(cè)幀率。

受車載平臺(tái)的計(jì)算資源限制，傳統(tǒng)的滑動(dòng)串口的檢測(cè)框架會(huì)先對(duì)ROIs提取，但是要獲取準(zhǔn)確的ROIs一般要增加額外的傳感器設(shè)備，這使得系統(tǒng)的成本和復(fù)雜性提升。針對(duì)單目紅外夜視儀，傳統(tǒng)的檢測(cè)框架的實(shí)時(shí)性和精度很難滿足需求；Dollar的ACF檢測(cè)方法由于檢測(cè)精度和算法的實(shí)時(shí)性都有很大的提升，越來越多的研究者將該方法應(yīng)用于紅外行人檢測(cè)。

Brehar等在分割出的ROIs基礎(chǔ)上，使用紅外圖像的亮度值、梯度值和梯度方向等特征訓(xùn)練ACF分類器，獲得了較高的檢測(cè)精度并且實(shí)現(xiàn)了30 fps的檢測(cè)幀率。Hwang等改進(jìn)的ACF的特征，在可見光和紅外的多光譜的行人數(shù)據(jù)集上，針對(duì)紅外行人提出了T+THOG的特征組合方式，其檢測(cè)精度比原有算法有所提高。此外深度學(xué)習(xí)網(wǎng)絡(luò)在紅外行人檢測(cè)上一樣取得了當(dāng)前相對(duì)其他算法的最好的檢測(cè)效果。

系統(tǒng)硬件平臺(tái)

車載視覺行人檢測(cè)系統(tǒng)對(duì)于系統(tǒng)的魯棒性和實(shí)時(shí)性都有很高的要求，要滿足實(shí)際的應(yīng)用需求主要從行人檢測(cè)算法的設(shè)計(jì)和系統(tǒng)的硬件平臺(tái)的選取著手。

目前很多文獻(xiàn)中提出的算法都是在桌面計(jì)算機(jī)實(shí)現(xiàn)的，很少考慮在嵌入式平臺(tái)實(shí)時(shí)運(yùn)行，因此在實(shí)際應(yīng)用時(shí)要根據(jù)所選的處理器的特性進(jìn)行移植優(yōu)化。當(dāng)前由于數(shù)字處理器的快速發(fā)展，用于車載平臺(tái)的處理器種類也比較多，主流的計(jì)算平臺(tái)主要有以下幾類：

1.DSP處理器

數(shù)字信號(hào)處理器專門用于處理復(fù)雜的、數(shù)學(xué)密集型的應(yīng)用場(chǎng)景，被廣泛的用于圖像、語音等信號(hào)處理。DSP處理器在架構(gòu)和指令集上不同于傳統(tǒng)的CPU處理器，通過使用乘加指令之類的專用操作實(shí)現(xiàn)比傳統(tǒng)處理器更快的執(zhí)行效率，軟件編程簡單，在算法評(píng)估和實(shí)現(xiàn)階段可以大大縮短項(xiàng)目開發(fā)的周期，DSP在汽車行業(yè)中的地位非常突出，并且廣泛應(yīng)用于車載系統(tǒng)。

例如美國德州儀器TI的針對(duì)輔助駕駛系統(tǒng)ADAS的TDAx系列的處理器集成了多核DSP、通用處理器GPP以及嵌入式視覺引擎等模塊，具有低功耗、高性能特性，并且支持多傳感器信息融合，非常適用于車載平臺(tái)算法處理。

2.FPGA處理器

現(xiàn)場(chǎng)可編程邏輯門陣列（FPGA）由可編程邏輯組件和可編程互連組成，可用于創(chuàng)建高性能并行流水線數(shù)據(jù)處理結(jié)構(gòu)，因?yàn)闆]有類似DSP或CPU的指令獲取或等待的操作，因此執(zhí)行速度更快。

FPGA用于圖像處理具有可重構(gòu)、低功耗和低成本等的優(yōu)勢(shì)，因此很多行人檢測(cè)系統(tǒng)使用FPGA保證實(shí)時(shí)性，基于FPGA實(shí)現(xiàn)的行人檢測(cè)系統(tǒng)缺點(diǎn)在于開發(fā)難度大、項(xiàng)目周期長，但是隨著相應(yīng)的開發(fā)工具的改進(jìn)和支持，這一現(xiàn)狀會(huì)逐漸得到改善。

例如FPGA解決方案供應(yīng)廠商Xilinx基于新的硬件平臺(tái)zynq處理器以及7系列處理器提供了高層次綜合工具，使得復(fù)雜算法開發(fā)可以使用C、C++語言實(shí)現(xiàn)，極大降低了算法實(shí)現(xiàn)的復(fù)雜度。

3.GPU處理器

GPU圖形處理單元有大量的處理內(nèi)核組成，支持大規(guī)模的并行計(jì)算，尤其適合計(jì)算密集型的任務(wù)，深度學(xué)習(xí)網(wǎng)絡(luò)的發(fā)展帶來了GPU的廣泛應(yīng)用。

起初GPU主要以顯卡的形式應(yīng)用于圖形處理，隨著更多通用計(jì)算庫的出現(xiàn)，它們?cè)诳茖W(xué)計(jì)算中的應(yīng)用也迅速擴(kuò)大，例如NVIDIA的CUDA庫有助于快速開發(fā)算法。基于GPU的處理方案在可見光以及紅外圖像的行人檢測(cè)中都實(shí)現(xiàn)了實(shí)時(shí)處理，尤其是基于深度學(xué)習(xí)的方法在GPU的加速下行人檢測(cè)的精度和速度能達(dá)到實(shí)際應(yīng)用的需求。

盡管GPU處理器性能高效，但許多GPU的功耗過高不適合車載平臺(tái)，文獻(xiàn)中使用NVIDIA GeForce GPU實(shí)現(xiàn)了30 fps的行人檢測(cè)和姿態(tài)識(shí)別的幀率功耗（大約在244瓦）。隨著汽車平臺(tái)的GPU處理器的技術(shù)發(fā)展，新型的GPU架構(gòu)帶來了更強(qiáng)的計(jì)算能力和更低的功耗，未來車載系統(tǒng)中GPU將會(huì)大展身手。

此外，還有其他的一些處理平臺(tái)可用于車載行人檢測(cè)系統(tǒng)。針對(duì)現(xiàn)有的平臺(tái)，在進(jìn)行硬件系統(tǒng)設(shè)計(jì)的時(shí)候要綜合考慮處理器的功耗、成本以及計(jì)算能力，結(jié)合不同的處理器各自的特性進(jìn)行選擇。

總結(jié)與展望

本文介紹了車載夜視儀相關(guān)技術(shù)的進(jìn)展?fàn)顩r，首先對(duì)車載夜視技術(shù)進(jìn)行了闡述，對(duì)車載紅外夜視儀的應(yīng)用發(fā)展進(jìn)行了分析，然后歸納總結(jié)了2009年以來的主流紅外行人檢測(cè)算法，最后對(duì)比分析了車載夜視儀不同的硬件平臺(tái)的特點(diǎn)。

隨著紅外探測(cè)器的價(jià)格下降、成像分辨率增高，車載夜視儀今后會(huì)有很大的市場(chǎng)需求。然而研發(fā)基于紅外的車載夜視輔助系統(tǒng)需要應(yīng)對(duì)以下挑戰(zhàn)：

1.系統(tǒng)要能夠應(yīng)對(duì)復(fù)雜的道路場(chǎng)景，需要在全天候條件工作；

2.車載移動(dòng)平臺(tái)下，紅外成像中行人的尺度和外觀變化大，并且存在遮擋、姿態(tài)的變化，給檢測(cè)帶來了難度；

3.系統(tǒng)設(shè)計(jì)考慮低功耗、低成本，并且系統(tǒng)的檢測(cè)算法滿足高準(zhǔn)確率以及運(yùn)行的實(shí)時(shí)性。圍繞著以上存在的問題，筆者認(rèn)為未來的研究重點(diǎn)主要在以下幾個(gè)方面：

①構(gòu)建更為豐富的數(shù)據(jù)集

基于統(tǒng)計(jì)學(xué)習(xí)或者深度學(xué)習(xí)的方法都需要大量的訓(xùn)練樣本，特別是對(duì)于特殊場(chǎng)景下的行人檢測(cè)，例如存在部分遮擋、分辨率較低、遠(yuǎn)距離的行人需要建立相應(yīng)的數(shù)據(jù)庫進(jìn)行準(zhǔn)確的標(biāo)注，以提高行人檢測(cè)的準(zhǔn)確率，降低虛警率。

②多傳感器融合

基于單目視覺紅外攝像機(jī)的行人檢測(cè)其可利用的信息相對(duì)較少，對(duì)多視角和遮擋問題很難解決。可以利用增加可見光相機(jī)或者多紅外相機(jī)獲取立體數(shù)據(jù)，立體視覺中的深度信息利于提升行人檢測(cè)系統(tǒng)的魯棒性。

此外激光雷達(dá)傳感器可以獲取目標(biāo)的距離信息，能夠有效的分割ROIs區(qū)域。不同的傳感器有著各自的優(yōu)缺點(diǎn)，將這些傳感器有機(jī)的結(jié)合起來，保證檢測(cè)系統(tǒng)在任何條件下都能魯棒的工作是一個(gè)熱點(diǎn)研究方向。

③設(shè)計(jì)自適應(yīng)的分類器

目前大部分車載行人檢測(cè)系統(tǒng)使用的離線構(gòu)建的通用行人分類器，該分類器是利用預(yù)先準(zhǔn)備的大量樣本集進(jìn)行訓(xùn)練學(xué)習(xí)獲得的，且訓(xùn)練之后不再更新。

由于所使用的初始樣本集不會(huì)涵蓋所有的情況（不同季節(jié)、不同場(chǎng)景），所以分類器不具備自適應(yīng)特性，對(duì)于一些特殊場(chǎng)景下的行人檢測(cè)精度會(huì)降低。如何利用在線學(xué)習(xí)的算法，通過在線獲取樣本進(jìn)行分類器的更新，使行人檢測(cè)系統(tǒng)通過自主學(xué)習(xí)提高檢測(cè)性能是未來的研究重點(diǎn)。