我們知道，攝像頭在進(jìn)行圖像拍攝時，最理想的位置是能垂直與拍攝平面的，這樣能保證圖像能按照原來的幾何比重重現(xiàn)。

然而在智能駕駛汽車的實際應(yīng)用中，受到智能車車體結(jié)構(gòu)的限制，車體控制要求攝像頭有一定的預(yù)瞄距離，攝像頭的水平和垂直掃射面通常是成扇形擴(kuò)張的，且攝像頭與地面一般成一定角度安裝。

這種角度的存在會在圖像邊緣處造成一定的成像畸變。畸變的結(jié)果是在后期圖像處理過程中產(chǎn)生一系列如下的類似問題：

1）垂直線被拍攝成斜線導(dǎo)致斜率計算錯誤；

2）遠(yuǎn)處的彎道可能由于畸變被壓縮導(dǎo)致曲率計算錯誤等等。

3）對于旁車道車輛狀態(tài)在識別過程中產(chǎn)生嚴(yán)重的畸變，在后期處理的時候會存在匹配不上的問題；

諸如上面各類問題都是可能存在在整個圖像感知中，如果畸變處理不得當(dāng)會對整個圖像質(zhì)量和后續(xù)神經(jīng)網(wǎng)絡(luò)識別造成較大的風(fēng)險。

為了滿足智能車的實時控制需求，一般需要再實際應(yīng)用場景中針對攝像頭圖像畸變提出相應(yīng)的矯正算法。

智能汽車主要的畸變種類

相機(jī)畸變包含徑向畸變、切向畸變、離?畸變、薄棱鏡畸變等，智能汽車上的相機(jī)畸變主要有徑向畸變和切向畸變。

徑向畸變分為桶形畸變和枕型畸變。

通常我們智能泊車系統(tǒng)一般采用的環(huán)視攝像頭由于采用廣角拍攝，其對應(yīng)的畸變類型通常是徑向畸變。徑向畸變產(chǎn)?的主要原因是鏡頭徑向曲率的不規(guī)則變化，它會導(dǎo)致圖像的扭曲變形，這種畸變的特點(diǎn)是以主點(diǎn)為中?，沿徑向移動，離的距離越遠(yuǎn)，產(chǎn)?的變形量就越?。對于?個矩形的嚴(yán)重徑向失真需要被較正成理想線性鏡頭的圖像才可以進(jìn)入后端處理過程。

而行車系統(tǒng)一般采用的前視、側(cè)視、后視攝像頭由于采用一般的CMOS工藝攝像頭進(jìn)行拍攝，且由于前側(cè)視攝像頭安裝過程中可能不能保證透鏡與成像面嚴(yán)格平行，同時也可能是由于制造上的缺陷使透鏡不與成像平面平行，從而產(chǎn)生切向畸變，這種現(xiàn)象通常發(fā)?于成像儀被粘貼在攝像機(jī)的時候。

徑向畸變和切向畸變模型中一共有5個畸變參數(shù)，在Opencv中他們被排列成一個5*1的矩陣，依次包含k1、k2、p1、p2、k3，經(jīng)常被定義為Mat矩陣的形式。

對于畸變矯正來說，這5個參數(shù)就是相機(jī)標(biāo)定中需要確定的相機(jī)的5個畸變系數(shù)。參數(shù)k1、k2、k3被稱為徑向畸變參數(shù)，其中k3是可選參數(shù)。

對于畸變嚴(yán)重的相機(jī)（如?眼相機(jī)），可能還會有k4、k5、k6。切向畸變可以用兩個參數(shù)p1 和 p2 來表示：至此，得到了共五個參數(shù)：K1、K2、K3、P1、P2，這五個參數(shù)是消除畸變所必須的，稱為畸變向量，也叫相機(jī)外參數(shù)。

因此，求得這5個參數(shù)后，就可以校正由于鏡頭畸變引起的圖像的變形失真，下圖顯示根據(jù)鏡頭畸變系數(shù)校正后的效果：

通過5個畸變系數(shù)找到這個點(diǎn)在像素平面上的正確位置公式如下：

畸變后的點(diǎn)可以通過內(nèi)參矩陣投影到像素平面，得到該點(diǎn)在圖像上的正確位置(u,v)：

圖像畸變矯正方法

與相機(jī)模型方法論不同，圖像去畸變是為了補(bǔ)償透鏡缺陷，對原始圖像進(jìn)行徑向/切向去畸變，之后在使用該相機(jī)模型。處理圖像畸變的方法主要涉及選擇何種相機(jī)模型進(jìn)行圖像投影。

典型相機(jī)模型投影方式有球面模型和柱面模型。

1、魚眼相機(jī)成像畸變矯正

通常類似魚眼鏡頭會產(chǎn)生極大的形變，比如普通相機(jī)成像過程中，直線投影到像平面上還是一定大小的直線，但是魚眼相機(jī)拍攝的圖到像平面上則會變成非常大且長的直線，甚至部分場景下直線檢測會被投影到無窮大，因此針孔模型無法為魚眼鏡頭建模。

為了將盡可能大的場景投影到有限的圖像平面內(nèi)，魚眼鏡頭一版由十幾個不同的透鏡組合而成，在成像過程中，入射光線經(jīng)過不同程度的折射，投影到尺寸有限的成像平面上，使得魚眼鏡頭與普通鏡頭相比起來擁有了更大的視野范圍。

研究表明魚眼相機(jī)成像時遵循的模型近似為單位球面投影模型。這理我們?yōu)榱烁玫倪m配相機(jī)針孔模型的推導(dǎo)過程，常用的方法是采用投影到球面相機(jī)模型過程來進(jìn)行。

對于魚眼相機(jī)成像過程的分析可以分成兩步：

1）三維空間點(diǎn)線性投影到一個球面上，當(dāng)然這個球面是我們假設(shè)的虛擬球面，將其球心看成與相機(jī)坐標(biāo)原點(diǎn)重合。

2）單位球面上的點(diǎn)投影到像平面上，這個過程是非線性的。

如下圖表示了一種智駕系統(tǒng)中從魚眼相機(jī)拍攝變換到球面相機(jī)的圖像處理過程。假設(shè)相機(jī)坐標(biāo)系下的點(diǎn)為X=(x,y,z)，像素坐標(biāo)為x=(u,v)。那么它的投影過程表示如下：???

1、第一步是用攝像機(jī)采集世界坐標(biāo)系下的三維點(diǎn)，并將圖像坐標(biāo)系下的成像點(diǎn)投影到歸一化單位球面坐標(biāo)上；

2、將相機(jī)坐標(biāo)中心沿著z軸偏離個單位，得到如下：

3、考慮單位球面，將球面進(jìn)行歸一化為1個單位：

4、將球面投影模型變換到針孔模型上，得到相應(yīng)的主點(diǎn)坐標(biāo)，以該主點(diǎn)坐標(biāo)可以建立對應(yīng)的標(biāo)準(zhǔn)的相機(jī)坐標(biāo)系模型：

2、柱面坐標(biāo)投影

對于諸如前視、側(cè)視攝像頭這樣的終端來說，通常捕獲的圖像主要產(chǎn)生的是切向畸變。切向畸變通常推薦采用柱面相機(jī)模型，其優(yōu)點(diǎn)是指用戶可以獲得諸如魚眼相機(jī)的全景圖中360度范圍內(nèi)任意切換視線，也可以在一個視線上改變視角，來取得接近或遠(yuǎn)離的效果，同時，柱面全景圖像也較為容易處理，因為可以將圓柱面沿軸切開并展開在一個平面上，傳統(tǒng)的圖像處理方法常常可以直接使用，柱面全景圖并不要求照相機(jī)的標(biāo)定十分準(zhǔn)確。

用戶在水平方向上有360度的視角，在垂直方向上也可以做一定的視角變化，但是角度范圍則受到限制，由于柱面模型的圖像質(zhì)量均勻，細(xì)節(jié)真實度更高，應(yīng)用范圍比較廣泛。

總體來說，柱面全景圖顯著優(yōu)點(diǎn)歸納為以下兩點(diǎn)：

1）它的單幅照片的獲取方式比立方體形式和球面形式的獲取方式簡單。普通車載相機(jī)（如前視、側(cè)視攝像頭）基本就可以獲取到原始圖像。

2）柱面全景圖容易展開為一個矩形圖像，可以直接用計算機(jī)常用的圖像格式進(jìn)行存儲和訪問。柱面形式的全景圖在垂直方向允許參與者視線的轉(zhuǎn)動角度小于180度，但是絕大多數(shù)應(yīng)用中，水平方向的360度環(huán)視場景足以表達(dá)空間信息。

這里我們重點(diǎn)講下如何利用柱面相機(jī)對原圖像進(jìn)行畸變矯正處理的算法，實際上這是個從獲得虛擬相機(jī)到原相機(jī)映射關(guān)系的過程。這里的虛擬相機(jī)是指針對真實圖像到生成柱面圖的映射關(guān)系。

如下圖表示了一種智駕系統(tǒng)中從普通車載相機(jī)拍攝變換到柱面相機(jī)的圖像處理過程。其中，獲得虛擬相機(jī)圖?的實質(zhì)就是求虛擬相機(jī)到原相機(jī)的映射關(guān)系，通?的過程如下：

首先，對于前/側(cè)視原始視頻圖像可以設(shè)置為目標(biāo)圖像dst img；其中該目標(biāo)圖上的主點(diǎn)（u，v）為基礎(chǔ)點(diǎn)進(jìn)行2D到3D的逆投影變換到目標(biāo)相機(jī)坐標(biāo)圖上，該目標(biāo)相機(jī)可重構(gòu)出世界坐標(biāo)系下的該點(diǎn)位置（x，y，z）；隨后，在三維坐標(biāo)系下通過投影變換算法得到虛擬相機(jī)下對應(yīng)的原始相機(jī)圖像Src Camera；在對該原始相機(jī)圖像進(jìn)行3D到2D的投影變換就可以得到對應(yīng)的矯正后的圖像Src img（u’，v’），該圖像可通過重構(gòu)的方式恢復(fù)出虛擬相機(jī)下的原始圖像dst img。

從柱面相機(jī)模型可以看出柱面相機(jī)模型到針孔相機(jī)模型的變換公式如下：

如上公式中，其中u，v表示針孔相機(jī)平面主點(diǎn)（也叫像素坐標(biāo)系中的坐標(biāo)），fx、fy、cx、cy表示由于制造或安裝誤差產(chǎn)生的兩個坐標(biāo)軸偏斜參數(shù)。該主點(diǎn)乘以圓柱坐標(biāo)系下的半徑距離則可以得到相應(yīng)的投影在柱面坐標(biāo)上。

ρ來進(jìn)行多項式近似，柱?相機(jī)2D->3D空間的過程中是不確定ρ的，當(dāng)Tdst=Tsrc時，ρ取不同值時，從3D空間->側(cè)視/前視相機(jī)2D求得的虛擬相機(jī)的映射是相同的；若Tdst！=Tsrc, 得到的虛擬相機(jī)的圖像隨ρ的不同?變化。對于給定的柱?圖2D位置（u,v），在給定ρ的條件下，由如上公式可以計算dst camera柱面坐標(biāo)系下的3D的相機(jī)坐標(biāo)xc , yc, zc。

Φ用來進(jìn)行多項式近似，Φ是入射光線和圖像平面的夾角，這個值和魚眼相機(jī)的參數(shù)很像。

接下來是相機(jī)變換過程，總結(jié)起來包括如下過程。

首先設(shè)置虛擬相機(jī)圖像分辨率為想要獲取的鳥瞰I(xiàn)PM圖的分辨率；其中虛擬相機(jī)圖像的主點(diǎn)為IPM圖分辨率的中心（一般假設(shè)不設(shè)置偏移）。其次，設(shè)置虛擬相機(jī)的fx、fy以及相機(jī)位置，其中高度設(shè)置為1，與fx、fy設(shè)置方式相對應(yīng)，可以根據(jù)需求修改y的偏移量。

由此，則可以根據(jù)目標(biāo)相機(jī)dst camera的外參（R，T）dst，把dst camera相機(jī)坐標(biāo)（xc，yc，zc）dst轉(zhuǎn)化為觀測坐標(biāo)系vcs坐標(biāo)，隨后再結(jié)合src camera的外參（R，T）src，將VCS坐標(biāo)轉(zhuǎn)化為src camera相機(jī)坐標(biāo)（xc，yc，zc）src 。

總結(jié)

由于車載相機(jī)通常搭載不同的成像鏡頭，這種多元件的構(gòu)造結(jié)構(gòu)使得對于車載相機(jī)的折射關(guān)系分析不能簡單采用原來的針孔相機(jī)模型進(jìn)行適配。特別是對于魚眼相機(jī)來說，由于需要擴(kuò)大可視范圍，這種折射率所帶來的圖像畸變更是明顯。

本文我們重點(diǎn)介紹了適配于智能駕駛系統(tǒng)各類不同視覺傳感器的去畸變方法，主要通過投影方式將世界坐標(biāo)系下的圖像投影到虛擬球面坐標(biāo)系和虛擬柱面坐標(biāo)系下，從而依靠2D—>3D的相機(jī)變換來去除畸變。部分算法在長期實踐基礎(chǔ)上相對于經(jīng)典去畸變算法有所改進(jìn) 。







審核編輯：劉清