摘要:近年來,隨著光學鏡頭及成像芯片技術(shù)的不斷發(fā)展,基于常規(guī)鏡頭的傳統(tǒng)視覺系統(tǒng)由于其有限的視場范圍已經(jīng)不能滿足許多應用場合的需求。而廣角成像具有大視野的顯著特征,已成為當前計算機視覺研究的焦點和熱點。而魚眼鏡頭是一種基于仿生學的超廣角鏡頭,通過引入桶形畸變,對物理空間進行“壓縮形變”,從而獲得視角為180~270度的超廣角成像,盡管物像間差異很大,但不影響分辨率,且能保證物點與像點的一一對應關(guān)系,可以實現(xiàn)大范圍的清晰成像,在天文、氣象、森林防火以及國防軍事等領(lǐng)域有重要應用。對魚眼鏡頭的原理進行簡單的概述,然后分析了它的一些關(guān)鍵問題,接著便是對魚眼鏡頭的應用進行了簡要介紹,并在此基礎(chǔ)上對魚眼鏡頭的未來發(fā)展前景進行展望。
一、魚眼鏡頭的原理
1.1魚眼鏡頭的結(jié)構(gòu)原理
魚眼鏡頭是一種極端的廣角鏡頭,也稱全景鏡頭[4]。一般認為16mm或焦距更短的鏡頭即為魚眼鏡頭[5],但是在工程上視角范圍超過140 度的鏡頭即統(tǒng)稱為魚眼鏡頭[1]。在實際中也有視角超過甚至達到270度的鏡頭。魚眼鏡頭是一種具有大量筒形畸變的反遠攝型光組[7]。這種鏡頭的前鏡片呈拋物線狀向前部凸出,形狀與魚的眼睛相似,因此得名“魚眼鏡頭”,其視覺效果類似于魚在水中觀察水面上的事物。
圖1-1 魚在水中觀察水面事物
當魚在貼近水面的位置觀察時,視角可以達到近180°的廣角。這種現(xiàn)象在光學原理中屬于全反射和光路可逆[2]。
圖1-2全反射(左)和光路可逆(右)
超廣角的魚眼鏡頭是一種特殊鏡頭,但是在成像時因為實際生活中的景物是有既定的固定形態(tài)的,而通過魚眼鏡頭產(chǎn)生的畫面效果超出了這一范疇,所以需要合適的模型設(shè)計,以計算像點的準確位置。已知折射率公式為
(1-1)
空氣中n=1。當i=90°時,
(1-2)
由于魚眼前表面的曲率半徑很大,如若將魚眼外凸的前表面和眼前的水看成整體當作負透鏡,該透鏡將會有絕對值很大的負光焦度。借鑒仿生學原理,魚眼鏡頭是其領(lǐng)域的一大突破,人類借鑒魚類仰視水面之上半球空域的視覺原理,使用光學工程技術(shù)設(shè)計出魚眼鏡頭,并用其成像,獲得半球甚至超半球空域的場景圖像。為使入射光線強度足夠大,前置透鏡的前表面改進為凸面并且相應增大后曲面的曲率,保證原有光焦度不變,以形成彎月形的透鏡。如圖1-3
圖1-3彎月形透鏡
彎月形透鏡是作為第一個鏡頭,在其后面增加一定數(shù)量的透鏡后組成透鏡組,以確保第一透鏡能良好聚焦。魚眼鏡頭的普遍結(jié)構(gòu)特征為:透鏡前組光焦度為負,后組光焦度為正,以加大同焦距不同類型鏡頭的后工作距離。魚眼鏡頭具有廣角、短焦的特點。圖1-4為魚眼鏡頭基本結(jié)構(gòu)系統(tǒng)簡化圖[6]。
圖1-4魚眼鏡頭基本結(jié)構(gòu)系統(tǒng)簡化圖
1.2魚眼鏡頭成像畸變理論
在傳統(tǒng)光學原理中,受到高斯原理成像視角限制,能成像的空間大小極為有限。但是在我們討論的魚眼鏡頭中,為了突破成像的局限性,魚眼鏡頭引入畸變,在直徑空間上進行壓縮,以實現(xiàn)廣角成像[1]。
圖1-5相似成像與非相似成像對比示意圖
普通光學系統(tǒng)一般遵循物像相似且致力于完善這種相似性。但是魚眼鏡頭不滿足針孔成像原理,是非相似成像的一種。對于魚眼透鏡成像公式,應滿足視圖范圍中的圖像字段定義域連續(xù),以作為一個魚眼透鏡投影函數(shù)。
1.3魚眼視覺系統(tǒng)模型
魚眼鏡頭成像重點之一就是能夠正確描述三維立體空間里的目標點在成像平面上的像點,并且能夠準確建立對應關(guān)系,要完成這一目標需要建立視覺成像模型并分析規(guī)律。魚眼鏡頭多采用等距定理設(shè)計,圖1-6為空間任意一點經(jīng)魚眼鏡頭折射后成像系統(tǒng)模擬圖[2]。
圖1-6魚眼鏡頭系統(tǒng)模擬圖
模型中魚眼攝像成像模型由五個坐標系組成:世界坐標系、魚眼鏡頭坐標系、攝像機坐標系、圖像坐標系、成像坐標系。P是三維場景中的一點;h是點和投影表面展示空間之間的垂直距離;R是魚眼圖像半徑;P’是場景點P在成像平面上的投影點;ω是點相對于中心入射角;r 是圖像中心點O’與像點間的徑向距離;θ是場景點P在攝像機坐標系下的方位角;Θ是像點在圖像物理坐標系下的方位角。Sx、Sy是像素分別在橫軸以及縱軸上的物理尺寸[3][2]。
二、魚眼鏡頭畸變校正
魚眼鏡頭靠人為引入大量桶形畸變獲得大視角,從而能夠獲得大視場的圖像信息,所以圖像除畫面中心處物體形狀不變,其它本應是直線的部分都有一定的扭曲變形,這對其應用造成很多限制。例如,在安防領(lǐng)域,一個魚眼鏡頭可以代替多個普通鏡頭,進行大范圍的監(jiān)視,由于視角可達180o,故幾乎沒有監(jiān)控死角,即使只用一個鏡頭也幾乎沒有辦法移動或破壞鏡頭而不被發(fā)現(xiàn),然而由于圖像的畸變使物體難以用人眼識別,使監(jiān)視能力大打折扣;又如在機器人領(lǐng)域,自動化的機器人要求能采集周圍景物的圖像信息,并加以識別,以采取對應的行動,若采用魚眼鏡頭可使采集效率提高2-4倍,但由于引入了畸變使通常的識別軟件難以應用。所以我們需要某種方式來識別魚眼鏡頭所得圖像。一種方式是直接在原圖像中進行識別,例如文獻[1]提供了一種算法,可以識別太陽在圖像中的位置,但由于畸變的原因,同一物體在不同位置時其特征也會變化,這會極大地增加軟件的運算量,也很難實現(xiàn)對復雜圖形的識別。所以,現(xiàn)在通用的方法是通過一系列變換抵消圖像中的畸變,從而獲得正常的圖像,進而加以識別。
2.1.魚眼鏡頭設(shè)計模型
通常的光學系統(tǒng)均基于高斯光學,遵循相似成像準則,而魚眼鏡頭是非相似成像,故需要選擇其他的成像公式來替換高斯光學成像公式,每一個成像公式對應一種鏡頭設(shè)計模型。常用的魚眼鏡頭模型一共有四個,分別是等距投影(equidistanceprojection)、等立體角投影(equisolidprojection)、體視投影(stereographic projection)、正交投影(orthogonalprojection)。
(2-1)
(2-2)
(2-3)
(2-4)
式(2-2)稱為等距投影模型,如圖2- 1,入射光線的之間的角度相同,則其對應各投影點之間的間距也會相同。
圖2-1魚在水中觀察水面事物
如圖2-2,式(2-3)稱為正交投影模型,該模型的畸變很大,尤其是近180°處的圖像信息幾乎全部丟失,且如果180°之外的情況無法描述。采用這種模型的鏡頭拍出的圖片即使在視角較小的區(qū)域也會比其他模型的鏡頭的畸變更明顯。視角相對較小的廣角攝影鏡頭較符合這種模型,可以拍攝出明顯的畸變效果。因此,針對藝術(shù)攝影類的廣角鏡頭,該模型的校正效果較好。
圖2-2正交投影
式(2-4)稱為等立體角模型,該模型的特點是相等立體角的入射面會產(chǎn)生相等面積的像,其畸變程度介于等距模型與正交模型之間。(2-5)式稱為體視模型;相比之下畸變最小。這兩種鏡頭設(shè)計模型均很少被人采用。
四種模型中,等距投影因其成像高度與物方視場角成正比,方便信息處理,且具有高精度,實時性等優(yōu)點,符合當今信息化的需求,故應用最為廣泛,目前在軍事、工程及科技領(lǐng)域使用的魚眼鏡頭大多以等距投影為基礎(chǔ)進行設(shè)計,本文也將以等距模型為例進行介紹。
2.2.魚眼鏡頭畸變校正
2.2.1利用魚眼鏡頭的成像模型(球面投影型及拋物面投影模型)進行分析
球面投影型是把魚眼鏡頭的成像面等效為一個球面。這種方法的條件是所得圖片的光學中心以及變換球面的半徑,因而只適用于圓形區(qū)域。該算法由英向華及胡國義[11]提出。其算法思想為:約束條件是空間中直線的球面透視投影為大圓,以此來恢復魚眼變形校正,將所有圖像點都通過算法映射到一個球面上,并使這些球面點滿足球面投影的約束,即一條空間直線的投影必須為球面上的一個大圓。具體步驟如下:首先,在場景直線的投影曲線上選取采樣點,用變形校正模型將其映射為球面點,由于采樣點往往不全在直線上,故需要對這些采樣點進行大圓擬合。求出能使各球面點擬合大圓的球面距離的平方和最小的參數(shù),即為變形校正參數(shù)。
拋物面投影模型是球面投影型的一個推廣,把成像面看做拋物面進行變換,精度較球面投影形更高,但算法也更為復雜,應用得較少。
2.2.2基于2D和3D空間思想的校正算法
2D魚眼圖像校正是從二維空間直接校正圖像,此方法不需空間點信息,而是直接在圖像上對點進行坐標變換,投影到校正圖像上,然后進行像素灰度插值。具體包括經(jīng)度坐標校正[12]、多項式坐標變換[13-16],以及極半徑映射[17-20]等。2D模型的優(yōu)點是簡潔直接,一旦確定模型表達式,即可直接進行校正,但2D模型的局限性在于僅能在魚眼圖像與校正圖像之間直接映射,故當原圖像的視角達到180時,校正圖像的大小將接近無窮大,因此2D模型不能適用于大視角區(qū)域的校正。
3D魚眼圖像畸變校正,包括投影轉(zhuǎn)換和魚眼鏡頭標定兩種方法。具體上是把魚眼圖像上每個2D像平面點( x , y )映射到3D場景(X , Y , Z )投影構(gòu)成的2D平面點( x , y ),把圖像像素點和光線3D向量一一對應起來,從而實現(xiàn)校正。投影轉(zhuǎn)換算法是將魚眼圖像轉(zhuǎn)換成透視投影圖像,或?qū)Ⅳ~眼圖像半徑映射為入射角。原理是從照相機的位置上看,對任何投影,對于圖像上每一個像素點,都有一個對應的3D向量光線。這類模型首先在像高和入射角之間建立關(guān)系,然后根據(jù)需要在空間中放置投影平面,由入射光線反投影到投影平面上獲得校正圖像,除個別模型(例如正交投影模型)外,一般的3D校正模型在理論上對于入射角在 0°~180°之間沒有限制。
三、魚眼鏡頭的應用
最初,魚眼鏡頭僅被應用于攝影,因其在成像過程中產(chǎn)生的桶形畸變具有特殊的美感。近年來,魚眼鏡頭的應用更多地應用于廣角成像領(lǐng)域,在軍事、監(jiān)控、全景模擬,球幕投影等方面。相較于其他系統(tǒng),魚眼鏡頭具有質(zhì)量輕、體積小等優(yōu)勢,同時也具有需要消除相差的不便捷之處。
中國科學院長春光學精密機械與物理研究所及中國空空導彈研究院的姜洋等人在2012年設(shè)計了一種大視場凝視型紅外共形光學系統(tǒng)[18]。該系統(tǒng)將共形整流罩與魚眼鏡頭相結(jié)合,設(shè)計出一種應用于導彈導引的新型紅外凝視成像導引頭光學系統(tǒng),提高了導引頭穩(wěn)定性并增大了觀察視場。2014年,軍械工程學院的王龍等人提出一種應用魚眼鏡頭的廣角激光探測系統(tǒng)[19]。傳統(tǒng)的激光探測系統(tǒng)主要應用法布里珀羅標準量具或邁克爾遜干涉儀,前者需要機械掃描,因此無法探測激光脈沖;后者視場小且結(jié)構(gòu)復雜。而應用魚眼鏡頭的廣角激光探測系統(tǒng)無需機械掃描,可同時探測激光波長和入射方向。
長春理工大學光電工程學院的梁久偉等人在2011年提出了一種應用于監(jiān)控系統(tǒng)的魚眼鏡頭[20],在原有魚眼鏡頭的基礎(chǔ)上針對監(jiān)控系統(tǒng)的需求進行了改進,實現(xiàn)了單個鏡頭的全景監(jiān)控。廈門大學物理與機電工程學院的張繼艷等人在2013年設(shè)計了一種寬光譜日夜兩用魚眼監(jiān)控鏡頭[21]。現(xiàn)今市面上的日夜兩用鏡頭多采用加大景深的方式,使成像在日間和夜間焦平面之間,成像效果因此降低。而張繼艷等人所設(shè)計的寬光譜魚眼監(jiān)控鏡頭,工作波段長,成像范圍大,日間夜間均成像清晰,且具有體積小隱蔽性高等優(yōu)點。
山東大學計算機科學與技術(shù)學院的張誠和汪嘉業(yè)在2004年提出了一種利用魚眼照片實現(xiàn)三維重建和虛擬瀏覽的方法[22]。利用成像超過180度的魚眼鏡頭對某一場景前后分別拍攝一張照片,即可建立一個三維模型,用戶即可從任意角度對該場景進行觀察。信息工程大學的李科等人聯(lián)合72515部隊,在2013年研究發(fā)表了基于全景視頻的虛擬地理環(huán)境建模技術(shù)研究[23],利用裝載魚眼鏡頭的無人機等低空平臺獲取視頻資料,將其轉(zhuǎn)化為按時間排列的全景圖像序列,從而建立虛擬地理環(huán)境模型。這種大范圍的地理環(huán)境建模技術(shù)可應用于軍隊、消防、林業(yè)等領(lǐng)域的監(jiān)測。
北京林業(yè)大學水土保持學院的祁有祥等人在2009年提出了一種利用魚眼鏡頭測量林冠郁閉度的簡易方法[24]。首先用魚眼鏡頭拍攝林分冠層的圖像,然后應用Photoshop軟件測定林分郁閉度的方法分析圖像,從而得出林冠郁閉度。該方法可用于研發(fā)操作簡便的便攜性郁閉度觀測設(shè)備。
上饒師范學院物理與電子信息學院的常山在2012年發(fā)表了利用魚眼鏡頭對高斯光束的衍射變換作用,獲得平頂化聚焦的精細激光束的方法[25]。該法獲得的精細激光束可以應用于激光精細加工、微光機電系統(tǒng)和醫(yī)學治療等多種領(lǐng)域。
球幕投影廣泛應用于科技館、天文館等科普教育場所。在上個世紀70年代出現(xiàn)了球幕投影,其基本結(jié)構(gòu)為一臺放映機加魚眼鏡頭。現(xiàn)今這種方式仍在沿用,不過傳統(tǒng)放映機已換成了數(shù)字放映機。
廣州中國科學院工業(yè)技術(shù)研究的向鵬和王立鋼在2013年設(shè)計了一種可附加在手機上的魚眼鏡頭[26],小巧輕便,易安裝操作,用以增加手機攝影的樂趣和多樣性。
四、發(fā)展瓶頸及未來展望
4.1設(shè)計方面
4.1.1初始結(jié)構(gòu)的設(shè)計
相較于一般的光學系統(tǒng),魚眼鏡頭的光學結(jié)構(gòu)要復雜得多,因此對其初始結(jié)構(gòu)的要求更高。但魚眼鏡頭的設(shè)計大部分由商業(yè)公司完成,大學設(shè)計的較少,其參數(shù)均為商業(yè)機密,故被公開披露的系統(tǒng)類型、結(jié)構(gòu)參數(shù)都很少,因而沒有足夠多的定型系統(tǒng)供分析借鑒,加大了設(shè)計難度。
4.1.2邊界條件與質(zhì)量函數(shù)之間的矛盾
對于自動化光學設(shè)計來說,質(zhì)量函數(shù)的優(yōu)化必須被約束在由若干邊界條件所規(guī)定的范圍內(nèi)。不過,邊界條件越嚴格,則取得優(yōu)化解的空間越小。因此,邊界條件的約束與質(zhì)量函數(shù)的優(yōu)化是相互矛盾的。魚眼鏡頭要實現(xiàn)成像,需要極大的視場和很高的相對孔徑,因此必須以很大的相對截面?zhèn)鬟f極度傾斜的光束,這使得其光學系統(tǒng)必須包含若干個光焦度很大的組元。以第一透鏡為例,由于它在最前面,口徑最大,第二面又極度彎曲,故被稱為“彎月形透鏡”。“彎月形透鏡”是魚眼鏡頭光學系統(tǒng)中最重要的組元,因為它對魚眼鏡頭設(shè)計的成敗具有決定性的影響。實踐表明,在質(zhì)量函數(shù)的優(yōu)化過程中,這一組元的變化趨勢多是進一步增大其曲率半徑;而光學工藝、裝配工藝和機械強度等厚度類邊界條件常與這種趨勢形成尖銳矛盾。
此外,考慮到工程應用環(huán)境或成本因素,某些光學材料不宜被采用,因而材料類的邊界約束被強化。與此同時,魚眼鏡頭需要焦距很短而后工作距很長,這種要求常與像質(zhì)函數(shù)的優(yōu)化發(fā)生抵觸。
4.1.3優(yōu)化中的“病態(tài)”處理
“病態(tài)”是光學系統(tǒng)自動化過程中出現(xiàn)的發(fā)散、震蕩、慢收斂和無優(yōu)化解現(xiàn)象的統(tǒng)稱。魚眼鏡頭自動優(yōu)化中,“病態(tài)”現(xiàn)象十分頻繁。用傳統(tǒng)方法處理魚眼鏡頭優(yōu)化中的“病態(tài)”是遠遠不夠的,可能導致“死循環(huán)”或接連不斷的持續(xù)“病態(tài)”,使優(yōu)化過程持久陷入困境。
4.2像差校正方面
(1)當目標圖像尺寸大于魚眼照片尺寸約4 倍以上,就存在明顯的馬賽克現(xiàn)象;(如圖4-1)
圖4-1魚眼鏡頭拍攝的照片(左)和消除畸變后(右)
(2)當目標圖像尺寸小于魚眼圖像照片尺寸時,目標圖像上相鄰的像素就對應魚眼照片上距離比較大的兩點,那么當系統(tǒng)實時運轉(zhuǎn)時,就會出現(xiàn)目標圖像的閃爍。
4.3展望
(1)作為新興的光學鏡頭,魚眼鏡頭還有很大的應用潛力未被挖掘,可以根據(jù)各種需要設(shè)計多種多樣的魚眼鏡頭。
(2)優(yōu)化鏡頭組的設(shè)計,獲得光學特性更加優(yōu)良的鏡頭。
(3)提高畸變校正和圖像增強技術(shù)。
-
鏡頭
+關(guān)注
關(guān)注
2文章
506瀏覽量
25634 -
光學系統(tǒng)
+關(guān)注
關(guān)注
4文章
243瀏覽量
18298 -
數(shù)字放映
+關(guān)注
關(guān)注
0文章
3瀏覽量
6172
發(fā)布評論請先 登錄
相關(guān)推薦
評論