計(jì)算成像是利用計(jì)算機(jī)及軟件方法,結(jié)合現(xiàn)代傳感器、現(xiàn)代光學(xué)等技術(shù)創(chuàng)造出新型成像設(shè)備及應(yīng)用的綜合技術(shù)。
1?計(jì)算成像技術(shù)簡(jiǎn)介
計(jì)算成像技術(shù)(Computational Photograpy)[注]的目的是輸出普通相機(jī)所不能夠拍攝出的圖片。2004年斯坦福大學(xué)計(jì)算成像課程以及2005年麻省理工專題討論會(huì)上給出的定義是:?計(jì)算成像結(jié)合了大量的計(jì)算數(shù)字傳感器現(xiàn)代光學(xué)激勵(lì)器探測(cè)器以及巧妙的光線來(lái)擺脫傳統(tǒng)膠片相機(jī)的限制,并且能夠創(chuàng)造新穎的圖像應(yīng)用。
本文將計(jì)算成像總結(jié)為:?計(jì)算成像是利用計(jì)算機(jī)及軟件方法,結(jié)合現(xiàn)代傳感器、現(xiàn)代光學(xué)等技術(shù)創(chuàng)造出新型成像設(shè)備及應(yīng)用的綜合技術(shù)。計(jì)算成像包含的要素包括:計(jì)算機(jī)、現(xiàn)代傳感器、現(xiàn)代光學(xué)以及改進(jìn)成像流程的軟件方法。以上要素不是單獨(dú)孤立存在于計(jì)算成像的,它們之間是緊密聯(lián)系相互協(xié)作的關(guān)系,計(jì)算成像技術(shù)通過(guò)在傳統(tǒng)相機(jī)中加入以上元素來(lái)改進(jìn)傳統(tǒng)成像中存在的問題。
2?計(jì)算成像的研究?jī)?nèi)容
計(jì)算成像是一個(gè)正快速發(fā)展的新興領(lǐng)域,計(jì)算成像研究的內(nèi)容比較發(fā)散,目前還沒有一個(gè)完整的分類方法,計(jì)算成像研究熱點(diǎn)問題主要集中在高動(dòng)態(tài)范圍成像HDRI( high dynamic range imaging)圖像清晰化( imagedeblurring)擴(kuò)展景深( extended depth of field photography)光場(chǎng)( lightfield)等方面。在計(jì)算成像領(lǐng)域有很多不同的角度和不同的方法來(lái)解決上述問題,根據(jù)這些問題進(jìn)行組織與分類并不能全面了解計(jì)算成像這個(gè)新興領(lǐng)域。本文從計(jì)算場(chǎng)景、計(jì)算光學(xué)、計(jì)算傳感器以及計(jì)算處理四個(gè)方面介紹計(jì)算成像技術(shù)研究?jī)?nèi)容。
2.1?計(jì)算場(chǎng)景
場(chǎng)景中光照對(duì)攝影有很大的影響,在進(jìn)行攝影創(chuàng)作時(shí)往往會(huì)添加人造光源(閃光燈、外景燈)等來(lái)提升照片的藝術(shù)效果。計(jì)算成像技術(shù)則通過(guò)在場(chǎng)景中加入結(jié)構(gòu)化的人造光源來(lái)計(jì)算場(chǎng)景中拍攝物體的特性,進(jìn)而更好地展現(xiàn)所拍攝的場(chǎng)景
1)?閃光/非閃光圖像
閃光/非閃光圖像處理技術(shù)是在同一場(chǎng)景中連續(xù)拍攝一張閃光圖像和一張非閃光圖像,利用閃光圖像和非閃光圖像的特點(diǎn),經(jīng)過(guò)計(jì)算處理后獲得一張高質(zhì)量圖像的技術(shù)。Petschnigg等人使用閃光圖像輔助非閃光圖像進(jìn)行降噪處理得到一張柔和的清晰圖像,如圖1所示。
圖1?閃光和非閃光圖像
2)?用于深度邊緣檢測(cè)的多閃光相機(jī)
單幅圖像提取拍攝物體的邊緣通常是通過(guò)測(cè)算物體邊緣的亮度變化得到的,然而物體與背景亮度以及顏色變化不大的情況下則很難測(cè)準(zhǔn)物體邊緣。計(jì)算成像技術(shù)可以利用不同位置的閃光照片在物體邊緣產(chǎn)生陰影,從而對(duì)物體深度邊緣進(jìn)行檢測(cè)。如圖2所示為在4個(gè)不同的位置鏡頭的上下左右閃光拍攝4張照片,通過(guò)4張不同閃光位置的照片檢測(cè)出邊緣輪廓,并用于風(fēng)格化場(chǎng)景,以及重要特征表示。計(jì)算場(chǎng)景技術(shù)與單純的圖像處理相比,是通過(guò)拍攝過(guò)程的改進(jìn)來(lái)解決以往圖像處理技術(shù)中的難題。
圖2?用多閃光相機(jī)進(jìn)行深度邊緣檢測(cè)和風(fēng)格化渲染
3)?基于投影散焦的重聚焦
從單幅照片計(jì)算出場(chǎng)景中物體的深度信息是非常困難的。圖3展示了投影結(jié)構(gòu)光的圖像深度圖以及重新聚焦后圖像。使用一個(gè)分光鏡分離并對(duì)齊投影儀和照相機(jī),然后用投影儀向場(chǎng)景中投射帶有白點(diǎn)網(wǎng)格的格雷碼樣式光線。投影儀聚焦在場(chǎng)景中所有物體之后,當(dāng)投影的光打在遠(yuǎn)處的物體上時(shí)白點(diǎn)就會(huì)越來(lái)越清晰銳利,反之,白點(diǎn)會(huì)變大并且失焦模糊。使用區(qū)域分割法分割出不同的區(qū)域后,利用打在各個(gè)區(qū)域上的白點(diǎn)大小可以評(píng)估出該區(qū)域物體深度。
4)摳圖與場(chǎng)景合成
在攝影創(chuàng)作時(shí)常常需要對(duì)場(chǎng)景中某些元素進(jìn)行后期加工,如在場(chǎng)景中添加主體、替換圖像中不合適的部分使之更自然美觀。計(jì)算成像技術(shù)研究中一個(gè)重要部分就是對(duì)場(chǎng)景中主體的提取以及場(chǎng)景的合成。為了彌補(bǔ)某些圖像在拍攝時(shí)構(gòu)圖考慮不周詳?shù)纫蛩貛?lái)的遺憾,圖4所示為一種基于百萬(wàn)圖像的場(chǎng)景合成方法。該方法通過(guò)在巨型數(shù)據(jù)庫(kù)中搜索與待合成圖像中缺失部分相似圖像,利用圖像合成方法進(jìn)行場(chǎng)景合成獲得完美圖像。雖然這種方法消耗巨大的計(jì)算量,搜索時(shí)間較長(zhǎng),但它代表了計(jì)算場(chǎng)景的一個(gè)典型應(yīng)用方向。
圖4?使用巨型圖像庫(kù)進(jìn)行場(chǎng)景合成
2.2?計(jì)算光學(xué)
計(jì)算光學(xué)是計(jì)算成像技術(shù)的一個(gè)重要研究?jī)?nèi)容。計(jì)算光學(xué)是對(duì)傳統(tǒng)相機(jī)的原理以及拍攝過(guò)程的創(chuàng)新,計(jì)算光學(xué)通過(guò)對(duì)傳統(tǒng)相機(jī)鏡頭、快門以及光圈等部件的結(jié)構(gòu)以及工作過(guò)程的改進(jìn)來(lái)提升相機(jī)的性能。傳統(tǒng)相機(jī)的工作過(guò)程可以看做是對(duì)場(chǎng)景的一個(gè)持續(xù)編碼,而這個(gè)編碼過(guò)程的編碼器是一個(gè)固定的編碼器,在編碼過(guò)程中會(huì)損失相當(dāng)一部分的頻域信息。計(jì)算光學(xué)可以看做是一種對(duì)上述編碼過(guò)程的改造技術(shù),通過(guò)對(duì)鏡頭快門以及光圈等部件的改造,提高編碼器的帶寬,從而使相機(jī)能夠記錄更多頻域上的信息,進(jìn)而提高相機(jī)的性能。
1)編碼快門相機(jī)
傳統(tǒng)相機(jī)拍攝運(yùn)動(dòng)物體時(shí)往往由于曝光時(shí)間長(zhǎng)于安全快門導(dǎo)致物體運(yùn)動(dòng)模糊,如圖5( b)?所示,運(yùn)動(dòng)模糊圖像復(fù)原是一個(gè)著名的病態(tài)問題。計(jì)算成像在不提高光學(xué)元件性能的前提下,通過(guò)對(duì)相機(jī)快門工作過(guò)程的改造,更好地解決了運(yùn)動(dòng)模糊復(fù)原這一傳統(tǒng)難題,如圖5( a)?所示。這種相機(jī)在曝光過(guò)程中,鏡頭前面的快門會(huì)不停地開關(guān)動(dòng)作,其開關(guān)的間隔時(shí)間是經(jīng)過(guò)預(yù)先編碼優(yōu)化設(shè)計(jì)的這樣的編碼快門可以看成是一個(gè)寬帶濾波器,使用這種相機(jī)拍攝的照片能夠更多地保留場(chǎng)景的高頻信息,并且將傳統(tǒng)反卷積問題轉(zhuǎn)換為良態(tài)問題( well-posedproblem),從而恢復(fù)出清晰的照片,如圖5(c)所示。
圖5?編碼快門相機(jī)
2)編碼光圈相機(jī)
如圖6所示為使用一個(gè)編碼光圈替代傳統(tǒng)光圈形成編碼光圈相機(jī)。與編碼快門類似編碼光圈可以看作是將傳統(tǒng)光圈改進(jìn)成一個(gè)寬帶濾波器。使用編碼光圈相機(jī)拍攝的照片經(jīng)過(guò)處理后可以得到高分辨率的全對(duì)焦圖像和場(chǎng)景深度圖。利用全對(duì)焦圖像和場(chǎng)景深度圖可以讓用戶在拍攝后選擇對(duì)焦點(diǎn)進(jìn)行重新對(duì)焦,如圖7所示。
編碼光圈相機(jī)拍攝的圖像與傳統(tǒng)相機(jī)拍攝的圖像區(qū)別在于它拍攝的圖像不能夠直接用于顯示,它需要利用光場(chǎng)原理恢復(fù)場(chǎng)景信息。設(shè)計(jì)更加合理的編碼光圈和研究更有效的恢復(fù)算法是該方向的研究重點(diǎn)問題。相信在未來(lái)的家用相機(jī)中一定會(huì)出現(xiàn)編碼光圈的身影。
圖6?傳統(tǒng)光圈與編碼光圈
3)基于微鏡頭陣列的光場(chǎng)相機(jī)
如何通過(guò)現(xiàn)有2D傳感器獲得4D光場(chǎng)是光場(chǎng)研究的首要問題。如圖8a所示為在一個(gè)中畫幅相機(jī)的主鏡頭與傳感器中間加入一組微鏡頭陣列構(gòu)成一個(gè)可以手持拍攝光場(chǎng)的相機(jī)。該相機(jī)拍攝的圖像是光場(chǎng)通過(guò)多個(gè)微鏡頭組的重新組織與聚合該圖像根據(jù)光場(chǎng)理論可以恢復(fù)出不同深度的重聚焦圖像如圖8b所示。隨著每個(gè)微鏡頭下圖像分辨率的線性增長(zhǎng)重新聚焦的圖像銳利度也呈線性增長(zhǎng)。這種特性可以用來(lái)在不縮小光圈的情況下擴(kuò)展圖像的景深并且可以保證更短的曝光時(shí)間以及更低的圖像噪聲如圖8c所示。
圖8 基于微鏡頭陣列的手持光場(chǎng)相機(jī)
4)?可編程成像
可編程成像技術(shù)是在光學(xué)系統(tǒng)與傳感器之間加入可編程控制器,通過(guò)對(duì)場(chǎng)景輻射量以及幾何參數(shù)測(cè)量來(lái)改變光學(xué)系統(tǒng)特征的技術(shù)。通過(guò)制定不同的衰減模式,它可以實(shí)現(xiàn)傳統(tǒng)相機(jī)不可能拍攝出的各種不同的新穎圖像。
(1)自適應(yīng)動(dòng)態(tài)范圍相機(jī)
自適應(yīng)動(dòng)態(tài)范圍相機(jī)針對(duì)特殊場(chǎng)合動(dòng)態(tài)范圍變化較大情況下普通相機(jī)難以拍攝到清晰圖像的問題(如圖9(b)所示),在鏡頭前放置一塊液晶面板作為反饋控制器(如圖9(a)所示),對(duì)攝像機(jī)拍攝的圖像分析后控制液晶面板進(jìn)行反饋控制,進(jìn)而達(dá)到自適應(yīng)動(dòng)態(tài)范圍(如圖9(c)所示。
圖9?自適應(yīng)動(dòng)態(tài)范圍相機(jī)及效果圖
(2)數(shù)字微鏡矩陣可編程相機(jī)
數(shù)字微鏡矩陣可編程相機(jī)使用一塊微鏡矩陣作為控制器,通過(guò)對(duì)微鏡矩陣鏡子偏轉(zhuǎn)角度的編程控制達(dá)到可編程成像的目的,如圖10所示。該相機(jī)用于自適應(yīng)動(dòng)態(tài)范圍成像特征檢測(cè)以及目標(biāo)檢測(cè)等應(yīng)用。
圖10?數(shù)字微鏡矩陣可編程相機(jī)
(3)無(wú)鏡頭可控光圈編程相機(jī)
無(wú)鏡頭可控光圈編程相機(jī)使用一個(gè)可控光圈代替?zhèn)鹘y(tǒng)的鏡頭成像(如圖11所示)。因?yàn)闆]有鏡頭,光圈定義了場(chǎng)景和圖像傳感器之間的映射,這個(gè)可編程相機(jī)搜集整個(gè)視場(chǎng)中的光線。該相機(jī)可以改變光圈位置來(lái)觀察不同方向的場(chǎng)景,避免傳統(tǒng)相機(jī)改變視場(chǎng)方向要移動(dòng)相機(jī)的問題;它還可以編程控制來(lái)分裂視場(chǎng)抓拍細(xì)分圖像,細(xì)分圖像每個(gè)部分對(duì)應(yīng)一個(gè)不同方向的視場(chǎng),這種功能可用于對(duì)某些特定目標(biāo)進(jìn)行重點(diǎn)跟蹤。
圖11?無(wú)鏡頭可控光圈編程相機(jī)
可編程成像技術(shù)可以實(shí)現(xiàn)很多有趣的功能,達(dá)到一機(jī)多用的效果。可編程成像技術(shù)有以下兩個(gè)優(yōu)點(diǎn):用戶可以根據(jù)需要來(lái)設(shè)定特定的功能;可以針對(duì)某種特定的應(yīng)用開發(fā)最適合應(yīng)用的視覺圖像。但是從以上實(shí)例可以看出,可編程成像技術(shù)依然處于實(shí)驗(yàn)室研究階段,在提升圖像質(zhì)量以及實(shí)用性方面還需要深入的研究。
5)壓縮成像
壓縮成像(compressed imaging)是Rice大學(xué)Richard Baraniuk和Helly領(lǐng)導(dǎo)的團(tuán)隊(duì)提出的新的基于壓縮傳感(compressed sensing)理論的成像機(jī)制。它利用一個(gè)數(shù)字微鏡面陣列(DMD digital micromirror device )?完成對(duì)場(chǎng)景的線性投影,每次線性投影得到的光線通過(guò)單個(gè)傳感器完成光電轉(zhuǎn)換,得到一個(gè)線性測(cè)量數(shù)據(jù)。通過(guò)遠(yuǎn)小于預(yù)成像分辨率的測(cè)量數(shù)進(jìn)行測(cè)量并重建原始圖像。重建圖像的質(zhì)量取決于測(cè)量數(shù)據(jù)的數(shù)量。
如圖12所示,場(chǎng)景聚焦到DMD上,而DMD根據(jù)RNG random number generator?產(chǎn)生的偽隨機(jī)模式將入射光線反射然后聚焦到單個(gè)傳感器上,通過(guò)光電轉(zhuǎn)換形成一個(gè)測(cè)量數(shù)據(jù)。而要最終成像需要利用多個(gè)測(cè)量數(shù)據(jù)重建原始圖像。圖13展示了對(duì)64×64的場(chǎng)景進(jìn)行壓縮成像的結(jié)果。
圖12?壓縮傳感成像系統(tǒng)
圖13?壓縮成像圖像
采用單像素傳感器加DMD方案的壓縮成像技術(shù),一方面DMD成本相對(duì)于傳統(tǒng)矩陣傳感器的成本低;另一方面它所需的經(jīng)光電轉(zhuǎn)換得到的測(cè)量數(shù)要遠(yuǎn)小于預(yù)成像的分辨率,相對(duì)于單傳感器掃面式的圖像采集方法有速度快的優(yōu)勢(shì)。隨著壓縮傳感技術(shù)的進(jìn)一步成熟壓縮成像必將會(huì)在特定的成像領(lǐng)域發(fā)揮重要作用。
6)多相機(jī)陣列
斯坦福大學(xué)構(gòu)造了一個(gè)由128個(gè)640×480分辨率的攝像機(jī)組成的攝像機(jī)陣列用于捕獲光場(chǎng)圖像,如圖14所示。該攝像機(jī)陣列可以看成一個(gè)合成孔徑相機(jī),這些相機(jī)拍攝的圖像經(jīng)過(guò)軟件處理重新聚焦后可以穿透樹叢及人群。多相機(jī)陣列在機(jī)場(chǎng)和火車站等人群密集區(qū)進(jìn)行監(jiān)控時(shí),將發(fā)揮出其合成孔徑優(yōu)勢(shì),大大提高對(duì)可疑份子的追蹤能力。多相機(jī)矩陣的研究多處于實(shí)驗(yàn)室研究階段。
2.3?計(jì)算傳感器
計(jì)算傳感器是使用計(jì)算機(jī)技術(shù)對(duì)傳統(tǒng)傳感器進(jìn)行改進(jìn)制造出新形式的傳感器。傳統(tǒng)圖像傳感器是由多個(gè)感光單元組成的2D傳感器,單獨(dú)使用2D傳感器不能捕獲4D光場(chǎng)。傳感器計(jì)算技術(shù)試圖通過(guò)設(shè)計(jì)新形式的計(jì)算傳感器來(lái)捕獲3D或4D信息。
1)Foveon X3直接圖像傳感器
傳統(tǒng)的CCD或CMOS傳感器通過(guò)將紅綠藍(lán)3色傳感單元按照一定的順序排列形成彩色圖像。Foveon公司研發(fā)的X3直接圖像傳感器的每個(gè)傳感單元垂直排列了紅綠藍(lán)3色傳感元件(如圖15所示)。光線經(jīng)過(guò)每層傳感元件會(huì)過(guò)濾掉相應(yīng)顏色的光線,并記錄該顏色光線強(qiáng)度。同等像素的X3圖像感光器比傳統(tǒng)CCD銳利兩倍,提供更豐富的彩色還原度以及避免采用Bayyer Pattern傳統(tǒng)感光器所特有的色彩干擾。另外,由于每個(gè)像素提供完整的3原色信息把色彩信號(hào)組合成圖像文件的過(guò)程簡(jiǎn)化很多,降低了對(duì)圖像處理的計(jì)算要求。在像素?cái)?shù)量激增的時(shí)代Foveon X3傳感器雖然在像素?cái)?shù)量上與普通傳感器相似,但獲得的圖像尺寸僅為普通傳感器的1/3,這成為Foveon X3傳感器推廣的一個(gè)重要問題。
圖15 Foveon X3直接圖像傳感器
2)?富士Super CCD SR高動(dòng)態(tài)范圍傳感器
富士公司開發(fā)一種高動(dòng)態(tài)范圍傳感器——超級(jí)CCD傳感器(Super CCD SR)。該傳感器在每個(gè)傳感單元內(nèi)放置2個(gè)不同敏感度的感光元件,如圖16所示,每個(gè)感光單元有兩重測(cè)量值,這些測(cè)量值經(jīng)過(guò)內(nèi)置芯片綜合后輸出一張高動(dòng)態(tài)范圍圖像。
3)Pixim DPS數(shù)字像素系統(tǒng)
PDS(digital pixel system)?數(shù)字像素系統(tǒng)是美國(guó)Pixim公司在斯坦福大學(xué)AbbaselGamal教授于20世紀(jì)90年代技術(shù)的基礎(chǔ)上研發(fā)的一種新型圖像傳感系統(tǒng)。DPS技術(shù)在攝像機(jī)圖像捕捉與處理領(lǐng)域掀起了巨大的變革。傳統(tǒng)攝像機(jī)的每個(gè)像素?zé)o法根據(jù)同一場(chǎng)景中的強(qiáng)光和弱光進(jìn)行調(diào)節(jié),但DPS技術(shù)則可以使成千上萬(wàn)的像素像單獨(dú)的攝像機(jī)一樣運(yùn)作,并可進(jìn)行自我調(diào)節(jié)。DPS每個(gè)像素上都包含一個(gè)ADC(模數(shù)轉(zhuǎn)換器),每個(gè)像素在捕捉到光信號(hào)時(shí),ADC直接將光信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)并將其放大,最大限度地節(jié)省了無(wú)效的傳輸操作,使信號(hào)衰減和色度亮度串?dāng)_降低到最小,達(dá)到快速、低噪聲的輸出視頻效果。DPS會(huì)自動(dòng)消除影響成像質(zhì)量的視覺噪聲(如眩光反光),從而提供高分辨率、色彩清晰自然的圖片。
4)DLP技術(shù)
DLP(digital lightprocessor)由DLP芯片以及周圍精密電子元件構(gòu)成。DLP芯片在1987年由德州儀器TI的Hornbeck博士發(fā)明。DLP芯片是世界上最精密的光開關(guān)。它包含一個(gè)多達(dá)200萬(wàn)個(gè)安裝在鉸鏈上的微鏡矩陣(如圖(18b)所示);每個(gè)微鏡的大小小于人頭發(fā)絲的1/5。DLP芯片的微鏡安裝在微型鉸鏈上,從而使其可以在DLP系統(tǒng)傾向光源(打開)或背離光源(關(guān)閉),進(jìn)而造成像素的或明或暗。輸入半導(dǎo)體的比特流圖像代碼指引每個(gè)微鏡每秒開關(guān)多達(dá)數(shù)千次。
當(dāng)微鏡打開次數(shù)多于關(guān)閉次數(shù)時(shí),將反射淺灰像素,當(dāng)微鏡關(guān)閉次數(shù)多于打開次數(shù)時(shí)將反射深灰像素。DLP系統(tǒng)中的微鏡可反射多達(dá)1024個(gè)灰階的像素將進(jìn)入DLP芯片的視頻或圖形信號(hào)轉(zhuǎn)換成灰度級(jí)非常詳細(xì)的圖像。DLP技術(shù)可以用于高性能成像、超光譜成像、結(jié)構(gòu)照明、機(jī)器視覺以及其他方面的應(yīng)用。
2.4 計(jì)算圖像處理
計(jì)算圖像處理技術(shù)是指在不使用特殊的光學(xué)成像設(shè)備的情況下將普通圖像編碼處理后得到新圖像的技術(shù)。計(jì)算處理技術(shù)與傳統(tǒng)的壓縮、縮放等簡(jiǎn)單圖像處理不同,計(jì)算處理包含了更多更復(fù)雜的處理,計(jì)算處理技術(shù)編碼處理后的圖像是使用傳統(tǒng)相機(jī)所不可能得到的圖像。傳統(tǒng)相機(jī)拍攝的照片往往由于焦距、曝光時(shí)間、光圈敏感度以及噪聲問題影響了人的視覺感受以及計(jì)算機(jī)處理。計(jì)算處理技術(shù)將傳統(tǒng)相機(jī)拍攝多張不同參數(shù)的圖像進(jìn)行融合重構(gòu),形成更適合人類視覺觀看或計(jì)算機(jī)視覺更容易處理的圖像。
1)不同曝光值的圖像計(jì)算處理
由于自然場(chǎng)景中的動(dòng)態(tài)范圍遠(yuǎn)大于相機(jī)動(dòng)態(tài)范圍,調(diào)節(jié)不同曝光值可以將場(chǎng)景中動(dòng)態(tài)范圍分為多個(gè)區(qū)段分別捕獲。如圖19所示使用不同曝光的圖像序列組合成高動(dòng)態(tài)范圍圖像,再經(jīng)過(guò)色調(diào)映射形成一幅可以在普通顯示器上顯示的高質(zhì)量圖像。
2)不同焦點(diǎn)的圖像計(jì)算處理
雖然某些情況下淺景深圖像能突出拍攝主題獲得更好的藝術(shù)效果,但是某些特定應(yīng)用要求全視場(chǎng)都清晰以便對(duì)場(chǎng)景進(jìn)行分析,這就需要對(duì)淺景深圖像進(jìn)行景深擴(kuò)展。單獨(dú)使用一張淺景深圖像進(jìn)行景深擴(kuò)展是非常困難的,計(jì)算圖像技術(shù)采用多張圖像融合的方法解決這一問題。如圖20所示將多張不同對(duì)焦距離的微距圖像合成一張各個(gè)距離全部清晰的圖像,控制相機(jī)在兩個(gè)焦點(diǎn)之間進(jìn)行階段對(duì)焦拍攝,經(jīng)過(guò)計(jì)算處理融合成一張高質(zhì)量長(zhǎng)景深圖像。
3)?不同視場(chǎng)的圖像計(jì)算處理
使用多個(gè)相機(jī)各自拍攝或用一個(gè)相機(jī)多次拍攝大場(chǎng)景中的一部分然后拼接成一個(gè)大場(chǎng)景是計(jì)算處理技術(shù)的一個(gè)研究?jī)?nèi)容。如圖21所示為一種使用不變量特征自動(dòng)縫合技術(shù)將多張小視場(chǎng)圖像縫合成一張大視場(chǎng)全景圖像。
圖21?不同視場(chǎng)圖像拼接縫合處理
4 )?多幀超分辨率
多幀圖像超分辨率是指從低分辨率的圖像序列恢復(fù)出高分辨率的圖像。基于序列或多幅圖像的超分辨率增強(qiáng)就是利用這些不同,但相互補(bǔ)充的信息以及目標(biāo)的先驗(yàn)信息,從一系列低分辨率的圖像恢復(fù)出高分辨率的單幅圖像。如圖22所示為多幀圖像超分辨率過(guò)程示意圖,圖23為超分結(jié)果圖。
圖22?超分辨率重建過(guò)程示意圖(每類圖元代表圖像中一類信息)
a.表示一組低分辨率圖像序列,b.是處理后得到的清晰圖片
圖23?通過(guò)一組低分辨率圖像序列(頸動(dòng)脈MRI圖像)得到頸動(dòng)脈的清晰圖片
計(jì)算處理技術(shù)利用計(jì)算機(jī)算法來(lái)提高圖像質(zhì)量,它不用改變相機(jī)結(jié)構(gòu)卻能獲得更豐富的圖像應(yīng)用,相比計(jì)算光學(xué)與計(jì)算傳感器,計(jì)算處理技術(shù)更容易實(shí)現(xiàn)。隨著算法的成熟以及數(shù)字圖像處理器的性能提高,很多計(jì)算處理技術(shù)將可以集成在數(shù)碼相機(jī)中。
3 總結(jié)與展望
計(jì)算成像并不是一個(gè)全新的技術(shù)它是對(duì)傳統(tǒng)成像技術(shù)、圖像處理技術(shù)、計(jì)算機(jī)圖形學(xué)以及計(jì)算機(jī)視覺等眾多學(xué)科領(lǐng)域研究?jī)?nèi)容的繼承顛覆與超越,它是一個(gè)跨光學(xué)計(jì)算機(jī)電子科學(xué)等多個(gè)學(xué)科的系統(tǒng)科學(xué)。
近幾年計(jì)算成像逐漸成為一個(gè)熱門的研究領(lǐng)域,在ACM、SIGGRAPH、IEEE 、CVPR 等頂級(jí)國(guó)際會(huì)議上都有專題討論,從2009年至今,每年都舉行一屆計(jì)算成像專題國(guó)際會(huì)議IEEE International Conference onComputational Photography (ICCP)。Stanford大學(xué)已研制出用于計(jì)算成像的實(shí)驗(yàn)平臺(tái)Camera2.0。
本文僅列舉了一些這個(gè)領(lǐng)域內(nèi)的典型案例。從這些典型的案例中我們可以看出,雖然計(jì)算成像的研究?jī)?nèi)容是發(fā)散的,但目的都是一致的,那就是如何讓相機(jī)記錄更豐富的內(nèi)容讓我們有更豐富的視覺感受。計(jì)算成像領(lǐng)域已經(jīng)取得了很多令人振奮的創(chuàng)造性成果,這些成果必將會(huì)影響未來(lái)成像技術(shù)的發(fā)展方向。
編輯:黃飛
評(píng)論
查看更多