Lytro 公司在2011年向市場推出了第一代光場相機(jī),距今已經(jīng)過去了近十年。這款號稱“一次拍攝,多次對焦”的成像設(shè)備,在進(jìn)行首次商業(yè)發(fā)布之時(shí),在攝影界、科技界和媒體界都引發(fā)了不小的轟動(dòng)。相比于傳統(tǒng)的單反攝影相機(jī),它主打的賣點(diǎn)是不需要繁瑣地對焦和尋找攝影角度,單次拍攝后即可得到不同焦深和角度的照片。
光場相機(jī)的發(fā)明者、同時(shí)也是Lytro的創(chuàng)始人Ren Ng的博士論文獲得了ACM Dissertation Award,而他本人也獲得了"MIT Tech Review's TR35" ,"Fast Company's 100 Most Creative People in Business" ,"Silicon Valley Journal's 40 under 40" 等一系列稱號。光場相機(jī)可謂一時(shí)風(fēng)光無限,在被譽(yù)為一項(xiàng)顛覆性的技術(shù)發(fā)明的同時(shí),甚至有人視其為單反相機(jī)的歷史終結(jié)者。
然而十年過去了,負(fù)責(zé)研發(fā)、推廣這款產(chǎn)品的公司Lytro在2018年被Google收購了,公司的CEO、同樣也是這款相機(jī)的發(fā)明人Ren Ng選擇了重回學(xué)術(shù)界任職,成為UC Berkeley的一名教授,其他高管則選擇啟動(dòng)第二次創(chuàng)業(yè),創(chuàng)立了light field lab做光場全息顯示。
盡管在To C端, 光場相機(jī)的表現(xiàn)可謂慘不忍睹,使用者的反饋也是惡評如潮,但是在To B端和學(xué)術(shù)界,光場相機(jī)依然延續(xù)著比較旺盛的生命力,不僅學(xué)術(shù)文章在陸續(xù)的被發(fā)表,拓展光場相機(jī)的應(yīng)用范圍,同時(shí)國內(nèi)外少數(shù)科技獨(dú)角獸也將該技術(shù)在某些應(yīng)用領(lǐng)域進(jìn)行落地(比如德國的Raytrix和國內(nèi)的上海奕目科技,他們可謂是光場成像在工業(yè)應(yīng)用領(lǐng)域的兩大領(lǐng)頭羊)。
不僅有高校科研成果轉(zhuǎn)化,比如上海交通大學(xué)施圣賢教授成功將光場相機(jī)產(chǎn)業(yè)化落地,應(yīng)用于三維流場檢測,航空發(fā)動(dòng)機(jī)和泛半導(dǎo)體等高端智能制造檢測領(lǐng)域;亦有基于光場成像的技術(shù)發(fā)明獲得了國家重大科技進(jìn)步獎(jiǎng)項(xiàng),世界頂級學(xué)術(shù)期刊上也可以見到它的身影,比如清華大學(xué)的戴瓊海課題組,在光場成像的生物醫(yī)學(xué)顯微應(yīng)用上,有著較大的影響。
這種仿佛是一個(gè)技術(shù),在經(jīng)歷著某種興衰變革,在技術(shù)史上不乏某種技術(shù)幾起幾落的興衰交替的現(xiàn)象,驅(qū)使著學(xué)界和業(yè)界的人們一哄而上、一哄而散,不斷參與或者離開某個(gè)技術(shù)領(lǐng)域。
就光場相機(jī)而言,本文試圖從純技術(shù)角度去回答一個(gè)對該現(xiàn)象反思式的問題:光場相機(jī)的優(yōu)勢和劣勢在哪里?什么原因使得它被消費(fèi)者拋棄的同時(shí)卻又在工業(yè)界延續(xù)著自己的生命?落地應(yīng)用的現(xiàn)狀如何?本文既是自問自答,也是拋磚引玉,希望各位從事本行業(yè)的看官,能多多發(fā)表自己的高見。
01
不足篇
欲揚(yáng)先抑,回顧該設(shè)備的不足,也是對光場相機(jī)在To B市場逐漸被拋棄的一個(gè)回顧和解釋。光場相機(jī)由于其本身的硬件構(gòu)造,無法避免的存在三大先天缺陷。
1. 空間分辨率低
圖1 光場相機(jī)結(jié)構(gòu)源于《基于仿生視覺的單相機(jī)光場成像及3-3維直接轉(zhuǎn)換基礎(chǔ)》
由于光場相機(jī)為了采集不同視角的信息,在CCD前放置了一個(gè)微透鏡陣列。但是相機(jī)可以采集的總信息量卻是受限于成像芯片上CCD像素的尺寸和數(shù)目,角度信息和空間信息的關(guān)系可以簡單描述為:
信息總量=空間信息x角度信息
兩者相互折中和制約,單個(gè)視角下的光場圖像的大小,等于微透鏡陣列中微透鏡的個(gè)數(shù),由于單個(gè)微透鏡下的像素?cái)?shù)目介于100到200之間,因此微透鏡個(gè)數(shù)相當(dāng)于原始CCD像素?cái)?shù)目的100倍級別的壓縮,對于一個(gè)1000萬像素的光場相機(jī),經(jīng)過視角信息的折中壓縮后,得到的單視角有效像素?cái)?shù)目,居然只有十萬像素量級!相比起傳統(tǒng)單反相機(jī)幾千萬像素的纖毫畢現(xiàn),這個(gè)數(shù)量級的空間分辨率,對用于攝影的消費(fèi)者而言如同玩具。這也是光場相機(jī)在消費(fèi)者市場遇冷到消失的最大因素。即使Lytro后續(xù)推出了2.0代光場相機(jī),以進(jìn)一步壓縮角度分辨率的方式來提高空間分辨率,上述問題,依舊沒有得到徹底的解決。不過,這個(gè)缺陷應(yīng)該辯證看待,角度信息和空間信息的相對取舍,取決于應(yīng)用場景。
2. 基線過短
基線問題的長短問題,消費(fèi)者對其不敏感,然而在宏觀成像和測量領(lǐng)域,比如航空攝影測繪、雙目立體視覺、衛(wèi)星遙感成像,卻是一個(gè)極其重要的參數(shù)。
圖2 基線和視差關(guān)系示意圖
在多目視覺中,圖像接受者(人,機(jī)器)對于深度信息的感知,源于目標(biāo)在不同相機(jī)(眼睛)上的視差,視差大小隨著目標(biāo)物離相機(jī)的距離變化。相機(jī)之間的距離長度被稱為基線長度,在同等距離條件下,基線長度越大,則視差越大,對深度的分辨能力也越高。
對于雙目視覺,它的基線長度可以由大致平行布置的兩個(gè)相機(jī)之間的間距表示,而對于光場相機(jī),它的基線長度如何計(jì)算?如下圖所示,因?yàn)槊總€(gè)微透鏡都記錄著入射點(diǎn)光源的一部分信息,此時(shí)你把每個(gè)微透鏡都當(dāng)成是一個(gè)小相機(jī),那么你就可以直觀地得到答案,由于多個(gè)“小相機(jī)”的存在,光場相機(jī)存在多個(gè)基線,但是光場相機(jī)的最大基線長度,是被點(diǎn)亮的間隔最遠(yuǎn)的兩個(gè)微透鏡的距離。但是這個(gè)基線長度,存在兩個(gè)特性:首先是基線長度隨著點(diǎn)光源的離焦距離變化,離焦平面近的時(shí)候,只有少數(shù)個(gè)微透鏡下被點(diǎn)亮,因此最大基線長度比較短,但是離焦平面遠(yuǎn)的時(shí)候,更多的微透鏡被點(diǎn)亮,最大基線長度變大(這也是光場相機(jī)在焦平面附近,景深分辨率最差的原因);盡管如此,微透鏡的基線長度,無法超過CCD芯片尺寸本身。
圖3:雙目視覺和光場相機(jī)的基線長度對比
這種差距,和雙目視覺對比,尤其明顯,比如上圖右邊的光場基線長度,大致在2~3個(gè)微透鏡的直徑左右。由于光場相機(jī)的基線過短,在被測物距離較遠(yuǎn)的情況下,深度分辨率將會(huì)受到很大限制。
3. 相機(jī)的動(dòng)態(tài)范圍HDR被壓縮
利用上一個(gè)點(diǎn)光源的分析案例可以發(fā)現(xiàn),當(dāng)點(diǎn)光源在焦平面附近時(shí),只有少數(shù)微透鏡被點(diǎn)亮,必然有更多的光能量,集中到少數(shù)CCD上;當(dāng)點(diǎn)光源離焦平面院時(shí),多個(gè)微透鏡被點(diǎn)亮,即點(diǎn)光源的能量分布更加分散。在這種條件下,為了讓相機(jī)CCD不過曝或者過暗,被拍攝物體的亮度只能在一個(gè)比較小的動(dòng)態(tài)范圍內(nèi),使得物體離焦近時(shí)不至于過曝,離焦遠(yuǎn)時(shí)不至于過暗。
上述三大問題,嚴(yán)重限制著光場相機(jī)的應(yīng)用領(lǐng)域,也是光場相機(jī)在過去十年,不被消費(fèi)者所接納的主要原因。然而,寸有所長,尺有所短,在To B端以及學(xué)界,光場相機(jī)卻有著諸多獨(dú)特優(yōu)勢,能完成傳統(tǒng)成像設(shè)備所不能的任務(wù)。上述三大不足,在這些應(yīng)用領(lǐng)域,都得到了相應(yīng)的克服和一定程度的解決。此外,以動(dòng)態(tài)的目光看,隨著像素尺寸的縮小、芯片上像素?cái)?shù)目的增長、更高動(dòng)態(tài)范圍芯片的出現(xiàn)(甚至有些芯片號稱,開發(fā)了永遠(yuǎn)不過曝的技術(shù)),上述問題有望得到根本性的解決。
技術(shù)的興衰往往如此,峰回路轉(zhuǎn)又一村,吸引著每一個(gè)十年中的人們“Boom and Bust”。
編輯:黃飛
-
CCD
+關(guān)注
關(guān)注
32文章
882瀏覽量
142352 -
HDR
+關(guān)注
關(guān)注
4文章
278瀏覽量
32044 -
光場相機(jī)
+關(guān)注
關(guān)注
0文章
11瀏覽量
7321
原文標(biāo)題:雜談光場相機(jī)的不足、優(yōu)勢、應(yīng)用和展望(上)
文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論