人類進(jìn)入智能手機(jī)時(shí)代后,攝影方式也發(fā)生了巨大變化:用來(lái)拍照的不再只是鏡頭和傳感器了,背后還加載著一系列的圖像算法,它可以用更快的速度處理圖像,并獲得更好的拍攝效果。
好作品只能依賴專業(yè)攝影師的時(shí)代過去了,圖像算法引入到手機(jī)拍照應(yīng)用后,讓人人拍出好照片成為可能。
紫光展銳擁有自主研發(fā)的圖像算法團(tuán)隊(duì),而且這些算法已普遍應(yīng)用在展銳的芯片平臺(tái)里。目前,展銳的圖像算法團(tuán)隊(duì)已經(jīng)超過了200人,分布在美國(guó)、印度、中國(guó)臺(tái)灣、上海和北京等多個(gè)國(guó)家和地區(qū)。
更好的手機(jī)拍照效果需要圖像算法的加持,為了讓大家有更好的了解,接下來(lái)的系列,我們準(zhǔn)備了幾篇科普、視頻和圖說(shuō),一起來(lái)看看吧~~~
這事得從人類對(duì)色彩的感知能力說(shuō)起…
人類對(duì)色彩的感知能力是漫長(zhǎng)進(jìn)化過程中產(chǎn)生的一項(xiàng)重要能力,它使得我們眼中的世界五彩斑斕。顏色是怎么呈現(xiàn)出來(lái)的呢?它是光線通過眼睛成像到視網(wǎng)膜上,由視網(wǎng)膜上的視細(xì)胞感知光信號(hào)的強(qiáng)弱,視覺神經(jīng)對(duì)信號(hào)的傳播,再由大腦處理所產(chǎn)生的視覺感受。顏色的產(chǎn)生極其復(fù)雜,人類所獲得的色彩感受不但取決于光的物理特性,還受心理等因素影響。
首先,我們先來(lái)了解一下顏色的物理特性。肉眼所見到的光線(一般波長(zhǎng)范圍是380-780nm,見圖1),是電磁波譜中人眼可以感知到的部分,不同波長(zhǎng)的可見光表現(xiàn)為不同的顏色,對(duì)色彩的辨別是肉眼受到可見的電磁波輻射能刺激后引發(fā)的視覺神經(jīng)感覺。
圖1:可見光波長(zhǎng)及其對(duì)應(yīng)的顏色
人眼中對(duì)光敏感的細(xì)胞分為兩類:視桿細(xì)胞和視錐細(xì)胞。其中,視桿細(xì)胞對(duì)弱光線最敏感,光譜響應(yīng)范圍覆蓋整個(gè)可見光區(qū)域,在500nm附近達(dá)到相應(yīng)的峰值,但無(wú)法區(qū)分不同的波段的光線,因此無(wú)法產(chǎn)生色覺。在非常低的光照水平下,這樣的視覺叫做暗視覺,暗視覺僅視桿細(xì)胞在工作。所以在黑暗的夜晚,人們能看到物體,卻分辨不出物體的顏色。
在高光照水平下,主要工作的是視錐細(xì)胞,有色覺,這樣的視覺叫明視覺。視錐細(xì)胞分為三類:感紅細(xì)胞(L) 、感綠細(xì)胞(M)和感藍(lán)細(xì)胞(S)。對(duì)同一波長(zhǎng)的光線,不同的視錐細(xì)胞有不同的響應(yīng)能力(見圖2),因此視錐細(xì)胞具有顏色的辨別能力。
圖2:三種視錐細(xì)胞對(duì)光的響應(yīng)能力
光源發(fā)射某一光譜分布的電磁波,經(jīng)過物體的反射或者透射進(jìn)入人眼,再通過視錐細(xì)胞對(duì)光線的探測(cè),這整個(gè)過程涵蓋了顏色的物理屬性。顏色同時(shí)受到人們的心理、現(xiàn)實(shí)經(jīng)驗(yàn)等因素的影響,某個(gè)場(chǎng)景的光在視細(xì)胞產(chǎn)生的信號(hào)并不等于人們對(duì)這個(gè)場(chǎng)景的感受。例如,一張白紙不管在紅色還是綠色燈光下,人眼看起來(lái)都會(huì)覺得這是一張白紙,這來(lái)源于大腦的經(jīng)驗(yàn)處理,這種現(xiàn)象叫做顏色恒常性。
可以說(shuō),你看到的景色都是經(jīng)過大腦處理加工過的,眼見并不一定為實(shí)哦~
圖像算法最大的用途是可以修復(fù)照片,使拍攝到的照片獲得真實(shí)的色彩效果,或者滿足用戶的某些色彩偏好。
【自動(dòng)白平衡】
在展銳的ISP(Image Signal Processing)系統(tǒng)里,主要有自動(dòng)白平衡(AWB)和顏色校正(CCM)模塊來(lái)處理色彩。
先看自動(dòng)白平衡,ISP系統(tǒng)需要根據(jù)圖像的統(tǒng)計(jì)信息,計(jì)算出圖像R、B channel的增益,以實(shí)現(xiàn)自動(dòng)白平衡功能,以求在各種復(fù)雜場(chǎng)景下均能準(zhǔn)確還原物體本來(lái)的顏色。因?yàn)槿祟愐曈X系統(tǒng)具有顏色恒常性的特點(diǎn),對(duì)事物的觀察可以不受光源的影響,但圖像傳感器不具有這個(gè)特點(diǎn),因此在不同光線下拍攝的圖像,會(huì)呈現(xiàn)出不同的顏色。比如,在晴朗的天空下拍攝的圖像可能偏藍(lán),而在燭光下拍攝的物體可能偏紅。
自動(dòng)白平衡功能,就是模擬了人類視覺系統(tǒng)的顏色恒常性特點(diǎn),來(lái)消除光源對(duì)圖像成像的不良影響。
圖3 :左邊是自動(dòng)白平衡功能關(guān)閉,右邊是自動(dòng)白平衡開啟
紫光展銳的自動(dòng)白平衡算法具有以下特點(diǎn):
效果穩(wěn)定性好:所謂效果穩(wěn)定性,指的是拍照?qǐng)鼍鞍l(fā)生細(xì)微改變時(shí),圖像色彩效果不會(huì)出現(xiàn)明顯跳變。
準(zhǔn)確度高:展銳的算法在處理絕大部分場(chǎng)景時(shí),都能得到符合預(yù)期的結(jié)果,尤其是用戶關(guān)心的藍(lán)天、綠植、人物等等重點(diǎn)場(chǎng)景和混合光源、純色、夜景等難點(diǎn)場(chǎng)景。
適用范圍廣、靈活性好:展銳的算法既可以運(yùn)行在入門級(jí)相機(jī)設(shè)備上(如30萬(wàn)像素的手表項(xiàng)目)上,也可以運(yùn)行在中高端相機(jī)設(shè)備上(如3200萬(wàn)像素以上的手機(jī)項(xiàng)目),還可以應(yīng)用到車載記錄等物聯(lián)網(wǎng)領(lǐng)域中。而且,不同產(chǎn)品,展銳的自動(dòng)白平衡算法可以實(shí)現(xiàn)靈活配置,實(shí)現(xiàn)算法效果、算法復(fù)雜度、內(nèi)存消耗等多樣化的分級(jí)需求。
【顏色校正】
相機(jī)實(shí)際是在模擬人眼的彩色成像來(lái)拍圖,由于相機(jī)傳感器的RGB三通道的光譜響應(yīng)與人眼中視細(xì)胞的光譜響應(yīng)(見圖2)不同,導(dǎo)致其拍攝的圖片與人眼看到的有差別,因此需要進(jìn)行顏色校正(Color Correction Matrix,CCM)。
顏色校正矩陣一般通過標(biāo)定得到,利用圖像傳感器拍攝得到的圖像與標(biāo)準(zhǔn)圖像相比較,計(jì)算得到校正矩陣(即CCM矩陣)。利用CCM矩陣對(duì)圖像的各像素點(diǎn)的進(jìn)行驗(yàn)收校正,以獲得最接近于物體真實(shí)顏色的圖像。
一般情況下,在顏色校正過程中,都會(huì)伴隨有顏色飽和度的調(diào)整。顏色飽和度是指色彩的純度,其色彩的純度越高,圖像表現(xiàn)越鮮明;純度越低,表現(xiàn)就越黯淡。
圖4 :左邊是CCM關(guān)閉,右邊是CCM開啟
圖5:展銳CCM模塊的色彩還原效果評(píng)測(cè)
(圖中18個(gè)小圓點(diǎn)和小方點(diǎn)越接近,則表示色彩還原性越好)
隨著機(jī)器學(xué)習(xí)等高新技術(shù)的發(fā)展,以及用戶對(duì)手機(jī)拍照功能的需求日益苛刻,色彩還原技術(shù)也會(huì)面臨一些新的機(jī)遇和挑戰(zhàn),例如如何利用AI技術(shù)提升色彩還原效果,如何在多攝像頭手機(jī)上實(shí)現(xiàn)更加一致的色彩還原。這些附加技術(shù)將給用戶帶來(lái)更好的手機(jī)拍照體驗(yàn),進(jìn)而持續(xù)提升公司產(chǎn)品的競(jìng)爭(zhēng)力。
責(zé)任編輯:xj
-
算法
+關(guān)注
關(guān)注
23文章
4608瀏覽量
92846 -
手機(jī)拍照
+關(guān)注
關(guān)注
0文章
33瀏覽量
7538
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論