如今,相機已經成為智能手機上最為重要的硬件組成之一,對于大多數消費者而言,相機的成像水平也成為了選購智能手機時考慮的主要因素之一。特別是近兩年,在行業普遍缺乏創新的情況下,智能手機的相機進化愈發成為不少廠商在營銷上的著力點。今天,小編帶你扒一扒手機攝像頭背后的那些事兒。
手機攝像頭組成結構
手機攝像頭主要由以下幾個部分組成:PCB板、傳感器、數字信號處理芯片,鏡頭等。
PCB板
PCB板又分為硬板,軟板,軟硬結合板三種(如下圖),CMOS可用任何一種板,但CCD的話就只能用軟硬結合板。這三種板中軟硬結合板價格最高,而硬板價格最低。
鏡頭
鏡頭是僅次于CMOS芯片影響畫質的第二要素,其組成是透鏡結構,由幾片透鏡組成,一般可分為塑膠透鏡(plastic)或玻璃透鏡(glass)。當然,所謂塑膠透鏡也非純粹塑料,而是樹脂鏡片,當然其透光率感光性之類的光學指標是比不上鍍膜鏡片的。
通常攝像頭用的鏡頭構造有:1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透鏡越多,成本越高,相對成像效果會更出色。
鏡頭由透鏡、濾光裝置、鏡筒三部分組成,鏡頭參數有三個,即焦距f′、相對孔徑D/f′和視場角2ω。
DSP(數字信號處理芯片)
它的功能是通過一系列復雜的數學算法運算,對數字圖像信號進行優化處理,最后把處理后的信號傳到顯示器上。
DSP結構框架:(1). ISP(鏡像信號處理器);(2). JPEG encoder(JPEG圖像解碼器)。
ISP的性能強大是決定影像流暢的關鍵,JPEG encoder的性能也是關鍵指標之一。而JPEG encoder又分為硬件JPEG壓縮方式,和軟件RGB壓縮方式。
DSP控制芯片的作用是:將感光芯片獲取的數據及時快速地傳到baseband中并刷新感光芯片,因此控制芯片的好壞,直接決定畫面品質(比如色彩飽和度、清晰度)與流暢度。
上面所說的DSP是CCD中會使用,是因為,在CMOS傳感器的攝像頭中,其DSP芯片已經集成到CMOS中,從外觀上來看,它們就是一個整體。
在攝像頭的主要組件中,最重要的就是圖像傳感器了,因為感光器件對成像質量的重要性不言而喻。
傳感器將從鏡頭上傳導過來的光線轉換為電信號,再通過內部的DA轉換為數字信號。由于傳感器的每個pixel只能感光R光或者B光或者G光,因此每個像素此時存貯的是單色的,我們稱之為RAW DATA數據。要想將每個像素的RAW DATA數據還原成三基色,就需要信號處理器ISP來處理。
圖像傳感器是起感光記錄作用的元件,和膠卷類似。有CMOS和CCD兩種類型 CCD又叫電荷轉移器件,光電二極管排成一列叫一維型直線式傳感器,光電二極管行排列叫二維型面積式圖像傳感器。
CCD由光電二極管感光部件、ccd轉移部件和電荷放大器件組成,當光照射時,光子激發電荷,電荷產生堆積,感光部件與轉移部件之間加上柵電壓,堆積的電荷在柵電壓的作用下,開始定向移動至轉移部件,經放大輸出,這些輸出的電荷信號帶有圖像信息。
CMOS圖像傳感器由金屬氧化物半導體集合而成,每一個像素可以集成多種器件,比如放大器,A/D轉換器等。
圖像傳感器的發展趨勢是高敏感化、高分辨率、省電、低壓工作等高性能方向發展。
手機攝像頭的成像原理
物方光線進入系統,經過鏡頭,到達圖像傳感器,光子打到傳感器上產生可移動電荷,這是內光電效應,可移動電荷匯集形成電信號,由于處理器無法識別電荷信號,需要把電信號轉化為數字信號,對于圖像傳感器是cmos的系統不需要外加模數轉換器,而對于以ccd作為圖像傳感器的系統需要A/D轉換器,經過模數轉換器件,電荷信號轉換成數字信號,數字信號經過放大電路進入微處理器,數字信號經過DSP數字信號處理芯片經過存儲處理后,傳輸到屏幕形成和物一樣的圖像。
手機可以取代傳統相機嗎?
可以這樣說,作為記錄的話,我們大部分人其實都不再需要單反了。作為普通人,我們日常生活中實用相機的時候無非是想記錄當下。路過的一處風景,三五知己的留念,一餐豐盛的早餐,都能激發起我們記錄下來的沖動。但是,現在手機已經能完美的做到這些了,而大部份人也是這樣做的。
從攝影的角度看,要做到很好的記錄以上的場景其實并不需要很好的攝影裝備,因為只是為了達到記錄的需求,所以對于光線,鏡頭素質,相機的性能要求不高,現在的手機攝影的功能已經很強大,在光線條件好的情況下拍出的照片絲毫不比專業相機差。
但是,受制感光元件的大小,從某種意義上說,近幾年手機攝像頭的素質并沒有質的提升。論成像效果,手機永遠比不了單反。
目前手機的感光元件最大的也止步1英寸。而在相機領域,如今全畫幅已成購買相機的基本門檻。這之間的差距巨大,從畫質上來說,手機沒有趕上和超越的可能。但手機飛速進步的成像技術與算法讓手機拍照有了質的變化。
拼不過畫質拼算法
近年來,有一項技術越來越受到手機廠商的重視,那就是HDR,High-Dynamic Range高動態范圍。
HDR肯定不是什么新鮮技術,不過如今手機中的HDR技術與過去的“欠曝、正常、過曝”所得的HDR照片可以說完全不同。
最近發布的兩款新機便向我們展示了手機中具有代表性的HDR新技術,即蘋果iPhone Xs的SmartHDR和谷歌Pixel手機的HDR+。
Smart HDR
蘋果一直被嘲炒冷飯、擠牙膏式的創新,不過在相機算法方面,蘋果毋庸置疑的處于領先地位,它在拍照方面升級的Smart HDR新技術非常值得關注。Smart HDR拼的不僅僅是速度,更是AI,即神經網絡的計算能力。
蘋果的A12芯片主要由CPU、GPU和一個神經網絡協處理器NeuralEngin構成,Smart HDR便是利用了NeuralEngine結合GPU的計算,并非過去簡單的手機拍照處理器或者ISP。
iPhone的Smart HDR功能在按下快門時相機會自動拍下4張照片,并選取最好的一張,蘋果稱其為零快門延時(Zero shutter lag)技術。
不光如此,在幀之間還拍攝了它們的復制幀,稱為幀間(interframe),有著不同的曝光級別,以保留高光細節。
以及另外一幀長曝光來捕捉更多暗部細節。
最后NeuralEngine會從中挑選最佳的4張照片合在一起,低曝光的“幀間”照片和長曝光的暗部細節,都意味著最終能夠更好地避免明亮區域的溢出、過曝情況。
這些所有背后的操作,都是在極高速下實現的,蘋果說每拍攝一次可以運行1萬億次,這并非夸張,因為在相機實時取景過程中,Smart HDR就已經在開始運算了,但對此我們在使用時可能并不會有任何感知。
HDR+
有別于傳統的HDR技術,HDR+采用了多張曝光時間相同的欠曝圖片進行合成,并不單單是傳統的機內jepg堆棧技術,而是先采集RAW堆棧再壓縮為jpeg的路徑,從而明顯提升細節動態范圍。
實際上,在你按下快門的前一刻,相機就已經提前拍攝了很多照片,當你按下快門后,算法會從已拍攝圖片中篩選出質量最好的。
那為什么單反相機就不能連續拍攝10張來自動合成超級HDR照片?這除了跟圖像處理器性能有關之外,還因為它和手機拍攝的出發點原本就是不一樣的。
一些單反相機也開始加入自動HDR模式,但也與手機HDR合成不同,手機主打的就是按一下快門,就不必做其他處理,處理步驟讓芯片去執行就好。但如果是使用單反去拍攝HDR風光照片的人,不會僅僅依賴機內堆棧合成,而往往是包圍曝光,然后在后期處理時拼接合成,類似于一種更精確的手工處理。
另外一點,相機的追求的更多是操控體驗、攝影真實記錄以及更純粹的攝影體驗,過多智能的東西加入,只會讓攝影的體驗會更差。這是兩種不同的方向。
手機“雙攝”技術
現在,似乎人人都在討論“雙攝”。手機發展的一個趨勢就是輕薄化,7mm逐漸成為手機薄厚的一個標桿和分水嶺。要想在如此輕薄的手機上追求更高的成像質量,即使有前面提到的技術加持,而受制于傳感器尺寸和鏡頭素質(這兩項直接決定了手機的成像質量),即使單攝像頭參數很好,也依然會有高感表現差、背景虛化不到位、特寫不足等等問題。
這時候,在一顆攝像頭的基礎上再加入一顆,以此來提高手機整體拍照質量便成了新的突破口。
其實雙攝像頭的理論基礎就是把原本要求縱向空間的光學體系,在橫向空間的平面上鋪展開來。這樣即達到了成像水平,也不會使攝像頭突出影響手機整體的美觀。
目前,主流雙攝像頭的功能主要可以分為兩大類:
1、利用雙攝像頭產生立體視覺,獲得影像的景深,利用景深信息進行背景虛化,3D掃描,輔助對焦,動作識別等應用;
2、利用左右兩張不同的圖片信息進行融合,以期望得到更高的分辨率,更好的色彩,動態范圍等更好的圖像質量或實現光學變焦。這兩大類大致可以分為4點:1、通過雙攝測距,可以進行距離相關的應用,這方面目前應用最廣泛的就是背景虛化;2、光學變焦;3、暗光增強;4、3D拍攝及建模。
雙攝像頭的工作原理
雖然都是兩顆攝像頭,但是不同的手機,主攝像頭和副攝像頭的工作原理卻有很大的不同。目前,雙攝手機工作原理主要有以下幾種:
1、彩色+彩色攝像頭(RGB+RGB),優勢在于可以計算景深,從而實現背景虛化和重新對焦(即先拍照后對焦);
2、彩色+黑白相機(RGB+Mono),優勢在于可以提升暗光或夜晚手機成像質量;
3、廣角+長焦鏡頭(Wide+Tele),這個組合最大優勢在于可以實現光學變焦(目前大多數主流手機廠商采用的雙攝原理);
4、彩色+深度相機(RGB+Depth),可以實現三圍重建等。前面提到的雙攝的功能就是通過這四種組合實現的。
四種中,彩色+黑白相機(RGB+Mono)和廣角+長焦鏡頭(Wide+Tele)兩種應用的最廣泛,兩種雙攝的代表分別是華為P9/10系列、Mate 9系列和iPhone 7 Plus、OPPO R11系列以及小米6等。
前面提到,廣角+長焦鏡頭組合帶來的最大優勢就是可以在手機上實現光學變焦。光學變焦(Optical Zoom)其實是相機上的一個名詞,它是通過改變光學鏡片組結構來改變鏡頭焦距,從而實現變焦。但是鏡片組結構復雜,整體尺寸無法安置于手機中。而此前的手機如果想要放大圖片,方法是后期對圖片進行裁切然后將一部分放大,這樣做的后果是圖片內的每個像素面積就會增大,圖像的畫質就會被嚴重壓縮。而廣角+長焦雙攝則解決了這一難題,在手機中實現了光學變焦。
廣角+長焦雙攝的光學變焦在于左右攝像頭擁有不同的可視角,這樣兩個攝像頭就會有不同的取景范圍。當想要拍攝廣角照片時,可以使用左攝像頭取景。如果想要長焦照片,則用右攝像頭取景,獲得長焦效果。通俗點說即,廣角鏡頭取景更寬更廣,但是取不到遠處物體;而長焦鏡頭雖然取景比較窄,但是能“看”的更遠。這樣,廣角和長焦鏡頭組合搭配,在拍照時通過鏡頭切換和算法來實現比較平滑的變焦。
在這里可能很多人會有疑問,即為什么長焦鏡頭像素會比平時主要使用的廣角鏡頭像素要高?這在于廣角鏡頭在變焦時會損失圖像信息,此時高像素的長焦鏡頭就會進行彌補,從而保證手機成像質量并提高手機變焦性能。
此外,廣角+長焦雙攝還會根據所拍攝的環境光線等決定使用哪一顆攝像頭進行拍攝。簡單說,當光線良好時,通常會使用副攝像頭,當光線不佳時則會使用主攝像頭。這在于,主攝像頭擁有更好的性能,在弱光下在保證畫面亮度下還能很好的控制噪點,這也是為什么一般在采用廣角+長焦雙攝方案的手機主鏡頭光圈都比副攝像頭光圈大的部分原因所在。
到這里,相信大家已經對于雙攝以及廣角+長焦雙攝的原理應該有了一個大致的印象,在經過了野蠻生長后,回到最終的體驗上,拼的依然是廠家自身的研發實力和技術積累。而雙攝特殊性在于它影響的是手機的拍照,而并不像2K屏幕或者全面屏等可有可無,因為當單攝像頭的創新無法再對手機成像有大的提升時,雙攝就會顯得至關重要,或者也可以說雙攝是手機成像發展過程中所必須經歷的一步。就目前的成像成像體驗來說,無論變焦還是虛化,都沒有令人失望。
對于手機拍照來說,沒有什么是一顆攝像頭解決不了的,如果有,那就再來一顆吧。
審核編輯:劉清
-
傳感器
+關注
關注
2550文章
51038瀏覽量
753086 -
智能手機
+關注
關注
66文章
18477瀏覽量
180114 -
PCB板
+關注
關注
27文章
1447瀏覽量
51610 -
信號處理
+關注
關注
48文章
1027瀏覽量
103259 -
攝像頭
+關注
關注
59文章
4837瀏覽量
95600
原文標題:手機or相機?談談手機成像技術的那些事兒
文章出處:【微信號:WW_CGQJS,微信公眾號:傳感器技術】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論