01

Background

傳統圖像信號處理芯片即ISP，會處理來自圖像傳感器端的RAW圖數據，以人眼感知質量為目標，設計出了多個圖像處理模塊，最終得到一張美觀自然的彩色圖像。標準的ISP一般都有缺陷校正、去噪、銳化、去馬賽克、自動白平衡等模塊。

首先是ISP處理的對象：RAW圖數據。RAW圖是CMOS或者CCD圖像傳感器將捕捉到的光源信號轉化為數字信號的原始數據。因為圖像傳感器上每個進行光電轉換的像素單元，本身是無法識別出光源中不同顏色成分的，因此需要在圖像傳感器上方覆蓋一層色彩濾波陣列，讓每一個像素只會得到R,G,B三基色中的一種彩色分量。因此RAW圖的像素值的色彩是缺失的，人眼觀看具有強烈的馬賽克效應，需要經過ISP轉換為標準的RGB圖像，這就是ISP中的核心模塊去馬賽克（Demosaic）的功能。RAW圖像數據一般是R、G、B三種像素值交錯排列，這組成了常見的標準bayer格式。其中綠色顏色像素會是紅色和藍色像素的兩倍，這是因為人眼對綠色更敏感，通過綠色像素能感知圖像結構信息。

這里展示的是典型的相機系統結構。鏡頭模組lens作為光學系統將光信號投射到sensor的感光區域后，sensor 經過光電轉換，將Bayer 格式的RAW圖像送給ISP，ISP 經過算法處理，輸出RGB 空間域的圖像給后端的視頻采集單元。在這個過程中，ISP 通過運行在其上的firmware 對ISP邏輯，lens和sensor 進行相應控制，進而完成自動對焦、自動曝光、自動白平衡等功能。其中，firmware 的運轉靠視頻采集單元的中斷驅動。另外ISP還會有配套的圖像質量調優工具PQ tools，它通過網口或者串口完成對ISP 的配置參數調整。

02

ISP Pipeline

LSC負責對鏡頭陰影矯正，去除圖像陰影。鏡頭陰影（Lens Shading）主要分為2種：亮度陰影（LumaShading）和色彩陰影（Color Shading）。

亮度陰影就是我們常說的暗角/漸暈，表現為圖像中心區域較亮，四周偏暗。亮度陰影的成因主要有2種：

1. 鏡頭本身的機械結構導致。鏡頭的各模塊在制作和組裝的過程中存在一定的工藝誤差，從而影響光線在鏡頭內部的傳播。如圖所示，較大角度進入鏡頭的一些光線被鏡頭遮擋，這些邊緣位置上的光線進入sensor時的亮度大幅衰減。
2. 鏡頭的光學特性引起。對于整個鏡頭，可將其視為一個凸透鏡。而凸透鏡中心的聚光能力遠大于其邊緣，從而導致圖像傳感器中心的光強度大于四周。此種現象也叫做邊緣光照度衰減。

色彩陰影表現為圖像中心區域與四周顏色不一致，即圖像的四周或中心區域出現偏色。色彩陰影的成因較為復雜，影響因素較多，這里做簡要介紹：

1. 鏡頭本身的光學特性（色散現象），如圖所示，鏡頭對不同波長光線的折射率不同，進而使得它們聚焦位置不一樣，導致傳感器獲得的色彩信息存在偏差。
2. 此外鏡頭和圖像傳感器之間還會引入紅外截止濾波片（IR-Cut filter），傳感器每個像素之上還制造有加強聚光能力的微透鏡，它們的存在也會引入額外的色差問題。

在實際應用中，ISP中鏡頭陰影矯正模塊會存儲一組標準光源下的校正系數，通過檢測色溫決定使用何種光源條件下的校正系數。對于非標準光源的情況，增益值由標準光源下的增益值插值得出。該步驟由上位機完成。

DPC壞點校正模塊用于校正圖像傳感器中對外界光照失效而呈現為極亮或極暗的像素點（壞點），這些壞點會因傳感器的制造瑕疵以及器件隨時間的磨損而出現。

BLC黑電平校正存在于各個ISP的處理模塊中，在真實情況下，當場景信息不存在，可以理解為全黑時，傳感器不會輸出為0，這是因為sensor本身有暗電流導致在沒有光照進來的條件下pixel也有電壓輸出；此外傳感器中ADC模塊難以將接近0的信息進行轉化。因此在其他模塊對數據做處理時，需要先減去黑電平，消除圖像信息誤差。如圖所示，若不進行黑電平校正，最后圖像色彩會不自然。

去馬賽克模塊通過色彩插值來恢復RAW數據中每個像素缺失的色彩信息，而該模塊同時對圖像的清晰度和噪聲都有顯著影響，是ISP中的核心模塊之一。

色彩插值的一般思路是:根據圖像信息平滑性的特性，使用像素點周圍與缺失色彩的同色信息來完成插值。因此如何設計一個魯棒的采樣機制是去馬賽克算法的核心。

這里展示了去馬賽克算法會遇到的經典問題。比如因為邊緣色彩過渡強烈，算法會難以對待插值點的缺失色彩進行正確地采樣，因此會出現偽彩、拉鏈效應等。同時當圖像空間頻率高而采樣頻率不足時，就會出現混疊問題，導致圖像中出現偽影。目前也有人在做進一步的研究，比如使用深度學習完成聯合去馬賽克去噪任務。

另一個核心模塊是白平衡（White Balance），該模塊的任務是確保在不同的光源條件下，場景目標呈現色彩是一致的。對圖像進行白平衡的依據來源于人類視覺系統所具有的色彩恒常性（Color Constancy），即人類對物體色彩感知不受光源影響。該機制的一種體現如圖所示，在這張圖片中，沒有一個像素點表示紅色，但是當我們從整體來看這張圖，立刻會產生“紅色草莓”、“黃色木桌”、“白色盤子”的印象。這就是我們大腦根據一些“先驗知識”進行自動白平衡的結果。但這張圖片的顏色本身還是很不自然，該問題發生的典型情況就是相機Sensor在不同色溫的光源下，被攝對象會呈現出不同的顏色，也就是色偏（Color Cast）問題。

白平衡的常用校正模型是對角模型，其數學含義是當我們能正確估計光源色溫后，將輸入圖像的各色彩通道乘以對應增益校正值，得到標準光源下的色彩值。白平衡的核心也是光源估計問題。這里介紹一個經典的算法灰度世界法，該算法的假設是色彩豐富的圖像中，場景RGB顏色分量的平均值就能反應光源顏色，在達成白平衡的圖像中圖像各顏色通道的平均值應該是相等的，即R平均=G平均=B平均，其算法流程如圖所示。

第一步，計算圖像各顏色通道的平均值和整體的平均值，這里該整體平均值記作gray； 第二步：若指定了標準光源色溫，則用標準光源顏色值與圖像各顏色通道平均值相比得到增益系數。同時也可以將Gray值與各顏色通道平均值相比，得到增益系數。后一種做法屬于自動白平衡。最后使用對角校正模型就可以完成白平衡操作。

另外，在ISP中都會有一個顏色校正模塊，CCM（Color Correction Matrix），它是通過色彩矯正矩陣對圖像的色彩進行線性變換，使得校正后的圖像的效果更接近人眼的視覺感知。該矩陣值也是經過標定得到的。這里存在一個約束是，CCM不能破壞白平衡，因此CCM需要在白平衡之后，且要保證灰色系區域仍滿足R=G=B。

數字圖像信號在采集、傳輸和顯示過程中受到成像設備以及外部環境的影響，會包含許多噪聲，噪聲會影響圖像的視覺效果，也會給后續的圖像分析，如壓縮、編碼、識別等，造成不利影響，因此需要對噪聲圖像進行去噪處理。

ISP中RAW圖去噪環節更靠近傳感器端，因此該環節能夠更有效地抑制圖像信號采集過程中遇到的噪聲，如光子散粒噪聲、固定模式噪聲、暗電流噪聲等。但即使經過RAW圖去噪，由信號采集環節引入噪聲也不會完全消除，而且當ISP將采集的圖像信號轉換到YUV域時，圖像信號又經過ISP中多個處理模塊，每個模塊不同程度地引入了新的噪聲。YUV圖像去噪環節可以在圖像最終成像前再次有效地增大圖像信號的信噪比，提高圖像質量，直接影響到后續圖像視覺效果。該環節處理的信息包括圖像亮度和色度。

人類對噪聲的知覺特性對去噪算法的設計具有指導意義：

（1）人眼對亮度和色度的空間分辨能力是不同的，在低頻段對色度的分辨能力大于亮度，而圖像主體內容是由低頻成分決定的。

（2）噪聲影響的一般規律是幅度小的高頻噪聲對主觀圖像質量影響較小，而幅度大的低頻噪聲對主觀圖像質量影響較大。

因此基本的去噪假設是對于畫面中的平坦區域（Homogeneous Area）, 也就是圖像低頻成分，認為像素變化主要是由噪聲引起的，可以加大降噪力度；對于畫面中的紋理區域（Textured Area）, 也就是圖像高頻成分即細節，認為像素變化主要是由紋理引起的，噪聲只占較小部分，需要控制降噪力度，盡量保持圖像的紋理特征。

下面簡單介紹一些常用的去噪思路。第一種是多分辨率分析。

多分辨率分析的出發點是在某種分辨率下無法檢測的特性，在另一種分辨率下便容易檢測。從數學角度上看圖像信號，圖像是具有局部變化統計特性的亮度值的二維矩陣，我們難以對整幅圖像建立統計模型，因此可以考慮在不同圖像分辨率下分析不同尺度的圖像特征。

第二種是經典的NLM算法。

利用圖像全局的自相似性，以圖像塊為單位在圖像中尋找相似區域，再對這些區域求平均，在圖像平滑的基礎上能很好地保持細節信息，魯棒性較好。

NLM算法思路如圖所示，式中p代表待去噪像素位置，q代表用于加權計算的參考像素位置，v(x)表示像素x所在圖像塊構成的像素值向量，權重w(p,q)表示像素p和q之間的相似性，注意兩個像素間的相似性一般都是由對應圖像塊的像素值向量v(x)決定的。根據NLM的思想，因為 q1和q2像素與待去噪點p像素有更相似的鄰域，而q3像素鄰域與p像素差異較大，因此，對p像素的去噪，q1和q2像素的貢獻更大。

權重w(p,q)的計算，可以用高斯加權的歐式距離來衡量，其中α為高斯核函數的標準差，一般取值為2~5。

最終權重w(p,q)計算公式如右式所示，式中Z(p)為權重歸一化常數，參數h控制指數函數的衰減速度，取值與圖像中的噪聲水平σ線性相關，取h=λ?σ，σ為噪聲圖像的標準差。

注意，NLM最后計算待去噪像素p自身所在圖像塊權重w，即p=q時，取當前最大權重。

雙邊濾波是在高斯濾波原理的基礎上做了擴展，除了考慮像素距離之外，還考慮當前像素和周圍像素亮度的差異，對距離近但顏色差異大的像素會分配小的權重，這樣就得到邊緣保持效果。

雙邊濾波的濾波器設計由兩個函數構成，一個函數是由像素幾何空間距離決定空間域濾波器系數，另一個是由像素差值決定值域濾波器系數。公式如圖所示，式中p表示當前處理像素位置，q表示鄰域內參考像素位置，I表示像素值，G表示高斯核函數，σ為高斯核函數的方差系數，S代表整張圖像，Wp是權重值的總和，用于歸一化權重。從該公式可以看到，在圖像的平坦區域，像素值變化很小，對應的像素值域（Range Weight）濾波器系數接近于1，此時空間域權重（Space Weight）起主導作用，相當于進行高斯模糊；在圖像的邊緣區域，像素值變化很大，像素值域濾波器系數影響變大，變化規律是隨著像素值差的增大，最終濾波器系數會減小，從而保持了邊緣的信息。

清晰度是圖像質量的關鍵評價指標之一，對清晰度定性的理解，可以認為它反映了圖像中邊緣和紋理的可分辨程度。對清晰度定量的分析，主要有兩個直接相關的因素：銳度和分辨率。銳度描述的是圖像邊緣過渡的快慢，過渡越快，銳度越高。分辨率描述的是像素數量，離散的像素數量越多，越能逼近真實世界的連續信號。

最下邊的一組圖展現不同銳度和分辨率下的圖像感知效果。最左邊，高銳度高分辨率的圖像，紐扣的邊緣清晰可見，能呈現出衣服真實的紋理。當銳度下降，圖像變得模糊；當分辨率下降，因為混疊，衣服紋理變得不規則，不夠細膩。

ISP中的銳化處理的都是圖像的銳度，基本思路也就是增強圖像的邊緣對比度。如圖所示，讓邊緣過渡得更劇烈，但就會引入光暈問題，在圖像邊緣出現白邊。

現實世界的場景豐富多彩，這些場景具有很高的動態范圍，場景的動態范圍定義為場景中最亮部分的亮度值與最暗部分的亮度值之比。動態范圍越廣，圖像中所能表現的層次就越豐富。

但設備中的顯示位深有限，若左下圖所示，當顯示系統的動態范圍不足時，在圖像捕捉過程中很有可能會發生鉗位（clipping），如果是亮區發生飽和稱為高光鉗位（high light clipping），如果是暗區發生鉗位則稱為陰影鉗位（shadow clipping），在同一場景中兩者可能會同時存在。

因此需要使用GTM模塊，在有限動態范圍媒介上近似顯示高動態范圍。

此外，如右下圖所示，如果不做色調映射處理，攝像機直接輸出最原始的線性圖像，但在人眼看來圖像比正常的要暗，這是因為人的視覺系統對視野中的暗區更敏感，視覺系統對暗區信號做了提升以形成更強烈的知覺。而這個特性也是ISP中引入伽馬校正的來源。

因為人眼的感知非線性，在圖像顯示結果上，我們感知的中等灰度實際只有純白色物理關照度的1/4~1/5