在讓汽車(chē)洞察秋豪——秒懂自動(dòng)駕駛ISP（一）中，我們了解了什么是ISP、自動(dòng)駕駛ISP的特殊性以及黑芝麻智能NeuralIQ ISP優(yōu)勢(shì)，本期我們將深入理解打造優(yōu)質(zhì)的自動(dòng)駕駛ISP，需要經(jīng)過(guò)怎樣的圖像質(zhì)量調(diào)試和其背后的技術(shù)原理。

ISP 圖像質(zhì)量調(diào)試

ISP圖像質(zhì)量取決于算法設(shè)計(jì)和效果調(diào)試兩個(gè)方面。算法設(shè)計(jì)負(fù)責(zé)提供優(yōu)良“基因”的圖像處理算法功能，通過(guò)調(diào)試靈活的適配不同特性的攝像頭 (各類(lèi)鏡頭、CFA、HDR策略)，輸出滿(mǎn)足用戶(hù)需求的圖像質(zhì)量效果。

典型的ISP調(diào)試流程如下圖所示：

圖1 ISP調(diào)試流程

需求確認(rèn)：確認(rèn)調(diào)試攝像頭的分辨率、幀率、工作模式、應(yīng)用方向；

模組檢查：攝像頭硬件品質(zhì)檢查（模組、sensor、鏡頭）；

參數(shù)標(biāo)定：不同sensor特性差異補(bǔ)償；

客觀調(diào)試：通過(guò)圖像質(zhì)量客觀指標(biāo)的把控保證ISP 基礎(chǔ)調(diào)優(yōu)效果；

主觀調(diào)試：針對(duì)特定應(yīng)用方向和客戶(hù)需求迭代細(xì)調(diào)；

自動(dòng)駕駛ISP調(diào)試

近年來(lái)，越來(lái)越多的攝像頭應(yīng)用于汽車(chē)系統(tǒng)，已經(jīng)成為現(xiàn)代汽車(chē)中不可或缺的一部分。對(duì)于自動(dòng)駕駛的安全性而言，攝像頭輸出的圖像質(zhì)量至關(guān)重要。車(chē)載攝像頭以感光成像為理論基礎(chǔ)，實(shí)際使用中面臨著復(fù)雜使用環(huán)境的諸多挑戰(zhàn)：

夏日晴天極亮到夜晚無(wú)燈極暗的大尺度場(chǎng)景照明亮度變化范圍；

同一場(chǎng)景下，超過(guò)120db 的高動(dòng)態(tài)范圍（HDR）；

各種極端天氣：雨、霧、雪、沙塵；

復(fù)雜的光源環(huán)境與顏色還原，LED Flicker；

大景深范圍與探測(cè)距離；

低速/高速運(yùn)動(dòng)場(chǎng)景；

面對(duì)如此多的挑戰(zhàn)，結(jié)合不同的自動(dòng)駕駛應(yīng)用，給車(chē)載攝像頭ISP 的調(diào)試提出了不同的需求。舉例來(lái)說(shuō)：

高級(jí)駕駛輔助系統(tǒng)ADAS：AEC/AWB響應(yīng)時(shí)間、HDR還原、低光信噪比、顏色準(zhǔn)確性、運(yùn)動(dòng)模糊、高分辨率sensor適配性；

360°全景環(huán)視系統(tǒng)SVS：魚(yú)眼鏡頭暗角補(bǔ)償、多攝像頭調(diào)試效果一致性；

駕駛員監(jiān)控系統(tǒng)DMS：感光靈敏度與信噪比、圖像清晰度；

電子后視鏡CMS：HDR恢復(fù)、監(jiān)視器顯示圖像質(zhì)量；

黑芝麻智能圖像質(zhì)量調(diào)試案例

運(yùn)動(dòng)模糊 vs 噪聲水平

對(duì)于自動(dòng)駕駛常見(jiàn)的夜晚低光場(chǎng)景，ISP 輸出圖像為了獲取合適的圖像亮度，往往需要將曝光時(shí)間增長(zhǎng)到最大值，并且提高增益的補(bǔ)償。

運(yùn)動(dòng)場(chǎng)景曝光時(shí)間的增加會(huì)帶來(lái)運(yùn)動(dòng)模糊問(wèn)題，增益的設(shè)置則會(huì)影響到圖像整體的噪聲水平。尤其是大FOV鏡頭成像的邊角區(qū)域，一方面邊角透視失真導(dǎo)致運(yùn)動(dòng)模糊更加嚴(yán)重，另一方面由于鏡頭陰影亮度補(bǔ)償噪聲水平也會(huì)更高。如何平衡曝光時(shí)間和增益的分配，并調(diào)試合適的去噪?yún)?shù)，是處理這類(lèi)問(wèn)題的核心考量。

當(dāng)曝光時(shí)間從28ms 變化到20ms時(shí)，運(yùn)動(dòng)模糊可以得到改善。但是為了保持圖像亮度一致，左圖需要用到更高的sensor 增益，從而導(dǎo)致了更高的噪聲水平。

對(duì)于自動(dòng)駕駛ISP調(diào)試而言，需要優(yōu)先考慮感知算法能容忍的運(yùn)動(dòng)模糊像素個(gè)數(shù)上限。然后依照特定應(yīng)用的車(chē)輛速度、場(chǎng)景距離、焦距、像素尺寸，反推出對(duì)應(yīng)的最大曝光時(shí)間；再依照該最大曝光時(shí)間的AEC設(shè)置，調(diào)試不同場(chǎng)景的去噪?yún)?shù)。

左側(cè)結(jié)果圖通過(guò)運(yùn)用多幀3D去噪，可以進(jìn)一步的縮短曝光時(shí)間，顯著改善運(yùn)動(dòng)模糊的同時(shí)，盡管單幀圖像的增益高達(dá)9倍（為了保持圖像亮度一致），處理結(jié)果的SNR也與右側(cè)3倍低增益圖像類(lèi)似，噪聲得到了很好的抑制。

亮度 vs 對(duì)比度 vs噪聲水平 vs 圖像細(xì)節(jié)

低光照或不均勻光源的環(huán)境, 對(duì)圖像的噪聲/亮度/對(duì)比度/細(xì)節(jié)帶來(lái)了極大的挑戰(zhàn)。

圖像對(duì)比度作為一種圖像內(nèi)容增強(qiáng)方法，原理上也會(huì)增強(qiáng)圖像噪聲內(nèi)容。

在ISP調(diào)試中，亮度vs對(duì)比度 vs 噪聲水平vs圖像細(xì)節(jié)是一個(gè)多模塊耦合調(diào)試的典型例子。實(shí)際中，需要根據(jù)應(yīng)用需求，通過(guò)多場(chǎng)景調(diào)試，平衡各樣例最優(yōu)效果。

黑芝麻智能 NerualIQ ISP 對(duì)于圖像亮度vs對(duì)比度 vs 噪聲水平vs細(xì)節(jié)耦合調(diào)試的一個(gè)示例。場(chǎng)景為路燈光暈影響下, 暗處的表現(xiàn)。左側(cè)的結(jié)果，圖像亮度太暗，導(dǎo)致無(wú)法分辨細(xì)節(jié)。中間的結(jié)果，通過(guò)提升圖像亮度，圖像整體輪廓辨別度提升，但是因?yàn)閷?duì)比度不夠，細(xì)節(jié)內(nèi)容仍較難分辨，亮度的提升也一定程度帶來(lái)了噪聲水平的提升。右側(cè)的結(jié)果，通過(guò)平衡亮度和對(duì)比度，然后結(jié)合適當(dāng)?shù)娜ピ雲(yún)?shù)調(diào)整，圖像整體輪廓和局部細(xì)節(jié)（穿反光衣服的行人）都得到了較好的圖像質(zhì)量恢復(fù)。

交通燈顏色還原 vs 整體顏色還原

白平衡是ISP調(diào)試顏色還原時(shí)需要面對(duì)的一個(gè)經(jīng)典問(wèn)題。白平衡問(wèn)題有兩個(gè)起源，一是黑體輻射，二是人眼顏色恒常性。

圖 7 色度圖標(biāo)注黑體輻射普朗克軌跡

（圖像來(lái)源：https://en.wikipedia.org/wiki/Black-body_radiation）

在任何條件下，對(duì)任何波長(zhǎng)的外來(lái)輻射完全吸收而無(wú)任何反射的物體定義為黑體。黑體輻射的電磁波的光譜特性只和黑體的溫度有關(guān)。如圖7所示，隨著溫度升高，黑體輻射的顏色呈現(xiàn)由紅—橙紅—黃—黃白—白—藍(lán)白的漸變過(guò)程，黑體的這個(gè)溫度稱(chēng)為該光源的色溫。

常見(jiàn)光源的色溫和光譜曲線如下圖：

圖 8 不同光源光譜曲線

（圖像來(lái)源：https://www.image-engineering.de）

例如，白熾燈的光色是暖白色（圖8的A光），其色溫為2700K，而日光色熒光燈的色溫則是5000K左右（圖8的D50光）。

人眼顏色恒常性是指，當(dāng)照射物體表面的顏色光發(fā)生變化時(shí)，人們對(duì)該物體表面顏色的知覺(jué)仍然保持不變的知覺(jué)特性。很好的例子是當(dāng)我們進(jìn)入一個(gè)白熾燈照亮的房間一會(huì)兒以后，就不會(huì)有光線昏黃的感覺(jué)了。

對(duì)于以CMOS、CCD 為代表的圖像sensor而言，在不同色溫和光譜的光源照射下，Bayer RGB 三通道的響應(yīng)比例是不同的。這必然導(dǎo)致如果不經(jīng)過(guò)處理，圖像的顏色響應(yīng)會(huì)出現(xiàn)顯著的不一致，提升了后續(xù)感知算法處理的困難。

ISP 中的自動(dòng)白平衡（AWB）功能即專(zhuān)門(mén)針對(duì)這個(gè)問(wèn)題設(shè)計(jì)。一個(gè)優(yōu)良的AWB算法+調(diào)試結(jié)果，能比較準(zhǔn)確的判斷出成像場(chǎng)景的色溫范圍，并根據(jù)已經(jīng)標(biāo)定好的sensor 光譜特性，轉(zhuǎn)化為該場(chǎng)景下B和R通道的補(bǔ)償增益值，實(shí)現(xiàn)“白色做白”。

以上是理想的情況。對(duì)于自動(dòng)駕駛而言，特別是夜晚場(chǎng)景，通常會(huì)包含不止一個(gè)光源。如果這些光源的色溫不一致，就會(huì)產(chǎn)生典型的混合光場(chǎng)景問(wèn)題。

如果需要將整體顏色還原為白色，需要加較多的B通道增益，導(dǎo)致綠燈效果偏青，即左圖效果。右圖通過(guò)限制B通道增益，綠燈顏色還原效果較好，但整體效果偏暖。

該場(chǎng)景也是一個(gè)混合光源場(chǎng)景，隧道內(nèi)照明燈色溫偏低，顏色偏暖，隧道外陽(yáng)光直射色溫偏高，顏色偏冷。除此以外，該圖像sensor使用了大小像素LPD-SPD技術(shù)，針對(duì)HDR場(chǎng)景，長(zhǎng)曝光使用大像素采集用于合成暗區(qū)（隧道內(nèi)），短曝光使用小像素采集用于合成高光區(qū)（隧道外）。由于大小像素光譜響應(yīng)不同，進(jìn)一步加重了隧道內(nèi)外顏色差異（左圖結(jié)果）。針對(duì)這個(gè)問(wèn)題，黑芝麻智能 NerualIQ ISP 專(zhuān)門(mén)設(shè)計(jì)了針對(duì)大小像素顏色差異補(bǔ)償?shù)奶幚硭惴ê驼{(diào)試策略，依照預(yù)先標(biāo)定的大小像素感光差異，動(dòng)態(tài)調(diào)整小像素的AWB和CCM，使之處理輸出顏色盡量接近大像素。調(diào)試結(jié)果如右圖所示，通過(guò)調(diào)試，隧道外異常偏藍(lán)色問(wèn)題得到了較好的改善。

結(jié)語(yǔ)

所謂“大廚做菜，眾口難調(diào)”。通過(guò)以上幾個(gè)實(shí)際的調(diào)試?yán)樱覀兛梢哉J(rèn)識(shí)到，從原理來(lái)說(shuō)，ISP調(diào)試的一般目的，不應(yīng)當(dāng)設(shè)定為解決所有的圖像質(zhì)量問(wèn)題。而是應(yīng)該根據(jù)不同模組、不同應(yīng)用、不同客戶(hù)的差異化需求，通過(guò)差異化參數(shù)調(diào)整，最大化ISP算法設(shè)計(jì)的潛能，使輸出圖像質(zhì)量定制化滿(mǎn)足特定需求。

審核編輯：郭婷