不久前,小米相機(jī)部迎來好消息
小米夜梟算法團(tuán)隊(duì)在被譽(yù)為“影像算法奧林匹克”的CVPR NTIRE 夜景渲染比賽中,獲得了大眾評審和攝影師評審的兩項(xiàng)世界冠軍。消息一出,公司上下,米粉及影像圈內(nèi)外投來了驚喜、驚嘆以及稱贊的目光。
于是,這不,活兒就應(yīng)運(yùn)而生了。我被委任了一項(xiàng)光榮任務(wù),要和夜梟算法團(tuán)隊(duì)的技術(shù)專家聊聊,“夜梟”這項(xiàng)技術(shù)到底咋(duo)回(niu) 事 (bi) 。文科女孩不怕困難,在肝了2周,流下一些含有技術(shù)含量的淚水后,終于,肝出來了!
頂級盛會天花板
夜梟團(tuán)隊(duì)雙奪冠
首先,來隆重介紹一下有“影像算法奧林匹克”之稱的CVPR NTIRE 系列賽。
CVPR,是計(jì)算機(jī)視覺領(lǐng)域全球最具影響力、內(nèi)容最全面的頂級學(xué)術(shù)會議。說得具象一點(diǎn),與我們耳熟能詳?shù)腘ature 、Science的學(xué)術(shù)影響力可等量齊觀。NTIRE,是 CVPR中關(guān)于影像恢復(fù)與增強(qiáng)相關(guān)任務(wù)的專題研討會,是世界規(guī)模最大、水平最高的圖像恢復(fù)與增強(qiáng)的研討會和比賽。
NTIRE 提出業(yè)界前沿困難任務(wù),用競賽形式吸引全球?qū)<覍W(xué)者參與挑戰(zhàn),而競賽中提出的解決方案也常被學(xué)術(shù)圈和工業(yè)界所借鑒,因而備受關(guān)注。今年是第七屆NTIRE 比賽,吸引了南開大學(xué)、米蘭大學(xué)、華為等眾多國內(nèi)外頂尖大學(xué)、研究機(jī)構(gòu)和公司參加。
小米夜梟團(tuán)隊(duì)本次參加的是NTIRE首次提出的比賽賽道,大賽提供單張夜景原始RAW圖,參賽者通過研發(fā)夜景渲染解決方案,生成夜景視覺效果圖像。(RAW圖,可以理解為圖片的原始檔案,是沒有被加工,也沒有任何損失的一種格式圖。)
為兼顧專業(yè)性與大眾性,最終夜景效果圖由大眾評審和攝影師評審共同投票評定。這次小米夜梟團(tuán)隊(duì)獲得的雙冠軍,可以說是來自專業(yè)人士與普通用戶的雙重肯定。
與 NTIRE 的其他賽道相比,夜景渲染挑戰(zhàn)需要參賽者自發(fā)摸索和定義目標(biāo)效果,相當(dāng)于開放性考試,不僅考驗(yàn)團(tuán)隊(duì)的技術(shù)能力,也考驗(yàn)“技術(shù)審美”,難度更大,更具挑戰(zhàn)性。
夜梟算法有多牛
背后技術(shù)是一流
首先,來為大家科普一下「夜梟算法」。算法是用計(jì)算機(jī)解決問題的方法、步驟。解決不同的問題,需要不同的算法。夜梟算法是聚焦于暗光場景,小米自研的深度學(xué)習(xí)AI拍照算法,用于提升手機(jī)相機(jī)拍照和視頻的畫質(zhì)效果。
引用米粉的描述,小米手機(jī)+夜梟算法≈小米“夜視儀”。即在黑暗條件下,手機(jī)相機(jī)在夜梟算法加持下,突破手機(jī)相機(jī)感光下限,讓照片煥發(fā)「光彩」的技術(shù)。
打個(gè)比方,當(dāng)原始夜景照遇上夜梟算法,立刻碰撞出火花。照片將在不到3秒的時(shí)間里,經(jīng)歷去噪、提亮、色彩還原等環(huán)節(jié),最終恢復(fù)出一張細(xì)節(jié)清晰、顏色真實(shí)、畫面干凈的夜景照片。
經(jīng)過夜梟算法處理的照片,背后調(diào)用了數(shù)十個(gè)核心算法,包括AI噪聲估計(jì),AI去噪、AI細(xì)節(jié)增強(qiáng)、AI顏色還原、AI提亮、AI夜景深度估計(jì)、AI場景分割、AI選幀、AI對齊等。
那么讓夜景照越夜越美,夜梟算法是如何做的呢?
1 夜太黑,「去噪」辨是非
在伸手不見五指的黑夜,未經(jīng)算法處理的照片,自然是漆黑一片。
當(dāng)對照片進(jìn)行一點(diǎn)提亮,將得到一張?jiān)肼暫艽蟮恼掌T肼暎敢磺胁灰?guī)則的信號,體現(xiàn)在照片里的即為圖片噪聲。肉眼看,噪聲大的照片有“糊”的感覺,有時(shí)候甚至看不到具體的東西。
造成圖片噪聲的原因有很多,比如夜晚亮度低,燈光復(fù)雜,導(dǎo)致采集圖像存在噪聲。以及圖像在手機(jī)設(shè)備內(nèi)傳輸成像的過程,也會產(chǎn)生噪聲。
噪聲對圖像是一種“破壞”,去噪則可理解為去除圖像污染,恢復(fù)和重建圖像數(shù)據(jù)的過程。小米夜梟算法,通過自主研發(fā)夜晚場景噪聲標(biāo)定系統(tǒng),對夜晚場景噪聲的分布和形態(tài)進(jìn)行數(shù)學(xué)建模,在干凈的圖像上同樣添加噪聲,從而補(bǔ)充大量模擬噪聲數(shù)據(jù),提升訓(xùn)練數(shù)據(jù)的豐富度,讓去噪更有針對性。
與此同時(shí),小米夜梟算法還自主研發(fā)了極暗光數(shù)據(jù)采集系統(tǒng),使用多種真實(shí)相機(jī)進(jìn)行數(shù)據(jù)采集,補(bǔ)充的數(shù)據(jù)能讓去噪效果更好。
萬事開頭難,圖像去噪是算法處理照片的重中之重,是起點(diǎn)也是重點(diǎn)。
2 夜太美,更需要「完美」的細(xì)節(jié)
暗光情況下,拍張好看的人像照不容易。有米粉曾提出疑問,小米 11Ultra 在夜晚拍攝人像時(shí),怎么做到把發(fā)絲、睫毛拍攝的絲絲分明的?
這其實(shí)本質(zhì)是一個(gè)如何在有效去除圖像噪聲的同時(shí),恢復(fù)出更多圖像細(xì)節(jié)的問題。從算法原理上看,需要更好地對齊。
打個(gè)比方,當(dāng)你在夜晚舉起手機(jī)拍一張夜景照,小米相機(jī)里的“算法小機(jī)靈鬼”已準(zhǔn)備就緒。
當(dāng)你按下快門,算法其實(shí)拍攝了多張照片,它們緊鑼密鼓地進(jìn)行多張照片的畫面對齊,并分析每張照片特征,擇優(yōu)錄取「真實(shí)」的畫面部分,從而融合出一張優(yōu)秀的夜景作品。
通俗解釋容易,背后的技術(shù)不簡單。小米算法團(tuán)隊(duì)首次提出自引導(dǎo)的多尺度融合AI去噪算法,當(dāng)多幀原圖輸入時(shí),進(jìn)行亞像素特征對齊和特征級別信息融合,降低拍攝手抖的影響,實(shí)現(xiàn)多幀信息的互相補(bǔ)充。
當(dāng)單幀原圖輸入時(shí),進(jìn)行多尺度的特征重建,實(shí)現(xiàn)單幀內(nèi)信息充分利用。結(jié)合噪聲指導(dǎo)圖,還可以引導(dǎo)算法對不同區(qū)域進(jìn)行不同程度的融合去噪,指導(dǎo)局部信息殘缺的區(qū)域?qū)崿F(xiàn)細(xì)節(jié)恢復(fù),在獲得更好去噪效果的同時(shí),恢復(fù)更加豐富的細(xì)節(jié)信息。
當(dāng)我們看到恢復(fù)了更多細(xì)節(jié)的照片,在視覺上能感受到干凈、舒服。因?yàn)樗惴▍^(qū)分出了細(xì)節(jié)和噪聲,并保留好細(xì)節(jié),比如紋理、發(fā)絲、睫毛,而不是直接抹掉。
如果用解一道難題來比喻,夜梟算法相當(dāng)于在解決暗光拍照這道考題時(shí),發(fā)現(xiàn)了8種解題思路,并通過深度學(xué)習(xí),融合不同思路的完美之處,最終提交了一個(gè)近似“圓滿”的答案。
3 夜太深,明暗色彩要分明
夜晚拍攝,由于燈光比較多,發(fā)出的光線不均勻,動(dòng)態(tài)范圍大。“動(dòng)態(tài)范圍大”就是亮度信息太多,從最亮到最暗的幅度大。此時(shí)用手機(jī)拍攝,可能出現(xiàn)高光的地方很亮但丟失細(xì)節(jié),稍微暗點(diǎn)的地方則只剩黑暗。
為處理多種光源混合的情況,夜梟算法提出了基于內(nèi)容自適應(yīng)的AI提亮模型。通過對圖像中不同的區(qū)域進(jìn)行不同程度提亮,在保證圖像對比度同時(shí),保留亮區(qū)和暗區(qū)的信息,實(shí)現(xiàn)讓亮度過渡區(qū)域更平滑、自然。
圖像明暗過渡絲滑后,要想獲得更真的“夜感”,還需要準(zhǔn)確地還原夜景的顏色。
還原夜色,需要精準(zhǔn)的白平衡估計(jì)。白平衡就是白色的平衡,我們看到物體的顏色,會隨著環(huán)境光線出現(xiàn)偏差。夜晚光源較多,比如一只白色的狗在黃色的路燈下會偏黃,出現(xiàn)顏色失真。精確的白平衡估計(jì),是讓照片更真實(shí)的必要條件。
Xiaomi 12 Pro 夜梟2.0 VS 友商
為讓夜景顏色更準(zhǔn)確,小米夜梟團(tuán)隊(duì)使用deepAWB來實(shí)現(xiàn)多光源的白平衡估計(jì),并首提AI色彩還原模型,通過提取圖像中有效內(nèi)容,讓不同區(qū)域有不同的計(jì)算權(quán)重,避免受到過亮和過暗區(qū)域干擾造成混合光源顏色失真,提升了夜梟算法對環(huán)境的自適應(yīng)能力。
Xiaomi 12 Pro 夜梟2.0 VS 友商
也就是說,夜梟算法中的AI提亮模型和顏色矯正模塊,能根據(jù)不同環(huán)境的亮度和場景中的內(nèi)容,實(shí)現(xiàn)不同程度的亮度提升和色彩還原,最終得出清晰、明亮的圖像。
哪些坑
可以不踩
和夜梟算法專家雷老師聊完,我基本對夜梟算法從云里霧里到了五體投地的地步。優(yōu)秀算法的關(guān)鍵,源自優(yōu)秀頭腦的寫就,是一群優(yōu)秀工程師的技術(shù)理想。
夜梟團(tuán)隊(duì)已成立近3年,成員多為熱愛研究技術(shù)的年輕工程師。他們主要負(fù)責(zé)結(jié)合AI 深度學(xué)習(xí)技術(shù),提升手機(jī)相機(jī)拍照和視頻的畫質(zhì)效果,研究方向包括去噪、高動(dòng)態(tài)、顏色增強(qiáng)等,已經(jīng)交付了不少深受用戶喜愛的研究成果,比如AI大片、夜梟極暗光拍照、夜梟視頻、夜景抓拍等多個(gè)有自主知識產(chǎn)權(quán)的核心算法。
夜梟算法最初籌備時(shí),并非是備受關(guān)注的熱門項(xiàng)目。當(dāng)時(shí)為解決夜景拍攝的技術(shù)難題,5位算法工程師憑借對技術(shù)的執(zhí)著、癡迷,以及對待工作的全力以赴,利用不到半年的時(shí)間創(chuàng)造出了夜梟算法1.0。夜梟算法更像是一次技術(shù)探索中,意外收獲的驚喜。
夜梟算法推出后,很快得到了多方肯定,并從幕后走到臺前,登上了發(fā)布會。團(tuán)隊(duì)的小伙伴們既興奮又緊張,期待著用戶使用后的反饋。一段時(shí)間里,工程師們泡在微博、B站等社交媒體平臺上,聽用戶的反饋,有時(shí)候聽得很高興,有時(shí)候也會有點(diǎn)小失落。“但對改進(jìn)有用的,還是會認(rèn)真看的。”
這個(gè)年輕的團(tuán)隊(duì)始終活力十足,成長速度越來越快,規(guī)模也日漸擴(kuò)大。
當(dāng)我問算法專家雷老師,能否提供夜景拍攝的技巧時(shí),這其實(shí)并不在工程師的射程范圍內(nèi)。對于夜梟算法的專家來說,相比于拍出一張好看的照片,他們更在意的是底層算法的準(zhǔn)確性,以及算法對色彩、場景還原的真實(shí)性。“準(zhǔn)”與“真”是工程師相信的標(biāo)準(zhǔn)。
但他也從算法的邏輯角度,提出了3個(gè)小建議
1/ 穩(wěn)住,才有贏的機(jī)會該穩(wěn)定既是情緒上的穩(wěn)定,還有就是手要穩(wěn),這可以讓算法進(jìn)行更好地對齊。雖然算法已經(jīng)在一定程度上降低了手抖的影響,但如果拍攝中,手如帕金森般劇烈抖動(dòng)或者大幅動(dòng)彈,對于拍攝將毫無益處,穩(wěn)住,贏的幾率更大。
如果你天生手抖,建議可以配一個(gè)三腳架或者其他固定工具,用來保持畫面的穩(wěn)定。如果不想配三腳架,也可以把手機(jī)放在可以倚靠的固定地方,比如欄桿,或者也可以邀請手部穩(wěn)定同伴幫忙。
2/ 避免拍攝“亮瞎眼”強(qiáng)光源強(qiáng)光源,不是指光頭,而是指光線比較強(qiáng)的物體,當(dāng)你試圖拍強(qiáng)光源或者強(qiáng)光源下的人時(shí),由于光線進(jìn)入手機(jī)相機(jī)鏡頭內(nèi),發(fā)生了多次的折射與反射,會讓畫面出現(xiàn)難以預(yù)測的意外,以及也可能會讓光線跑偏,當(dāng)然最直接的可能就是被拍攝人打。
3/ 擁有一臺夜拍神器最后,要想得到一個(gè)細(xì)節(jié)豐富、純凈度好的照片,最好的辦法是擁有一臺配置了夜梟算法的小米手機(jī)。目前夜梟算法已經(jīng)應(yīng)用到小米11 Ultra、小米12 Pro 等小米旗艦手機(jī)上,將助力你拍出更美的夜色。
每一次手機(jī)影像上的進(jìn)步,背后都離不開寶藏工程師們。在工程師眼中,代碼是語言,是表達(dá)的工具,是創(chuàng)新的力量。未來,伴隨手機(jī)硬件和算法的不斷提升,相信小米的工程師們將為手機(jī)影像的發(fā)展帶來更多新的體驗(yàn)。
提到未來的展望,夜梟算法專家雷老師說,手機(jī)影像算法不僅會朝著拍照更快、更清晰、顏色更準(zhǔn)確、動(dòng)態(tài)范圍更高的方向發(fā)展,還會根據(jù)用戶更多元的需求,不斷攻堅(jiān)與創(chuàng)新,為米粉們帶來更好的拍照體驗(yàn)。
雖然距離「最好」,還有很長的路要走,但務(wù)實(shí)的工程師們相信,只要鉆研,耐心用時(shí)間去實(shí)踐,總能開創(chuàng)出遠(yuǎn)大前程。
-
AI
+關(guān)注
關(guān)注
87文章
32426瀏覽量
271588 -
計(jì)算機(jī)視覺
+關(guān)注
關(guān)注
8文章
1702瀏覽量
46243 -
小米
+關(guān)注
關(guān)注
70文章
14403瀏覽量
145506
發(fā)布評論請先 登錄
相關(guān)推薦
華為智能運(yùn)維解決方案榮獲GSMA GLOMO兩項(xiàng)大獎(jiǎng)
如何通過高效工程評審EQ流程,實(shí)現(xiàn)PCB零缺陷制造?
宏景智駕斬獲汽車行業(yè)兩項(xiàng)重磅獎(jiǎng)項(xiàng)
一汽-大眾獲DEKRA德凱雙項(xiàng)功能安全認(rèn)證
鴻利智匯榮獲兩項(xiàng)中國專利優(yōu)秀獎(jiǎng)
泰凌微電子榮獲小米兩項(xiàng)大獎(jiǎng)
理想汽車再獲兩項(xiàng)大獎(jiǎng)
冠軍說|第二屆OpenHarmony競賽訓(xùn)練營冠軍團(tuán)隊(duì)專訪
捷報(bào)速遞 普羅格連獲兩項(xiàng)重要榮譽(yù)

華陽與華為達(dá)成兩項(xiàng)重要合作
創(chuàng)新方便的在線評審軟件——原理圖設(shè)計(jì)的利器

易華錄產(chǎn)品檢測中心順利通過CNAS資質(zhì)監(jiān)督評審

SGS助力中興通訊通過SBTi兩項(xiàng)審驗(yàn)

評論