古希臘神話中,有一位黑夜女神赫卡忒。她徘徊于夜幕之中,月色之下,是旅人與藝術家的守護者,甚至曾經幫助過宙斯等主神,備受萬神的尊敬。
而赫卡忒也是一位樂意接受凡人祈禱的女神,夜色到來時,人們會來到山頂進行祭祀,期望地看到赫卡忒的真容。
如何讓我們的視線洞穿黑夜,是藝術史上永恒的主題。在攝影時代到來后,如何捕捉和表現夜色更是一個最復雜的命題。從前,攝影師需要用復雜的設備搭配昂貴的夜視攝像頭,才能完成。而在一次次手機影像突破,以及計算攝影的興起下,一雙能夠看清黑夜女神赫卡忒的眼眸,已經來到普通人手中。
不久之前發布的vivo X80系列中,搭載了一項名為微光手機“夜視儀”的功能。在vivo發布的一系列唐宮主題視頻中,我們可以看到極夜實拍中大唐才子佳人的身影清晰可見。畫面干凈且純粹。在這一刻,手機簡直可以被當作“夜視儀”來使用。
想要呈現這一幕其實并不容易,在夜拍環境下,算法、攝像頭、芯片都有能力的局限性。只有將每個領域的創新融合在一起,將能力協同到極致,才能帶來手機化身夜視儀的這個時刻。
一抹美麗夜色的背后,是一場計算攝影的錘煉,是一句用戶至上的承諾。
計算攝影的暗夜突圍
2010年,斯坦福大學舉辦了一場技術沙龍,主題是討論能不能在攝影時,讓攝影設備像計算機一樣去編程所拍到的影像。從而讓攝影不再是攝影師和精修師的天下,而是對所有普通人開放。
至此,計算攝影這一概念開始在業界流行開來。但從實驗室走向產業界,這段旅程足足跨越了十年。計算攝影的核心思路在于,手機攝影并不僅僅是一臺手機+一個攝像頭。而是希望在拍攝時就調動手機的計算能力、算法能力、硬件協同能力,從而達成單獨依靠影像器件難以完成的拍攝任務。
谷歌最開始在Pixel系列中啟動了計算攝影效果,通過將多張照片合二為一展現出超過單次拍攝的效果。隨后,蘋果等主流廠商也開始跟進。計算攝影逐漸成為了最具潛力的手機影像發展方向。
然而經過幾年的發展,計算攝影的瓶頸也開始體現。由于計算模式相近,相關能力提升帶來的用戶可感知度太小。往往只能用數據和復雜的對比才能體現出計算攝影模塊的存在。而對于用戶來說,需要的是真正能夠解決重大問題。可知、可感、可信的計算攝影能力。
向著暗夜突圍,很可能是計算攝影接下來的重要方向。
暗拍與夜色中的復雜光源處理,需要一系列復雜算法的輔助,這就給了計算攝影足夠的發揮空間。
vivo X80系列微光手機“夜視儀”的暗拍效果,運用了光學傳感器、芯片算力、AI夜視算法的融合。最終才達到了暗夜下的極致拍攝。這場夜色中的影像盛宴,也為計算攝影方向帶來了一場突破。
這是一次觀眾能夠清晰看到,感知到,體會到的計算攝影變遷。
“算”盡極夜,凝練赫卡忒之眸
希望在夜晚拍到令人滿意的照片,應該是每一位用戶的期待。但為什么計算攝影發展了這么久,卻要等待vivo X80系列來完成這次突破?
這是因為夜色下的世界,并不是簡單的打光問題。光線駁雜、色彩失真,難以對焦,需要連續曝光、黑暗中背光面難以呈現等等困難都困擾著夜拍效果。即使造價昂貴的全畫幅單反也效果不佳,更遑論在手機端完成夜視儀級別的夜拍效果。
為了解決這些問題,需要的就不是一項能力,而是各項能力的協同、融合,互為支撐。在vivo X80系列中,我們可以看到鏡頭、計算、算法、芯片的相互支持,在全鏈路技術提升下,最終打造了赫卡忒之眸。vivo X80系列不僅搭載了強大的微光手機“夜視儀”功能,還將實時黑光夜視功能拓展至超廣角、前置鏡頭。
讓我們一層層來透視,這雙能夠凝望黑夜女神的眼睛是如何煉成的。
一、自研芯片之眸
能夠實時完成夜景算法調配,給用戶無縫體驗的夜景拍攝體驗,最終離不開計算能力以及芯片。vivo X80系列搭載了自研的V1+芯片,能夠支持實時黑光夜視功能,讓用戶在極夜環境下可以看到更加清晰明亮的實時預覽。
主芯片負責常規拍攝工作,在諸如夜景視頻拍攝等高強度計算攝影的應用場景下,自研芯片V1+會負責提亮降噪及實時預覽,具有非常高的合理性。這種分配協作能夠有效降低能耗,提升計算效率,但實踐起來卻非常復雜。
為了完成這項技術跨越,V1+芯片首先需要跨越硬件兼容性上的天塹,讓兩枚芯片真正做到“雙芯一用”。今年,vivo自研芯片在旗艦SoC平臺的兼容性上又邁出了關鍵一步,在原本驍龍平臺之外成功兼容了天璣9000平臺,成為行業內唯一一家實現了自研影像芯片兼容多旗艦平臺的終端廠商,這也為“夜視儀”功能得以實現提供了前提基礎。
接下來,V1+芯片需要將消耗最大,最吃性能的算法,硬件化封裝到自身平臺當中。硬件級的算法封裝可以保證運算有的放矢,將自身性能發揮到極致。經過對用戶需求與使用場景的仔細衡量,V1+最終將3D實時立體夜景降噪、MEMC插幀和AI超分三個目前移動影像中最復雜的算法進行了封裝。實現了與主SoC合作極大激活硬件效率,數據吞吐速度可高效維持在約8GB/s,并且能效提高約300%,功耗降低了約72%。
這樣,“夜視儀”實時預覽這種非常吃性能,吃計算能力的功能,就可以由V1+針對性支持,實現了清晰干凈的硬件級夜景降噪,不會讓用戶“對夜盲拍”。而為了進一步提升微光手機“夜視儀”的使用體驗,vivo還針對這一功能對V1+進行了精細化調優,依靠V1+強大的極夜視頻降噪算法、速度快、功耗低的極速內存管理系統,以及攝像頭模組、主芯片、vivo自研算法提升等各方面的配合,最終實現在小于1lux環境下的極夜視頻功能。
并且在自研影像芯片的幫助下,vivo X80系列可以黑光夜視功能拓展到了超廣角鏡頭以及前置鏡頭,確保了“夜視”能力沒有死角。
二、SoC協同之眸
自研芯片V1+的加入,讓vivo X80系列獲得了“一體雙芯”的格局,這也讓主芯片SoC與自研影像芯片之間的協同互動有了更多可能。為了完成微光手機“夜視儀”的效果,vivo與芯片廠商進行了超越行業常規的緊密協作與聯合創新。以MediaTek的天璣9000為例,這枚芯片本身具有強大的基礎性能與AI專項處理能力。結合這些特點,vivo與MediaTek進行了深度合作,最終讓V1+芯片與天璣9000達成了緊密的影像協同。
一次極致的夜拍背后,是vivo與MTK技術的緊密配合,雙方技術的嵌合式合作,才最終將天璣9000的能力進行了最大化釋放,保證了極夜環境下的“透視級”效果。
在微光手機“夜視儀”背后,vivo與MTK進行了從底層硬件到軟件的多層面聯合打磨。一次夜拍背后,影像由旗艦級超大底主攝進入ISP;緊接著天璣9000的天璣 5G 開放架構驅動對影像的處理,在確保降低頻寬功耗與畫面延遲的情況下提供高效率的 AI 畫質計算;接下來是算法層,vivo獨特的獨特AI 降噪算法開始工作,完成夜晚場景的處理;而支撐這大量AI計算的,是天璣 9000的第五代 APU 590,能夠實現AI 邊緣部署神經架構搜索技術,NeuroPilot 模型深度硬件融合,A8W8混合A16W8高清解析算子,最終讓復雜的高清視頻算法實時處理變得可行,同時盡量降低能耗。
這種你中有我,我中有你的緊密配合,讓兩枚芯片各司其職,減少性能與功耗浪費的同時確保了全鏈路的夜視效果,釋放了技術上的協同優勢。同時也打破了行業成規,為終端廠商與芯片廠商的合作塑造了新的范式。
三、影像算法之眸
在算法方面,vivo X80系列升級了更加先進的夜景算法,搭載了蔡司超級夜景功能。基于vivo自研算法RAWHDR3.0,可以提升色彩表現的準確性,配合蔡司T*鍍膜技術方案以及抗眩光算法,可以實現更加純凈的夜景效果。
近年來,“vivo色彩”漸漸成為了移動影像領域標志性的色彩風格,vivo影像能力對色彩的理解與調試逐漸成為了業界的標桿之一。歷經3年10款機型的打磨,vivo的記憶色體系形成了“鮮活”“明快”“有質感”的風格。另外,通過與蔡司的深度合作,蔡司自然色彩2.0以精細準確的調校,還原人眼所見的自然原生色彩,讓色準更準確、觀感更自然。在vivo X80系列中,你既可以體驗極具風格化的拍攝效果,也可以拍出人眼所見的真實色彩,vivo將選擇權交還給了用戶。
在算法層面,vivo推出了越來越多具有鮮明特色與技術前沿性的應用成果。比如超級夜景RAWHDR3.0算法,可以將超級夜景算法從YUV域挪到RAW域,以獲得更好的亮度和影調表現,從而讓夜景處理流程更合理,對夜色下的色彩調整更加細致。
再比如vivo的SuperRAW融合了自研的RAWHDR多幀算法,不論大光比逆光場景還是夜景環境,均能動態抓取最多10幀圖像在RAW域進行超高位融合和降噪處理,輸出14bit位深的超強RAW文件,顯著提升信噪比和動態范圍,充分發揮手機影像的潛能。
到了這代產品,可以看到vivo與蔡司的合作愈發爐火純青,雙方的技術兼容度達到了空前的水平,這讓vivo X80系列的光學能力全面超越了全球標準。
四、光學硬件之眸
影像器件是計算攝影與真實之間的窗戶,是實現“夜視儀”功能的基礎。vivo與蔡司有深度合作關系,使得vivo X80全系全鏡頭都達到了蔡司T*鍍膜標準,以保證在白平衡、色準、抗眩光和解析力等指標上達到vivo的影像標準。
在傳感器上,vivo X80 Pro搭載了獨家定制的GNV超大底傳感器,X80則首發索尼IMX866 RGBW大底傳感器。在傳感器型號的背后,隱藏著許許多多不為人知的創新技術。例如GNV,通過定制濾光片,vivo再一次突破GN1的極限,并采用了1G +6P的高規格鏡片組合,以及頂格的鍍膜工藝。可以說vivo X80系列搭載的鏡頭模組,顆顆都是定制款,反映了vivo在硬件上的精益求精,不惜工本,已經成為了vivo的標志之一。
為了用戶的一次驚喜,赫卡忒之眸歷經了層層雕琢。為了算盡極夜,vivo已經準備了太久太久。
千座山巒,一抹夜色
微光“夜視儀”的背后,真正可以體現出什么是手機影像的全鏈路創新。
接下來,無論是計算攝影的產業空間發展,還是手機突破紅海競爭,走向多元未來,都與廠商的全鏈路創新能力緊密相關。
回到vivo X80系列的夜視儀功能,可以看到這項垂直突破的背后,是器件、軟件、硬件的協同,是自研技術、自研芯片、產業合作等多重能力的整合。
“集結重兵力,解決真痛點”正在變成手機創新的新錨點。而這個思路背后是為了打破產業瓶頸,廠商需要以消費者需求為準繩,盡一切可能性完成創新積累,最終呈現出厚積薄發的效果。
從使用全行業最高成本的玻璃鏡片,到與蔡司持續合作光學器件、光學算法創新,再到長周期、大成本研發的自研芯片,都可以看到vivo這種長期主義的戰略指引。
微光“夜視儀”看到的不僅是夜色,還有一段旅程。
旅程中,vivo的做法是逐步增強不可復制能力,最終將其融合在一起。達成N個1相加大于N的效果。登上千座山峰,只為了一抹不容替代的夜色。
vivo的創新觀念中,只要能夠讓消費者感知,做正確的事情,無論爬多少座山都是合理的。赫卡忒的眼眸,或許就是這樣煉成的。
-
vivo
+關注
關注
12文章
3303瀏覽量
63265 -
vivo手機
+關注
關注
2文章
606瀏覽量
29239
發布評論請先 登錄
相關推薦
評論