提到剛剛發(fā)布的高通驍龍865，你最關(guān)注的點(diǎn)是什么？像PC一樣自帶“獨(dú)立顯卡”，還是支持144Hz高頻刷新屏幕，亦或是性能顯著提升的X55 5G基帶？而我的關(guān)注點(diǎn)則在于其SoC強(qiáng)大的算力對于手機(jī)攝影能力的進(jìn)一步提升。

在這個(gè)“人人都是自媒體、Vlog美圖滿天飛”的時(shí)代，手機(jī)的拍攝能力已經(jīng)成為用戶選擇手機(jī)的關(guān)鍵性考慮因素，而如何玩轉(zhuǎn)手機(jī)攝影不光是小米、OV這些OEM的事，更是高通這些上游芯片廠商的“分內(nèi)事”。

相比更依賴器件性能的單反相機(jī)，如今的智能手機(jī)攝影能力靠的是手機(jī)OEM廠商的結(jié)構(gòu)設(shè)計(jì)和算法優(yōu)化、CMOS廠商的硬件供應(yīng)、以及高通等芯片廠商強(qiáng)大的算力支持，缺一不可，這便是今年驍龍技術(shù)峰會主題演講上Qualcomm Technologies產(chǎn)品市場資深經(jīng)理PJ Jacobowitz口中的計(jì)算攝影，攝影與算法的結(jié)合。

“我喜歡單反相機(jī)，但是計(jì)算攝影才是攝影的未來”，Jacobowitz表示，“它不再像單反相機(jī)一樣只有一個(gè)鏡頭，而是像小米CC9 Pro一樣擁有5個(gè)鏡頭，5個(gè)攝像頭、5個(gè)圖像傳感器，與AI協(xié)同帶來出色的影像。”

隨著消費(fèi)者對于手機(jī)攝影等功能化要求的不斷提升， 手機(jī)SoC芯片已經(jīng)不再是一個(gè)單純的“動力系統(tǒng)”，而更像是手機(jī)的“智能大腦”，它需要在不同的功能場景下調(diào)用其中不同的模塊提供算力支持，而如今的手機(jī)攝影（計(jì)算攝影）幾乎調(diào)用了手機(jī)SoC芯片除了信號基帶以外的所有模塊，主要為ISP和AI模塊。

計(jì)算攝影需要芯片支持

計(jì)算攝影是一個(gè)新詞，但又不是一個(gè)新詞，各大手機(jī)OEM廠商常常掛在的嘴邊HDR便在計(jì)算攝影的范疇之內(nèi)，然而直到ISP和AI崛起，計(jì)算攝影才被正式“提到日程”。

常玩單反相機(jī)的朋友們可能都知道，如果你想要通過后期修出更美的圖片，那么RAW格式直出的圖片是更好的選擇，而這得益于單反相機(jī)強(qiáng)大的光學(xué)硬件保留下的更多細(xì)節(jié)。但如果你對比過目前智能手機(jī)的RAW直出原圖和通過各種算法生成的JPEG格式圖片（計(jì)算攝影），你就會發(fā)現(xiàn)手機(jī)CMOS真的“渣”（相比單反）以及AI算法真的強(qiáng)。

計(jì)算攝影，簡單來說就是將計(jì)算和攝影進(jìn)了高度融合，或者說“利用”數(shù)字計(jì)算進(jìn)行攝影，而不是像單反一樣純靠光學(xué)處理，因此如今的手機(jī)攝影更加依賴手機(jī)SoC芯片的強(qiáng)悍性能，而CMOS在重要性上或許已經(jīng)不能排在No.1了。

事實(shí)上， 手機(jī)攝影依賴SoC芯片這件事，早在計(jì)算攝影名詞未火熱的諾基亞時(shí)代便已“實(shí)錘”。

2013年，諾基亞Lumia 1020橫空出世，繼承前輩諾基亞808 PureView 4100萬像素?cái)z像頭的它成為彼時(shí)手機(jī)圈的焦點(diǎn)，第二代O.I.S.光學(xué)防抖的蔡司認(rèn)證鏡頭、氙氣閃光燈+ LED補(bǔ)光燈、數(shù)碼3倍無損變焦、以及4秒長曝光的硬件參數(shù)組合，即使放到今天也異常強(qiáng)悍。

同時(shí)，諾基亞在當(dāng)時(shí)還提出了“超采樣技術(shù)”，這項(xiàng)技術(shù)是在4100萬像素的基礎(chǔ)上，將7個(gè)像素壓縮為一個(gè)超級像素，通過像素合成的方式輸出一張500萬像素的照片，讓照片看起來更加清晰細(xì)膩，這種將多個(gè)像素壓縮為一個(gè)像素或者將多張照片合成為一張照片的技術(shù)在現(xiàn)在看來已經(jīng)非常普遍，它便是計(jì)算攝影重要的組成部分，而這需要手機(jī)SoC芯片異常強(qiáng)大的算力支持，而彼時(shí)的高通驍龍S4處理器完全不能勝任。

高通驍龍865芯片

也正因?yàn)樗懔Φ娜狈Γ藭r(shí)的Lumia 1020展現(xiàn)出的實(shí)際拍照效果與其強(qiáng)大的鏡頭硬件完全無法匹配，拍照發(fā)白、夜間色彩差、以及相機(jī)啟動較慢等問題頻出，盡管當(dāng)時(shí)很多媒體將原因歸結(jié)為Windows Phone系統(tǒng)問題，然而更重要的原因則是當(dāng)時(shí)的手機(jī)SoC芯片的算力無法支持如此龐雜的算法。

或許是某些手機(jī)廠商并沒有意識到手機(jī)SoC芯片對于手機(jī)攝影的重要性，又或是它們低估了其算法設(shè)計(jì)背后的算力，同樣類似的“失敗產(chǎn)品”在隨后同樣屢見不鮮，比如最早號稱擁有一億像素的金立E8、以及2019年初剛剛發(fā)布的需要同時(shí)處理5顆攝像頭的諾基亞 9 PureView（現(xiàn)HMD旗下），算法優(yōu)化不好和算力不夠強(qiáng)大算力是如今很多手機(jī)拍照慢、發(fā)白發(fā)亮的重要成因。

而在光線較暗或者夜景模式下，手機(jī)SoC芯片中主要發(fā)揮作用的便是AI模塊，即嵌入式神經(jīng)網(wǎng)絡(luò)處理器，高通稱之為AI Engine人工智能引擎，簡單來說就是利用AI算法進(jìn)行“修圖”。

Spectra 480 ISP全新升級“媲美”單反

為了帶來更強(qiáng)悍的計(jì)算攝影性能，高通最新的驍龍865處理器進(jìn)行了諸多升級，其中最關(guān)鍵的兩點(diǎn)便是Spectra 480 ISP和第五代Qualcomm人工智能引擎AI Engine。

“Spectra 480 ISP擁有兩個(gè)非常出色的特性：第一，它支持每秒十億級像素處理速度，也就是說用戶能夠以30FPS記錄6400萬像素的畫面；第二是專業(yè)級圖像質(zhì)量”，Qualcomm Technologies產(chǎn)品管理高級總監(jiān)Judd Heape表示。

據(jù)悉，Spectra 480 ISP由三部分組成：HiSpeed Capture模塊，即圖像傳感器相互連接的地方，能夠高速處理數(shù)據(jù)流；EVA視頻分析引擎；HEIF，它能夠壓縮、編碼和存儲用戶的圖片和影像。Spectra 480 ISP將為計(jì)算攝影帶來了全新的應(yīng)用場景。

高通驍龍865芯片

首先便是全屏下的“多點(diǎn)對焦”，Spectra 480 ISP將對焦點(diǎn)從圖像傳感器的中心升級至了整個(gè)傳感器，對焦點(diǎn)數(shù)量是原來的9倍。當(dāng)我們拍照時(shí)，手機(jī)將實(shí)現(xiàn)端到端的對焦，能夠自動便捷的選擇對焦點(diǎn)，這等同于單反相機(jī)的“全對焦區(qū)域自動”。這樣一來，未來我們拍攝視頻時(shí)完全不必再擔(dān)心追焦過慢或者失焦，“一鏡到底”再也不會存在技術(shù)問題，這對于抖音這些短視頻創(chuàng)作者的幫助無疑是巨大的。

其次，全新的圖像傳感器。據(jù)了解，目前圖像傳感器均采用拜耳陣列方法采集圖像，每個(gè)陣列包含紅、綠、綠、藍(lán)色的4個(gè)微小像素，這些像素會被ISP逐一處理，通常來講每個(gè)時(shí)鐘周期只能處理1個(gè)像素，而全新升級的Spectra 480 ISP可以實(shí)現(xiàn)每時(shí)鐘周期處理4個(gè)像素，處理效率高達(dá)每秒20億像素，讓2億像素拍照成為現(xiàn)實(shí)。除了超高像素拍攝，超高的處理速度還支持Spectra 480 ISP放慢時(shí)鐘周期，用更低的功耗和更低的運(yùn)行溫度完成同樣的處理任務(wù)。高通官方數(shù)據(jù)顯示，當(dāng)用戶拍攝4K@60fps視頻時(shí)，功耗比前代降低了16%，這能夠帶來更長的續(xù)航，充分緩解Vlogger們的電量焦慮。

這種全新的圖像傳感器像素陣列（4單元色彩濾鏡陣列（Quad CFA）圖像傳感器）是過去拜耳陣列的4倍，由于尺寸巨大和像素陣列等原因很難處理。為此高通利用硬件加速來更好地處理這些圖像傳感器，隨著1億甚至2億像素時(shí)代的到來，圖像傳感器將更加依賴于硬件加速。

第三，弱光環(huán)境的降噪體驗(yàn)。相比上一代，Spectra 480 ISP增添了全新的噪點(diǎn)過濾內(nèi)核，它能夠幫助減少弱光拍攝環(huán)境下常見的噪點(diǎn)，同時(shí)保留了紋理的邊緣和細(xì)節(jié)。數(shù)據(jù)顯示，該專用降噪內(nèi)核能夠?qū)崿F(xiàn)圖片紋理效果18%的提升，這將近一步幫助手機(jī)OEM廠商提升夜景模式的拍攝能力。

第四，實(shí)現(xiàn)局部運(yùn)動補(bǔ)償。簡單來說，Spectra 480 ISP可以處理場景中的任何局部運(yùn)動，這在之前是無法實(shí)現(xiàn)的。此外，Spectra 480 ISP針對降噪的像素處理能力相比前代提升了40%，這意味著用戶拍攝的所有視頻能夠流暢播放，并且圖像噪點(diǎn)相比前代減少了很多，這將近一步推動Vlog、抖音等長短視頻的近一步發(fā)展。

第五，邊錄邊拍（視頻和照片同步拍攝）中照片像素的提升。以往，當(dāng)我們拍攝4K視頻時(shí)，同時(shí)刻截取的照片畫質(zhì)實(shí)際上只能達(dá)到800萬像素。而如今在每秒十億級像素處理速度的基礎(chǔ)上，Spectra 480 ISP能夠?qū)崿F(xiàn)在錄制4K HDR視頻的同時(shí)拍攝6400萬像素的照片。

此外， Spectra 480 ISP能夠?qū)崿F(xiàn)迄今為止移動終端所能拍攝的最高像素照片——2億像素的照片，也就是說1億像素或許并不是2020年手機(jī)OEM廠商的主號角，2億像素才是主角。據(jù)高通Judd Heape透露，2020年，搭載驍龍865的移動終端將配置2億像素圖像傳感器，而這一高性能傳感器目前只有驍龍865移動平臺能夠支持。

最后，支持HEIF全新文件格式。它能夠?qū)⒄掌鸵曨l的文件尺寸減半，大大削減了圖片和視頻的手機(jī)占用空間，令很多用戶可以重新用回64GB存儲，也令旗艦手機(jī)入門級價(jià)格有所降低。同時(shí)，HEIF文件格式還能夠?qū)崿F(xiàn)多種功能，包括拍攝和保存HDR圖像，將視頻與靜止圖像混合，支持CV處理并保存全部CV數(shù)據(jù)，以及處理景深圖（depth map）等。

其中景深圖是高通與Google合作的項(xiàng)目，Google特意為景深圖開創(chuàng)了新標(biāo)準(zhǔn)，令其能夠存儲在HEIF容器中，用戶可以將普通圖片以及實(shí)現(xiàn)背景虛化效果的圖片存在同一文件及同一個(gè)圖像容器內(nèi)，隨時(shí)提取調(diào)用。

HEIF文件格式還支持用戶添加EXIF數(shù)據(jù)，用戶能夠隨時(shí)使用這些EXIF數(shù)據(jù)，并能獲取圖像的具體拍攝地理位置，了解當(dāng)時(shí)拍攝相機(jī)的狀態(tài)，例如當(dāng)時(shí)拍攝的光照條件、光圈大小以及快門速度情況，這類似于單反相機(jī)，既可以讓觀看者能夠查看照片的拍攝詳細(xì)方法，又可以有效保護(hù)拍攝者的版權(quán)信息，這可以說是為內(nèi)容創(chuàng)作者量身打造的。

AI引擎讓拍攝更智能

如果說Spectra 480 ISP強(qiáng)大的硬件升級讓驍龍865在功能上更加接近單反相機(jī)，那么第五代Qualcomm AI Engine則讓拍攝變得更加便利和有趣，自帶“修圖”屬性讓手機(jī)遠(yuǎn)比單反智能。基于全新的第五代AI Engine，高通帶來了圖像分割、語義分割、以及無縫變焦等功能。

其中，圖像分割是一種全新的拍攝方式，我們在拍攝人像照片或視頻后，圖像分割可支持讓圖片中的主角呈現(xiàn)為彩色，周圍其他人呈現(xiàn)為黑白；或是拍攝某處風(fēng)景照后，將灰色天空替換成藍(lán)色天空，這令創(chuàng)作者能夠產(chǎn)出更有趣的內(nèi)容，讓Vlog等視頻形式更加豐富。

而語義分割則是一種更細(xì)致的AI修圖方式，即AI Engine會將整個(gè)圖像或視頻分割為各個(gè)語義區(qū)域，并針對各區(qū)域進(jìn)行針對性優(yōu)化，比如讓眉毛更加濃密、讓天空噪點(diǎn)更低并壓制高光等等。語義分割更像是一個(gè)后期修圖大師，為你拍攝后的照片進(jìn)行精密P圖，這令我們在黑暗或者大逆光下也能夠拍攝出更清晰的畫面，這也是目前手機(jī)OEM廠商得以實(shí)現(xiàn)超級夜景、逆光也清晰的根本技術(shù)支持（目前是上一代）。

無縫變焦方面，高通將與虹軟（ArcSoft）合作完全改變傳統(tǒng)的變焦方式，讓變焦如同單反相機(jī)的機(jī)械變焦一樣順滑。此前，我們利用手機(jī)拍攝視頻時(shí)，總能發(fā)現(xiàn)從超廣角到長焦的變換痕跡，那種“跨越”極大影響了視頻的美觀，而此次變焦上的改變將再一次助力視頻內(nèi)容創(chuàng)作者。

此外，高通驍龍865針對視頻拍攝上還做了進(jìn)一步升級，支持包括8K@30FPS（3000萬像素）和4K@120FPS視頻拍攝、杜比視界（Dolby Vision）、以及不限時(shí)慢動作拍攝等。

如今，驍龍865正式推送了HDR視頻拍攝的第四代，并業(yè)界首度支持杜比視界（Dolby Vision）視頻拍攝功能，無論是手機(jī)還是其他帶攝像頭的產(chǎn)品均可以。美國杜比實(shí)驗(yàn)室推出的這項(xiàng)影像畫質(zhì)技術(shù)，可以有效提升視頻信號保真度，從而讓圖像的無論從亮度、色彩還是對比度角度看都非常逼真。簡單來說，就是讓用戶可以拍出更優(yōu)秀的視頻，甚至無需后期便可以直接剪輯。

同時(shí)，4K@120FPS視頻拍攝的引入既提升了視頻拍攝的流暢度，又促進(jìn)120Hz刷新率屏幕手機(jī)的向前發(fā)展。4K@120FPS也可以應(yīng)用于拍攝慢動作視頻中，同樣業(yè)界首創(chuàng)支持以4倍于4K@30FPS的效果播放慢動作視頻。

而不限時(shí)慢動作拍攝方面，過去當(dāng)我們拍攝慢動作視頻時(shí)通常只能以720P分辨率拍攝，其主要是因?yàn)樵谶M(jìn)行超過480FPS視頻拍攝慢動作視頻時(shí)，通常是使用插幀（frame interpolation）的方式實(shí)現(xiàn)的，并不是原生的480FPS。但是驍龍865能夠支持原生720P@960FPS的慢動作視頻拍攝，這是通過ISP極速運(yùn)行的。

整體來看，驍龍865在計(jì)算攝影方面的升級主要體現(xiàn)在更接近單反的功能操作體驗(yàn)和助力內(nèi)容創(chuàng)作兩方面。其中，無論是多點(diǎn)對焦，還是支持EXIF數(shù)據(jù)，亦或是機(jī)械般順滑的變焦體驗(yàn)，都是高通驍龍想讓手機(jī)攝影在功能體驗(yàn)上接近單反相機(jī)，創(chuàng)造更專業(yè)的拍攝體驗(yàn)。

而另一方面， 高通對于視頻拍攝的優(yōu)化將進(jìn)一步推動如今Vlog、抖音等長短視頻的向前發(fā)展，搭載驍龍865的手機(jī)將成為內(nèi)容創(chuàng)作者的生產(chǎn)力工具，不限時(shí)慢動作拍攝讓創(chuàng)作更容易捕捉瞬間，而杜比視界、語義分割、局部運(yùn)動補(bǔ)償、以及弱光環(huán)境降噪將提供更優(yōu)質(zhì)的照片或視頻畫面，圖像分割則為創(chuàng)作者提供了一種全新的視頻展現(xiàn)模式，隨著更多應(yīng)用程序基于驍龍865的軟硬件特性進(jìn)行深度優(yōu)化，想必還會有更多有趣的功能特性面世。

同時(shí)， 2020年的手機(jī)SoC芯片也不再單純影響手機(jī)性能，而會在一定程度上驅(qū)動其他硬件升級，甚至左右價(jià)格，120Hz高刷新率屏幕和2億像素注定將成為2020年手機(jī)行業(yè)的主旋律之一，而旗艦手機(jī)64GB存儲的入門級版本或?qū)⒊蔀闊衢T機(jī)型。

2020年是5G高速發(fā)展的一年，也將是計(jì)算攝影推動下長短視頻行業(yè)高速發(fā)展的一年。隨著驍龍865平臺的落地應(yīng)用，越來越多的人將會放下單反、拿起手機(jī)來創(chuàng)作視頻和圖片內(nèi)容。

責(zé)任編輯：ct