當(dāng)我們談?wù)?a target="_blank">視頻技術(shù)時(shí),超高清視頻(Ultra High Definition,簡(jiǎn)稱UHD)無疑是當(dāng)今最令人興奮的領(lǐng)域之一。上期,我們介紹了一下高動(dòng)態(tài)范圍(HDR)發(fā)展面臨適配性、流程復(fù)雜、兩極化的挑戰(zhàn),了解到視頻從產(chǎn)生到播放,中間經(jīng)歷的復(fù)雜流程,也牽扯紛繁復(fù)雜的利益相關(guān)人,所以在視頻內(nèi)容編解碼方面,存在著各方利益的博弈。各大組織、企業(yè)都有在視頻編解碼上投入,致力于爭(zhēng)奪技術(shù)和專利上的制高點(diǎn)。本期,我們就聊聊超高清視頻編解碼的現(xiàn)狀。
關(guān)聯(lián)回顧
全圖說電視的發(fā)展歷史
全圖說視頻編解碼的發(fā)展歷史
由淺入深說高清——聊聊高動(dòng)態(tài)范圍(HDR)
由淺入深說高清——HDR的標(biāo)準(zhǔn)之爭(zhēng)
由淺入深說高清——HDR的適配性與流程化的挑戰(zhàn) 視頻壓縮編解碼格式復(fù)雜現(xiàn)狀背后的無奈視頻壓縮編解碼領(lǐng)域,一直都特別繁雜,讓人看得眼花繚亂,各種彼此不完全兼容的編解碼格式共存,從而導(dǎo)致市場(chǎng)碎片化。之所以有這么多可用的視頻編解碼格式,單純從技術(shù)上來說,是因?yàn)橛懈鞣N各樣的用例、設(shè)備和平臺(tái),它們對(duì)視頻編碼和解碼有不同的要求和約束。
例如,一些用例可能需要低延遲編碼以進(jìn)行實(shí)時(shí)流媒體或?qū)崟r(shí)通信,而其他用例可能優(yōu)先考慮高質(zhì)量壓縮以進(jìn)行視頻存儲(chǔ)和分發(fā)。同樣,不同的設(shè)備和平臺(tái)可能具有不同級(jí)別的計(jì)算能力和對(duì)特定編解碼格式的硬件支持。
因此,有許多不同的視頻編解碼格式可用,它們?cè)趬嚎s效率、計(jì)算復(fù)雜性和與不同設(shè)備和平臺(tái)的兼容性之間具有不同的權(quán)衡。一些流行的視頻編解碼格式包括 H.264/AVC、H.265/HEVC、VP9和AV1 等。
但我們也看到多種編解碼格式在市場(chǎng)上爭(zhēng)奪主導(dǎo)地位殺的天昏地暗,復(fù)雜性源于多種因素,除了技術(shù)之外,更多是行業(yè)標(biāo)準(zhǔn)和專利許可的博弈。
視頻編解碼格式復(fù)雜性的非技術(shù)原因之一是專利格局。許多視頻編解碼格式受專利保護(hù),這使得其他公司很難在不侵犯這些專利的情況下開發(fā)競(jìng)爭(zhēng)編解碼格式。這可能會(huì)導(dǎo)致?lián)碛袕?qiáng)大專利組合的公司比規(guī)模較小的競(jìng)爭(zhēng)對(duì)手更具優(yōu)勢(shì),從而使新的編解碼格式難以獲得吸引力。
造成視頻編解碼格式復(fù)雜性的另一個(gè)因素是工業(yè)利益之間的博弈。開發(fā)和擁有視頻編解碼格式的公司在推廣自己的技術(shù)方面具有既得利益,并且可能會(huì)采取營(yíng)銷策略和游說活動(dòng)來推廣他們的編解碼格式。這可能會(huì)在市場(chǎng)上造成混亂,并使消費(fèi)者難以知道哪種編解碼格式最適合他們的需求。
從壓縮技術(shù)來看,視頻壓縮編解碼分為無損視頻壓縮和有損壓縮。從產(chǎn)業(yè)角度來劃分,分為制播域和發(fā)布域兩大類型。今天我們就按照后者的維度和大家聊聊高清視頻的編解碼格式。
制播域的高清視頻編解碼格式制播域格式主要由攝像機(jī)和非編系統(tǒng)(非線性編輯系統(tǒng)的簡(jiǎn)稱)廠家?guī)?dòng)和主導(dǎo)的,以通用編解碼標(biāo)準(zhǔn)為基礎(chǔ)擴(kuò)展支持42色度和10-12bit精度編碼為主要特點(diǎn)。制播域編解碼格式有很多,今天介紹主流的幾種:
H.264/AVC
高級(jí)視頻編碼( AVC ),也稱為H.264或MPEG-4 Part 10,是一種基于面向塊的運(yùn)動(dòng)補(bǔ)償編碼的視頻壓縮標(biāo)準(zhǔn)。它是由ITU-T 視頻編碼專家組(VCEG)和ISO/IEC JTC 1運(yùn)動(dòng)圖像專家組(MPEG)聯(lián)合發(fā)布的視頻編解碼格式標(biāo)準(zhǔn)。也是迄今為止,最常用的視頻內(nèi)容錄制、壓縮和分發(fā)格式,截至 2019 年 9 月,91% 的視頻行業(yè)開發(fā)人員使用它,或者它的變種。AVC支持高達(dá)8K UHD 的分辨率。
它是藍(lán)光光盤上最常用的視頻編碼格式。它也被互聯(lián)網(wǎng)大量的視頻資源以及各種地面高清電視廣播廣泛使用。
H.264的核心技術(shù)是:整數(shù)離散余弦變換(整數(shù) DCT)、可變塊大小分割和多畫面間預(yù)測(cè)。
補(bǔ)充小知識(shí):離散余弦變換(DCT)
離散余弦變換( DCT )根據(jù)以不同頻率振蕩的余弦函數(shù)之和表示有限的數(shù)據(jù)點(diǎn)序列。這是由一位印度裔美國(guó)電氣工程師和計(jì)算機(jī)科學(xué)家Nasir Ahmed在1972年發(fā)明的一個(gè)數(shù)據(jù)壓縮變換算法。DCT 是使用最廣泛的數(shù)據(jù)壓縮變換算法,是大多數(shù)數(shù)字媒體標(biāo)準(zhǔn)(圖像、視頻、音頻、廣播電視、語(yǔ)音編解碼等等)的基礎(chǔ),常用于數(shù)字信號(hào)處理、電信設(shè)備,以減少網(wǎng)絡(luò)帶寬使用和數(shù)字內(nèi)容的存儲(chǔ)空間。
整數(shù)DCT是基于DCT的一種快速算法來降低DCT的計(jì)算復(fù)雜度。整數(shù)DCT壓縮,也成為塊壓縮,以離散 DCT 塊集的形式壓縮數(shù)據(jù)。DCT 塊大小一般包括 4x4 和 32x32 像素之間的各種整數(shù) DCT 大小。DCT能夠?qū)崿F(xiàn)高數(shù)據(jù)壓縮比下的高品質(zhì)內(nèi)容。然而,當(dāng)應(yīng)用大量DCT壓縮時(shí),可能會(huì)出現(xiàn)塊狀的壓縮偽影(Compression artifact),比如下面的右圖。
H.264/AVC 第一個(gè)版本的標(biāo)準(zhǔn)化于 2003 年 5 月完成。截至2021 年 8 月 22 日,已經(jīng)發(fā)布了版本27。
H.264并不是免費(fèi)的標(biāo)準(zhǔn)。H.264 專利許可證由MPEG LA專利池管理。獲得 H.264 技術(shù)的商業(yè)使用需要向 MPEG LA 和其他專利所有者支付版稅。為了避免為 AVC 支付許可費(fèi)用,一些公司和組織開發(fā)了自己的編解碼格式,這些編解碼格式基于 AVC 標(biāo)準(zhǔn),但使用不同的技術(shù)或算法進(jìn)行壓縮。例如,XAVC 和 AVC-Intra 都是基于 AVC,但分別由 Sony 和 Panasonic 開發(fā),以避免支付使用原始 AVC 編解碼格式的許可費(fèi)。同樣,Apple ProRes 是 Apple 開發(fā)的專有編解碼格式,它也基于 AVC,但針對(duì)專業(yè)視頻制作工作流程進(jìn)行了優(yōu)化。
XAVC
XAVC是Sony于 2012 年 10 月 30 日推出的一種錄制格式。XAVC 使用H.264/MPEG-4 AVC的 5.2 級(jí),這是該視頻標(biāo)準(zhǔn)支持的非常高的級(jí)別。支持每秒 60 幀(fps) 的4K 分辨率(4096 × 2160 和 3840 × 2160) 。XAVC 支持8、10 和 12 位的顏色深度。色度采樣(Chroma subsampling)可以是 40、42 或 44。素材交換格式(MXF)可用于數(shù)字容器格式。XAVC 支持范圍廣泛的內(nèi)容制作,包括幀內(nèi)錄制和長(zhǎng)畫面組(GOP) 錄制。XAVC的規(guī)范缺點(diǎn)是并未擴(kuò)展到8K。
AVC-Intra AVC-Intra是Panasonic在2007年4月宣布開發(fā)支持的一種視頻編碼格式,用于 Panasonic 的高清廣播產(chǎn)品,例如配備P2 卡的廣播攝像機(jī)。AVC-Intra同樣,也是基于H.264/MPEG-4 AVC標(biāo)準(zhǔn)。它定義了 10 位幀內(nèi)壓縮,10 位亮度和色度,便于編輯并保持最高的視頻質(zhì)量。支持40,42 和44色度采樣。支持4K分辨率。ProRes Apple ProRes是蘋果在2007年開發(fā)的一種高質(zhì)量、“視覺無損”的有損 視頻壓縮格式。ProRes用于后期制作,支持高達(dá)8K的視頻分辨率。ProRes 編解碼器系列使用基于離散余弦變換(DCT) 的壓縮算法。ProRes 被廣泛用作商業(yè)廣告、特寫、藍(lán)光和流媒體中高清廣播文件的最終格式交付方法。ProRes 是一系列中間編解碼器。僅使用幀內(nèi)壓縮來實(shí)現(xiàn)的,其中每個(gè)幀都是獨(dú)立存儲(chǔ)的,并且可以在不依賴于其他幀的情況下進(jìn)行解碼。ProRes 支持不同的數(shù)據(jù)速率和不同的分辨率(可變比特率 ( VBR ) 編碼)。所有 ProRes422 變體都在 10 位色深下使用 42 的色度子采樣。ProRes 4444 和 4444 XQ 以 44 模式對(duì)顏色進(jìn)行采樣,顏色深度為 10 或 12 位,并且可以選擇包括一個(gè) alpha 通道。JPEG-XS JPEG XS (ISO/IEC 21122) 是由聯(lián)合攝影專家組(JPEG)在2019年推出的最新的淺壓縮編解碼標(biāo)準(zhǔn),JPEG XS是一種用于專業(yè)應(yīng)用程序的可互操作、視覺無損、低延遲和輕量級(jí)圖像和視頻編碼系統(tǒng)。JPEG-XS具備成為超高清制播域主流格式的潛力。優(yōu)勢(shì)在于標(biāo)準(zhǔn)化、低延遲和低復(fù)雜性。基于離散小波技術(shù)應(yīng)用上的一些突破,實(shí)際測(cè)試能夠以16:1壓縮率達(dá)到視覺無損的質(zhì)量,滿足8K編輯的質(zhì)量要求且編解碼效率很高,有望以單一格式滿足制作、傳輸和播出的需求,對(duì)于提高超高清制播效率和降低成本具有重要意義。該標(biāo)準(zhǔn)的應(yīng)用包括為虛擬現(xiàn)實(shí)、無人機(jī)、使用攝像頭的自動(dòng)駕駛汽車、游戲和廣播流式傳輸高質(zhì)量?jī)?nèi)容。JPEG XS有三個(gè)關(guān)鍵技術(shù)能力:(1)視頻透明壓縮;(2)低延遲;(3)輕量級(jí)。JPEG XS支持精確的比特率分配、多平臺(tái)互操作性、數(shù)字無損編碼(MLS)、高動(dòng)態(tài)范圍(HDR)內(nèi)容和RAW Bayer/CFA壓縮。中央廣播電視總臺(tái)和北京臺(tái)已經(jīng)開始對(duì)該技術(shù)的嘗試,產(chǎn)品生態(tài)逐步完善。 除了上述提及的編解碼,制播域還有其他的編解碼比如:AVCHD、REDCODE RAW、Canon XF-AVC等,這里不再一一展開贅述。補(bǔ)充小知識(shí):色度采樣(Chroma subsampling)
色度(Colorfulness)指的是色彩的純度,也叫飽和度或彩度,是“色彩三屬性”之一。利用人類視覺系統(tǒng)對(duì)色差的敏銳度低于對(duì)亮度的敏銳度,色度采樣(Chroma subsampling)指在表示圖像時(shí)使用較亮度信息低的分辨率來表示色彩(色度)信息。數(shù)字信號(hào)通常被壓縮以減小文件大小并節(jié)省傳輸時(shí)間。因此往往通過將更多帶寬分配給亮度分量(通常表示為 Y')而不是色差分量Cb和Cr來優(yōu)化視頻系統(tǒng)。色度采樣(Chroma subsampling)方案通常表示為三部分比例J : a : b
J:水平采樣參考(概念區(qū)域的寬度)。通常,4。
a :第一行J像素中的色度樣本數(shù)(Cr,Cb ) 。
b :第一行和第二行J像素之間色度樣本( Cr,Cb)的變化次數(shù)。
42就表示:每行4個(gè)亮度采樣,第一行J像素中的色度樣本數(shù)2,第一行和第二行J像素之間色度樣本( Cr,Cb)的變化次數(shù)也是2。
發(fā)布域的高清視頻編解碼格式發(fā)布域高清視頻編解碼格式使用場(chǎng)景廣泛,各大組織、企業(yè)投入力度大,致力于爭(zhēng)奪技術(shù)和專利上的制高點(diǎn)。HEVC 在前面談到制播域視頻編解碼的時(shí)候,我們就談到了H.264/MPEG-4 AVC。這個(gè)編解碼廣泛應(yīng)用于制播域和發(fā)布域。高效視頻編碼( HEVC ),也稱為H.265和MPEG-H Part 2,是在H.264/MPEG-4 AVC基礎(chǔ)上開發(fā)的視頻編解碼格式。它還是由ITU-T 視頻編碼專家組(VCEG)和ISO/IEC JTC 1運(yùn)動(dòng)圖像專家組(MPEG)聯(lián)合成立的視頻編碼聯(lián)合協(xié)作小組 (JCT-VC) 標(biāo)準(zhǔn)化的,在2013年6月份首次發(fā)布。現(xiàn)在已經(jīng)演進(jìn)到8.0版本了。 與 AVC 相比,HEVC在相同視頻質(zhì)量水平下提供 25% 到 50% 更好的數(shù)據(jù)壓縮。它支持高達(dá) 8192×4320 的分辨率,包括8K UHD, 與主要的 8 位 AVC 不同,HEVC 的保真度更高的 Main 10 配置文件已被整合到幾乎所有支持的硬件中。截至 2019 年,43% 的視頻開發(fā)者使用 HEVC,是僅次于 AVC 的第二大使用最廣泛的視頻編碼格式。 同樣是整數(shù)離散余弦變換(DCT),AVC 使用塊大小為 4×4 和 8×8,而HEVC 使用塊大小在 4×4 和 32×32 之間靈活調(diào)整。其他的技術(shù)變化還包括將模式比較和差異編碼區(qū)域從 16×16 像素?cái)U(kuò)展到最大 64×64,改進(jìn)可變塊大小分割,改進(jìn)同一圖片內(nèi)的“幀內(nèi)”預(yù)測(cè),改進(jìn)運(yùn)動(dòng)矢量預(yù)測(cè)和運(yùn)動(dòng)區(qū)域合并,改進(jìn)的運(yùn)動(dòng)補(bǔ)償過濾,以及稱為樣本自適應(yīng)偏移過濾的附加過濾步驟。 不過,HEVC還是犯了AVC同樣的毛病,就是專利費(fèi)。甚至,HEVC的綜合許可費(fèi)還高于 AVC,這也是HEVC 在網(wǎng)絡(luò)上采用率低的主要原因之一。而且,不僅如此,高昂的專利許可費(fèi),還讓很多大的科技公司干脆另起爐灶,搞起了開放媒體聯(lián)盟(Alliance for Open Media,簡(jiǎn)稱:AOMedia),并在2018年3月28日發(fā)布了免版稅的替代視頻編解碼格式AV1。AV1
剛剛說到,考慮到HEVC專利許可所涉及的高成本和不確定性,七家初創(chuàng)成員:亞馬遜、思科、谷歌、英特爾、微軟、Mozilla和Netflix,在2015年宣布成立開放媒體聯(lián)盟(AOMedia),目的就是開發(fā)免版稅許可的高清視頻編解碼格式。AV1就是這個(gè)背景下的產(chǎn)物。AV1第一個(gè)版本在2016 年 4 月 7 日發(fā)布。
從技術(shù)繼承性來看,AV1 是一種傳統(tǒng)的基于塊的頻率變換格式,基于 Google 的 VP9,AV1在VP9/HEVC基礎(chǔ)上能夠提高約25%的編碼性能。AV1的位深支持8、10和12,色度采樣支持40、40、、42和44。
AV1的優(yōu)勢(shì)在于免版稅,但也存在復(fù)雜度偏高,編碼效率低,硬件支持少的缺點(diǎn)。歷史上VP8、VP9的推廣并不算成功,但由于谷歌對(duì)AV1在自有生態(tài)的積極推進(jìn)和開放聯(lián)合的態(tài)度,應(yīng)用前景比較樂觀,如Netflix、Youtube、Meta(原Facebook)等公司已經(jīng)在他們的部分產(chǎn)品中使用了AV1編碼器。
VCC
通用視頻編碼( VVC ),也稱為H.266、ISO/IEC 23090-3、和MPEG-I Part 3。是在H.265/HEVC基礎(chǔ)上開發(fā)的視頻編解碼格式。它還是由ITU-T 視頻編碼專家組(VCEG)和ISO/IEC JTC 1運(yùn)動(dòng)圖像專家組(MPEG)聯(lián)合成立的視頻編碼聯(lián)合協(xié)作小組 (JCT-VC) 標(biāo)準(zhǔn)化的,在2020年7月份首次發(fā)布。現(xiàn)在已經(jīng)演進(jìn)到2.0版本了。
它支持從極低分辨率到4K和16K以及 360° 視頻的各種分辨率。VVC 支持YCbCr 44、42 和 40,每個(gè)分量 8-10 位,BT.2100寬色域和超過 16 檔的高動(dòng)態(tài)范圍 (HDR) (峰值亮度1000、4000 和 10000尼特)、輔助通道(用于深度、透明度等)、從 0 到 120 Hz 及更高的可變幀率和分?jǐn)?shù)幀率、時(shí)間(幀率)、空間(分辨率)、SNR、色域和動(dòng)態(tài)范圍的可縮放視頻編碼差異、立體/多視圖編碼、全景格式和靜態(tài)圖片編碼。據(jù)說其壓縮視頻的效率比 HEVC 高 40%,但應(yīng)用尚未普及。VVC盡管很強(qiáng)大,但還是收取專利許可費(fèi)的。
AVS中國(guó)AVS標(biāo)準(zhǔn)歷經(jīng)20年的發(fā)展,已經(jīng)形成AVS,AVS2和AVS3共3代標(biāo)準(zhǔn),標(biāo)準(zhǔn)先進(jìn)性和產(chǎn)業(yè)化水平也在逐步提升。AVS(AVS+)用于高清,AVS2對(duì)標(biāo)H.265/HEVC,是國(guó)內(nèi)4K信號(hào)衛(wèi)星傳輸、數(shù)字機(jī)頂盒的必備格式,并發(fā)表作為 IEEE 國(guó)際標(biāo)準(zhǔn) IEEE 1857.4。經(jīng)測(cè)試,AVS2的編碼效率是AVS+的兩倍多,壓縮率超過國(guó)際標(biāo)準(zhǔn)HEVC(H.265)。與第一代AVS標(biāo)準(zhǔn)相比,第二代可以節(jié)省一半的傳輸帶寬。AV3是面向8K、VR和流媒體的最新編碼標(biāo)準(zhǔn),其編碼性能比AVS2提升約30%。2020年春晚的8K AVS3春晚直播系統(tǒng),通過8K機(jī)位進(jìn)行獨(dú)立信號(hào)采集制作,采用國(guó)產(chǎn)8K AVS3編碼器壓縮成120Mb碼流,統(tǒng)一傳輸?shù)饺珖?guó)11個(gè)省市戶外大屏進(jìn)行同步播出。2004年,AVS成立了管理和授權(quán)專利的專利池的委員會(huì)。第一代AVS標(biāo)準(zhǔn)的使用費(fèi)僅為1元/終端。該計(jì)劃僅對(duì)專利池對(duì)終端產(chǎn)品(如電視)收取少量使用費(fèi),不包括內(nèi)容提供商和運(yùn)營(yíng)商。為擴(kuò)大AVS的產(chǎn)業(yè)生態(tài),TCL、創(chuàng)維、華為、海爾、海信、浪潮、長(zhǎng)虹等幾家大廠在2005年5月成立AVS產(chǎn)業(yè)聯(lián)盟,制定和推廣AVS標(biāo)準(zhǔn)。AVS系列標(biāo)準(zhǔn)作為國(guó)內(nèi)主導(dǎo)的編解碼標(biāo)準(zhǔn),在技術(shù)先進(jìn)性、專利收費(fèi)等方面應(yīng)對(duì)當(dāng)前復(fù)雜國(guó)際形勢(shì)具有重要意義。
高清視頻編解碼未來發(fā)展趨勢(shì)在高清視頻編解碼研究領(lǐng)域,壓縮效率和內(nèi)容品質(zhì)之間一直存在著一定的矛盾。包括目前最新的H.266/VVC和制定中的EVC等標(biāo)準(zhǔn),都是基于搜索、變換、熵編碼的傳統(tǒng)編碼框架,編碼復(fù)雜度提升和質(zhì)量收益比越來越小,隨著算法的不斷優(yōu)化和硬件設(shè)備的提升,現(xiàn)有的編解碼算法已經(jīng)達(dá)到了一定的局限性。要在保持內(nèi)容品質(zhì)的前提下提升壓縮比,需要尋找新的解決方案。而各種視頻應(yīng)用如VR、云游戲?qū)Ω邘屎透叻直媛室廊挥刑嵘男枨螅枰诩夹g(shù)上有更大的突破。而且再創(chuàng)造新的高清視頻編解碼格式,未必是理想的選擇方向。因?yàn)?span style="text-align:left;">新的編解碼標(biāo)準(zhǔn)通常需要產(chǎn)業(yè)和生態(tài)的完善支持才能有生命力,而編解碼標(biāo)準(zhǔn)的多樣化會(huì)加速生態(tài)碎片化,導(dǎo)致建立生態(tài)的難度越來越大。
一種可能的方法是深度結(jié)合人工智能技術(shù)和視頻編解碼壓縮算法。也稱為智能編解碼技術(shù)。這種技術(shù)通過端到端基于神經(jīng)網(wǎng)絡(luò)的智能編解碼,可以通過學(xué)習(xí)視頻的內(nèi)容特征和規(guī)律,自動(dòng)尋找最優(yōu)的編碼方式,從而實(shí)現(xiàn)更高的壓縮比。例如,可以利用深度學(xué)習(xí)技術(shù)對(duì)視頻進(jìn)行超分辨率重建,從而減少視頻中的冗余信息,提高壓縮比。此外,人工智能還可以通過對(duì)視頻內(nèi)容的理解,對(duì)不同區(qū)域進(jìn)行有針對(duì)性的編碼,進(jìn)一步提高壓縮比。具體采用技術(shù)包括:像素概率重建、光流估計(jì)、感知編碼、語(yǔ)義編碼等多種方法,來實(shí)現(xiàn)超低碼率的編解碼。具體來說:
像素概率重建:通過學(xué)習(xí)視頻的內(nèi)容特征和規(guī)律,神經(jīng)網(wǎng)絡(luò)可以根據(jù)已知的像素值來預(yù)測(cè)未知像素值的概率分布。這種方法可以有效地減少視頻中的冗余信息,從而實(shí)現(xiàn)更高效的編碼。
光流估計(jì):通過對(duì)視頻中的像素運(yùn)動(dòng)進(jìn)行分析,神經(jīng)網(wǎng)絡(luò)可以預(yù)測(cè)下一幀視頻的像素值。這種方法可以減少視頻中的冗余信息,從而實(shí)現(xiàn)更高效的編碼。
感知編碼:基于人眼對(duì)圖像的感知,神經(jīng)網(wǎng)絡(luò)可以將視頻中的重要信息進(jìn)行高效編碼,而將不重要的信息進(jìn)行壓縮。這種方法可以實(shí)現(xiàn)更好的視頻質(zhì)量和更高的編碼效率。
語(yǔ)義編碼:基于對(duì)視頻內(nèi)容的理解,神經(jīng)網(wǎng)絡(luò)可以將視頻中的相關(guān)信息進(jìn)行高效編碼。這種方法可以減少視頻中的冗余信息,并提高視頻的壓縮比。
總之,智能編解碼技術(shù)是當(dāng)前研究的熱點(diǎn)之一,通過采用端到端基于神經(jīng)網(wǎng)絡(luò)的智能編解碼技術(shù),可以實(shí)現(xiàn)更高效的視頻編解碼和更好的視頻質(zhì)量。該方向主要處于學(xué)術(shù)上的探索階段,但隨著算力的提升和人工智能技術(shù)的發(fā)展,智能編解碼技術(shù)有望成為未來的發(fā)展方向,在各種應(yīng)用領(lǐng)域中得到廣泛應(yīng)用。已經(jīng)有很多廠家在此方向進(jìn)行嘗試。通常在編碼預(yù)處理(降噪、場(chǎng)景檢測(cè)等)、ROI感興趣區(qū)域編碼、碼率自適應(yīng)算法、編碼工具選擇等方面都能進(jìn)一步提高現(xiàn)有編解碼器的性能且保持兼容性,有利于更好利用現(xiàn)有數(shù)量龐大的終端設(shè)備。
從上所述,我們必須認(rèn)清現(xiàn)實(shí):多種格式并存可能成為編解碼技術(shù)常態(tài)。由1到2個(gè)編解碼格式覆蓋所有行業(yè)的情況已經(jīng)過去,現(xiàn)在的編解碼標(biāo)準(zhǔn)依然具有生命力和提升價(jià)值,國(guó)產(chǎn)化標(biāo)準(zhǔn)也具備了相當(dāng)?shù)母?jìng)爭(zhēng)力。很難預(yù)計(jì)新格式中誰能成為超高清發(fā)布域的主導(dǎo)格式,多格式支持很可能成為一種常態(tài)。相信,隨著硬件設(shè)備的不斷升級(jí)和人工智能算法帶來的不斷優(yōu)化,即便不出現(xiàn)新的高清視頻編解碼格式,未來的高清視頻編解碼壓縮技術(shù)還是能實(shí)現(xiàn)更高的壓縮比和更好的內(nèi)容品質(zhì)。
今天,我們就先聊到這里,下一期,我們?cè)僬归_談一下超高清視頻的音頻技術(shù)。
-
開源技術(shù)
+關(guān)注
關(guān)注
0文章
389瀏覽量
7928 -
OpenHarmony
+關(guān)注
關(guān)注
25文章
3713瀏覽量
16256
原文標(biāo)題:河套IT TALK 65:(原創(chuàng))讓人眼花繚亂的超高清視頻編解碼格式
文章出處:【微信號(hào):開源技術(shù)服務(wù)中心,微信公眾號(hào):共熵服務(wù)中心】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論