本次我將從以下四個方面為大家分享有關最新一代VVC與AVS3視頻編碼標準的進展及關鍵技術特色等內容，希望可以為大家帶來有價值的幫助。

1.視頻編碼標準發展歷程

上圖展示了視頻編碼國際標準的發展歷程，我們可以看到目前主要是以VVC、AV1與AVS3為主流發展趨勢。

1.1 視頻編碼標準的定義

我們可以看到上圖展示的視頻編碼流程，視頻數據輸入至編碼系統首先會進行預處理工作，預處理后進行編碼。編碼完成后的數據會傳輸至解碼模塊并在完成解碼之后進行預處理，最后輸出目標視頻。這里需要注意的是我們對視頻編碼標準的定義是對其中解碼部分的定義，也就是定義碼流的語法語義和解析解碼過程。我們需要在制定標準的過程中通過技術篩選擇優選擇技術加入標準中從而避免解碼過程的冗雜與低效，降低解碼過程的復雜程度。也就是說可以在編碼流程等其他環節完成的工作就不應當被加入解碼流程中，如濾波等作為后處理可提高主客觀性能水平。標準制定是一個技術協調統一優化的過程，無論是國際標準的制定還是我們以學術為目的的討論都會引入一種技術競爭機制，選擇最好的技術放入標準之中。

1.2 高效壓縮標準的意義

那么現在我們需要更加高效地壓縮標準嗎？答案是毋庸置疑的。按照提升規律，編碼效率每提升50%以上就會成為新一代標準，如早前的H.261、HAV1等其性能基本持平所以我們將其稱為第一代，而像AVS和H.264等比前一代提升50%就可稱其為第二代，至于AVS2、H.265等相對于第二代的提升達到50%我們就將其稱為第三代。現在我們正在探索的AV3/VVC/H.266則為最新一代的壓縮標準。我們需要更高效壓縮標準原因可以通過Jevons悖論來解釋：業界對節約煤炭研究不會降低煤炭需求，反而會因為提升了煤炭使用效率而加大對煤炭的需求。我們將這個理論過渡到壓縮標準上來說，雖然我們嘗試通過更好的壓縮標準提高壓縮效率降低帶寬壓力，實際上壓縮效率的提高會進一步刺激視頻用的需求不斷增長，整體來看就是更高效的壓縮標準推動了視頻行業的持續發展。

1.3 多位度視頻發展方向

我相信在未來4K/8K超高清、全景視頻等先進視頻應用會得到進一步發展。隨著視頻應用的不斷演進，更高效的視頻編碼解決方案也會不斷被提出。圖中展示的全景視頻、3D面部捕捉等都會幫助我們進一步提升視頻應用的用戶體驗。我相信視頻行業會得到長足發展，現在的標準在未來也會被更佳先進的標準所取代。

2.VVC國際標準進展情況

大家現在聽到VVC、266新一代國際標準這些名詞等都已不再新鮮，實際上對于新一代標準的討論已多達12次會議，其中有包括快手在內的許多中國公司參與VVC標準的制定。追溯中國參與確立國際視頻編碼標準，最早可以追溯至1996年MPEG中國代表團參與MPEG標準的制定工作。雖然在1996年之前中國對國際標準制定的影響力有限，但在1996年之后有許多中國高校參與其中，有力促進了我國相關行業的發展。看到這么多中國企業參與其中我倍感榮幸，雖然我們在探索AVS，但同時我們也鼓勵廣大同仁參與國際標準的制訂工作。

2.1 VTM關鍵技術

上圖展示了VTM的諸多關鍵技術，其中藍色與紅色高亮的技術所帶來的性能提升非常顯著。當然我們對關鍵技術的考量離不開后端配套設施的跟進，我們在科學制定標準是一定需要在復雜度與性能間實現良好平衡，依靠技術的力量控制二者使其達到理想情況。我們使用的VTM2.0軟件并將其性能提升用Random access量化，可以看到BDR-Y的性能提升為23%。將其結合圖中左側表格中的工具所帶來的性能提升十分可觀。這里需要注意的是，雖然表格中未高亮部分的工具所帶來的性能提升在1%以下，但由于這些技術的編解碼復雜度波動比較小，可顯著降低復雜度，后期選擇合適技術時我們也能考慮這些在復雜度上表現較好的工具。

2.2 新特色：從信號處理到深度學習

大家知道最近深度學習成為行業熱門，人工智能開始為各行各業帶來顯著優化，深度學習同樣也可以被用于優化視頻編碼。傳統的視頻編碼主要基于信號處理實現預測、變換等，而現在我們更多采用統計分析、深度學習、神經網絡等技術使視頻編碼登上一個全新的階段。神經網絡可以在編碼領域大秀拳腳，同樣標準制定也受其影響。大家可以從右側的表單中看到現在許多企業與高校在參與標準制定過程中將神經網絡納入考量范圍。

1）神經網絡與預測編碼

我們可以借助神經網絡實現幀率預測、劃分等重要工作，神經網絡用與預測編碼主要需要包括輸出層在內的四層網絡傳統方法主要借助濾波器基于信號處理實現優化；而神經網絡則是將節點數、相鄰像素數等指標輸入神經網絡從而重構原始信號使其稱為符合編碼要求的信號，通過反復的訓練尋求最優指標并確定為參數，在此之后這個訓練完成的網絡就可被用于幀率預測。除了幀率預測，神經網絡也可以實現濾波等功能，但由于這一部分的研究仍需要進一步完善，后續還需配套硬件的跟進才能實現理想效果。從標準制定的角度來看，我們需要跟多的時間優化完善神經網絡才能使其符合寫入標準的嚴格要求。

2）神經網絡與劃分模式決策

談到使用神經網絡實現劃分，我們需要明確不同劃分模式需要哪些技術調整。這里我們的目標是基于四叉樹與六叉樹實現64x64的劃分。具體步驟為首先提取整體劃分深度特征來預測劃分程度，也就是判斷采用128×128進行預測還是64×64進行預測。如果選擇128x128作為預測那么其深層次的預測準確度會大打折扣，而32x32的預測與128x128之間相差太遠同樣造成預測不準確，因此我們選擇基于64×64進行深度劃分預測，我們希望這種選擇可以有效降低網絡預測有偏差時對性能的影響。第二張圖右側列表展示的相關性能指標提升。

3.AVS標準回顧及應用情況

AVS標準的確立最早可以追溯至2002年的DVD專利事件，正是因為此事件推動了AVS標準的產生。經過幾十年的發展AVS對推動技術創新、規范專利政策、推動行業生態建設做出了卓越貢獻。從開始的盜版橫行到現在的各種專利聯盟日趨規范音視頻產業年產值達到數萬億，人們對技術與產業價值的追求是全行業永恒的話題。無論是AVS標準還是國際標準，其目的都是推動技術創新的積聚與經濟價值的最大化。

AVS的管理模式在其被提出時就有相關規范，主要由技術研發、包括專利池與專利授權在內的知識產權管理、產業聯盟三部分組成。這種模式在十幾年前具有非凡的創新意義，即使在今天看來也是十分先進的理念。現在AVS上百位工作組會員與產業聯盟成員為整個標準提供有力支撐，幫助其持續優化發展。

上圖展示的AVS在過去十六年經歷的發展過程，從2002年AVS確立到2003年第一代標準AVS1基本完成，再到隨后中國高清電視廣播使用AVS標準，2012年啟動AVS2標準的制定，2015年完成AVS2標準的制訂，2016年AVS被批準為國家標準并成為廣電行業標準，最近的2018年3月份AVS3正式啟動。

從AVS的標準歷程中我們可以看到，可以說在過去十六年AVS的發展取得了很好的成績。

落實在應用上，中央電視臺已在2018年10月啟動了基于AVS2標準的4K超高清頻道的播出。并且全國各地相繼有地方電視臺開通4K電視頻道，進一步加快了技術轉化為市場效益。

如果我們對比AVS2與HEVC便不難發現，無論是在主觀質量還是用戶體驗上AVS2都略勝一些。

在編碼其優化方面，上圖展示的實驗結果來自于我的學生優化的AVS2編碼器，商用AVS編碼器的性能還要高于上述結果。右上圖我們可以看到AVS2的各項性能指標與其他標準下的編碼性能對比可以說是不相上下， AVS2與x265相同性能條件下AVS2編碼速度快一倍。

AVS標準在軟硬件復雜度上的性能指標較為優秀，這也使其受到全行業的大力推廣。上圖展示的AVS2 4K廣播應用的發展歷程，可以看到全行業都對AVS2抱有強烈的興趣并積極參與推廣建設，這極大提高了AVS2的普及速度與應用范圍。

4. AVS新一代標準關鍵技術

4.1 概述

2017年12月份我們啟動了新一代標準AVS3的確立工作，2018年3月份開始第一次提案征集。預計在未來的2019年3月份發布第一版AVS3，其主要在編解碼復雜度控制上做出顯著優化并預計帶來30% 的性能提升；2021年發布第二版，達到相對于第一版50%的效率提升并實現其在8K、VR、流媒體視頻等領域的應用；最終我們希望實現的是在第二版基礎上高達一倍的性能提升。從技術角度來看，我們的思路主要分為傳統與智能兩部分，傳統部分仍然為塊劃分、運動預測、變換、濾波等傳統策略，而在智能部分我們會劃時代地使用基于神經網絡的工具實現濾波、率失真優化等功能。

上圖展示的是過去一段時間AVS3的會議進展與關鍵技術情況，到目前為止我們實現了相對于AVS2 10%的性能提升。

4.2 最新進展

現在AVS3標準的框架主要基于傳統部分建立，其中有包含擴展四叉樹、二叉樹劃分在內的塊劃分，包含仿射運動預測、自適應運動矢量精度、基于歷史信息的運動矢量預測與大跨度預測編碼在內的預測，包括基于位置的幀間殘差與幀內預測多核在內的變換還有基于神經網絡的濾波。

1）預測劃分

我們現在所有的標準都是基于塊劃分實現的，隨著標準的不斷迭代，劃分的效率也不斷提升。其本質在于通過更高效的劃分降低預測誤差。這里我們努力實現的為自適應運動預測與復雜視頻的內容高效處理，經過預測之后的圖像內容有些平滑過渡有些帶有邊緣或紋理；若對其統一進行某一種變換效率勢必會降低，我們期待通過自適應算法將進一步提升整個過程的效率，自適應的前提是我們需要將變換量化并考慮自身濾波對視頻圖像內容特性的適應。隨著技術的演變，塊劃分方案的不斷迭代意味著劃分方案的不斷改進，如正在進行的采用MTT實現的多種樹型劃分，其本質為使用更精細的劃分方案解決更復雜的圖像內容從而實現理想的效果。

AVS-M4409的劃分過程基本上基于VCC的三叉樹劃分，同時包括了二叉樹與四叉樹。

而AVS-M4472則是二叉樹層遞歸劃分。除此之外AVS-M4472的編碼單元CU、預測單元PU、變換單元TU大小一致。

接下來發展到了AVS-M4477則采用了衍生預測模式，使用非對稱二分和對稱四分模式，并且在四叉樹或二叉樹的葉子結點上不可遞歸，使用RDO決策變換形狀，實現良好性能更高效率的劃分。

最后的AVS-M4489所運用的擴展的四叉樹劃分結構EQT是我們最新采用的一種劃分模式，此劃分同二叉樹層級一直并可遞歸，其CU、PU、TU大小一致，我相信還有更加高效的劃分模式等待我們探索。

2）運動預測

在運動預測方面，第一代、第二代標準所使用的預測方案對平移運動效果較好，一旦運動狀態變得復雜則容易失效；于是在第三代我們采用了合并模式，基于平移運動與向量塊信息的組合更高效準確預測物體運動；而現在正在探索的仿射運動預測又把對復雜運動預測的效率提升至新的水平，我們也將其視為研究的目標。

我們現在所看到的運動矢量精度都是基于適量像素實現，出于對復雜度的控制我們需要一種較為理想的方案確定運動矢量精度。

其解決方案是在離預測運動矢量近的區域采用高精度運動矢量如1/8、1/4像素精度，而在離預測運動矢量遠的區域采用低精度如1/2甚至整像素精度，從而有效提高運動矢量的編碼效率。比如這里在這個小的窗口里邊，運動比較預測比較接近，就用高精度的，到了窗口外邊就用粗精度了，在AVS里邊是做1/2和1/4這么一個切分這樣的，可以有效降低編碼復雜度的同時進一步提升編碼效率。

在AVS3中有1/2、1/4、1、2、4 五種可選運動矢量精度，可以進一步提升編碼效率。

相對于傳統的平移運動，仿射運動補償可以根據上圖左側方形頂點上的運動矢量推導其中每一個小方塊的運動矢量并求解運動仿射參數，從而實現相對于傳統仿射運動更加高效的預測。

第一代標準采用了空域多候選預測的方式實現運動矢量預測，在后續幾代中加入了空時域預測模式。現在我們正在探索加入更多候選預測運動矢量以帶來編碼增益。

AVS-M4488采用了由已編碼塊信息建立候選運動矢量預測列表HMVP，通過多個塊的運動矢量構建多個列表并移除冗余候選添加新的候選，并在編碼/解碼過程中維持HMVP的候選列表，可以有效提高運動矢量預測的編碼效率。

還有對Skip、direct模式的運動矢量進行更精細更準確的調整，也能帶來明顯的編碼效率提升。

將編碼與傳輸結合實現大跨度預測編碼是我們正在探索的一件較為超前的方案。我們將時間上大跨度的知識圖像作為幀間預測的參考圖像，在系統層描述參考關系，在壓縮層修改高層語法語義，并基于類似P2P傳輸原理實現視頻內容之間的跨序列參考。此工作需要系統層的傳輸支持，大跨度預測編碼可以帶來30%以上的壓縮效率提升。

3）變換

第一代標準使用的變換模式為DCT，隨后的第二代標準則采用了ABT。DCT在相關性較強時較為適用，而第三代標準所使用的TU與DST則更適應信號的復雜特征變化，現在我們正在探索的變換方案為多核變換。

幀內預測變換這塊，行列變換組合的變換形式，早期AVS也做過很多的相關的研究，通過率失真優化來選擇變換。

幀間殘差變換是基于位置變化的，在不同塊的位置其參數特性也有所區別。我們可以選擇性變換從而進一步提高變換的編碼效率實現性能提升。

4）環路濾波

在第一代標準中沒有環路濾波而只是將其作為后處理的一部分。在第二代標準中我們使用了對塊邊界的Deblock環路濾波，從H265這塊，引入了SAO，原理上就是從幾種邊緣看一看是不是有了較大的量化失真，給它加一個補償，降低量化失真；這時候也還有有另外一中環路濾波就是ALF，對于這一塊兒關于濾波器的形狀研究更多，加了好多濾波器形狀，去進一步提高這個濾波器效果去，這是濾波部分的一個演變。

關于濾波，我們還探索了非局部結構相似濾波，其主要是依據統計局部多個像素發生失真得出的規律特性推斷更優的全局優化策略。雖然此方案復雜度較高但效果明顯，全局優化處理能夠帶來明顯的效率提升。可能目前全局濾波方案還難以被標準采用，我們仍在探索更好的全局濾波方案。

關于智能編碼與智能濾波部分。由于濾波是比較獨立的模塊，傳統濾波主要輸入重構的圖像即可，在這里我們同時輸入了相關編碼信息之后發現還能進一步提高濾波性能，這說明濾波性能提升空間還是比較可觀的。

上圖展示的是AVS3 TAVS2.1的性能測試結果，可以看到AVS3相對于H.265已有10%以上的性能提升，預期第一階段將達到30%，我們對AVS3未來的發展充滿信心。

我們可以看到新一代視頻編解碼標準的進步十分顯著，效率提升非常明顯，我們相信新一代視頻編碼標準具有蓬勃生命力。AVS標準在技術創新、專利政策與生態建設方面都有較為全面的布局，新一代AVS標準未來可期。