本文來自于ATEME研究總監兼總監米克爾·勞萊特的主題演講。他主要分享了MPEG-2、H.264、H.265、H.265、VVC，以及EVC、LCEVC等較新的編解碼器。我們需要了解HEVC方面的編解碼器授權，以及VVC標準化的過程。在探索的過程中，我們從Intra-coding和Inter-prediction方法等方面對圖片分割進行了詳細的介紹。在同樣的背景下，我們通過VTM的復雜性、VVC的通用性以及它們在未來的編解碼器之戰中如何與VVC平衡。

所以，我將介紹從HEVC到VVC，以及今天到來的一些編解碼器。

首先我先說一下ATEME。ATEME從事一家做廣播的編碼公司現在已經有20多年了，包括VideoLAN的一些人也在公司里面工作。所有的編解碼器，我們一開始主要是從MPEG開始、VVC標準化，然后VVC競爭者，所有的編解碼器都在一起攻克。其他的都是同時進行的，更重要的是我今天要講的這個也是編解碼器的未來進展。

我們同時是MPEG和ITU的成員，用我們所有的專業知識為它做貢獻。但是我們的時間不多，我們主要是在實現編解碼器。我們是AOM開放媒體聯盟和MC-IF.org的成員，目的是減少我們為HEVC獲得的模式問題。今天有一個大的社區論壇在討論這個問題，同時我們也在VVC的標準化中活躍著。 與此同時，我們還有一個法國項目正在進行中，我們正在與VideoLabs即VideoLAN公司合作。我們會有VVC的全面交付，我們計劃在今年的IBC上做一個演示。

在Ateme，我們主要實現的是綠色樹時間線里的編碼技術，從MPEG-2、H.264、H.265未來可能還有VVC。同時，有一個開源社區也是同步啟動的，今天最知名的編解碼器是VP9，而正在向開源編解碼器靠攏的是來自AOM聯盟，就是AV1。今天，他們正在討論的是AV1的第二個版本，也就是AV2。 與VVC相同級別的還有另外兩種編解碼器EVC和LCEVC。LCEVC來自于日內瓦，而EVC則是由華為、高通、三星等一些公司的MPEG改編的。

MPEG格式化的思路是，與前者相比，要達到2倍的減少。每當我們得到一個特定編解碼器的成功嘗試，每隔10年就會有一次。2016年谷歌的演講是說我們可以每隔18個月就能推出新的編解碼器，而AV1和AV2并不是這樣。它們的進展很慢但就MPEG而言，我們在2013年就有了一個，現在我們在2020年得到下一個版本。 目前，我們從HEVC比VVC提高了37%。他們聲稱主觀上比HEVC有50%的改進。我們在復雜度方面比HEVC有6-10倍的復雜度，所以這也是我們在ATEME中要做的工作，因為我們要做的是實時性編碼。

關于HEVC有一點，在HEVC標準化之后我們得到了很多專利池，這些專利池是在HEVC過程中出現的。之前只有一個單一的專利池主要是一些前標準公司擁有這個技術。后來到了MPEG LA出現了更多的HEVC專利池，這就給HEVC今天的部署增加了一些麻煩。

然后，我們再來看看HEVC的反應也是對AV1的反應。在MPEG組織他們希望編解碼器的定義是自己的，他們希望從MPEG那里得到而不是從其他協會或聯盟那里得到。我們從MPEG那里得到的反應是創建了MPEG-5的第1部分叫EssentialVideo Coding（EVC）;有兩種版本文件一個是免版稅的源自AVC的改進型，另一種是不免版稅的但隨著HEVC的改進它針對版稅也更加友好。。 同時，我們有針對VVC的媒體編碼行業論壇（MC-IF），目的是為了管理VVC內部的專利。大家可以看到VVC里面的專利會比HEVC多。同樣這將是一個噩夢，但是VVC也有一個特殊性，你可以把里面有專利的工具去掉，可能會把你的技術中不想用的工具去掉。

只是給大家介紹一些關于VVC的情況，他們在2015年就開始了一個探索階段。2017年的時候有一個聯合征集方案，他們做了一個實驗軟件基于HEVC的基礎上，他們做了一個實驗軟件比HEVC提高了34%性能提升。 后來他們認為可以在3年的時間內停止規范化進程。他們聲稱可以比HEVC有50%的進步。他們從一開始就想把目標鎖定在HDR 和360°VR；標準化也將在2020年7月完成項目發布。

我們從這個幻燈片上看到了完整的過程。國際標準會在2020年7月發布，我們預計2021年或2022年有第一批硬件支持編解碼。

VVC內部沒有革命，這是一個非常高級的圖表，我們對每個編解碼器都使用了它。它使用幀內預測、幀間預測以及介于這兩者之間的反饋。我們今天所擁有的是，我們在它們的每一個中都得到了越來越復雜的錯誤。基本上和以前的編解碼器一樣沒有什么變革。

這里我們來看看HEVC和VVC的對比，左邊是VVC，右邊是HEVC。我們得到了更多的模式，更大的編碼單元可達128x128。其中有不規則的形狀，我們可以在下一張幻燈片上看到。另外，我們還有更多的DCT。

這是一張將AVC與HEVC和VVC進行比較的圖片。我們可以看到你在VVC中有更大的塊，還有一些我們在HEVC和AVC上不能有的矩形形式來帶來改進。

從AVC開始我們只有9種模式。在HEVC中我們得到了35種模式的預測塊，而在VVC中我們得到了67種模式！

今天在HEVC中，我們在以前的編解碼器中沒有的更多的東西是，我們有了一些六邊形、三角形的形式，不再是矩形或四邊形。這就是這個編解碼器中真正新的部分。

以上是VVC對比HEVC的性能結果。你可以看到編碼部分的復雜度高達8倍，我們記錄的復雜度，在MPEG的目標是解碼器不爆炸。另外，大家還可以看到VVC比HEVC的圖表對比。

有趣的事情是我們在標準化過程開始時的復雜度。編碼器的復雜度達到了2，現在我們的復雜度達到了9，但是我們的復雜度也從10%提高到了37%。我們看到解碼器越來越停滯不前，我們正在為解碼器本身找到更接近HEVC的東西。

VVC和HEVC之間的一個很大的區別是我們對HEVC做了幾個修改，其實是對HEVC進行了擴展。因此，您有一些擴展配置文件，Scalable HEVC(SHVC)和Screen Content Coding Extension(SCC)。 VVC的第一個版本從一開始就會有這一點，基本上，你不會一個接一個地得到。到2020年7月你應該在一個編解碼器中提供所有這些功能，這將加快編解碼器的可用性。

現在我們還有另外3個編解碼器要出來，其中一個已經完成了。

可以理解為那就是AV1。你可以看到一些大公司參與到這個標準化活動中來。我們的想法是要有一些互操作性和開放性的東西，是專門針對網絡邊界的OTT傳輸進行優化。 至少比VP9有20%的壓縮收益，這是他們可以比擬的。存儲沒有增加，它使用了一些基于經典結構的工具，也使用了一些新的工具。更有趣的是，他們在解碼器中使用了膠片顆粒合成，而HEVC則沒有，它又回來了，為VVC。而且是的，他們可以擴展性和SCC。

HEVC和AV1比較，你有更大的編碼塊，這是他們比HEVC得到改進的地方。他們得到了更多的預測，他們有其他的方式來做時態預測。

我們比較了HEVC和AV1，因為它們沒有使用我們在MPEG中使用的通用測試條件，所以很容易在MPEG編解碼器之間進行比較，但是在Alliance和MPEG編解碼器之間進行比較就變得越來越困難。 我們嘗試將一些工具限制在AV1中，一般來說AV1的碼率比HEVC更低。同時你可以看到曲線是交叉的，所以最終很難得到改善。我們看到HEVC有10%的改進，但谷歌最近聲稱幾乎與VVC處于同一水平。 我們目前的實現比HEVC慢2到3倍，所以它并不比HM慢50倍。它現在更快了，但仍然不比HEVC快。

我要進入下一個MPEG-5第1部分，然后我將完成MPEG-5第2部分。 對于VVC，他們稍后開始活動，但MPEG的總體目標是與AV1和免版權費編解碼器抗衡。這個想法是為了獲得免版稅的產品，并且對于Baseline配置文件來說確實非常快。我們可以為主要配置文件管理一些具有良好特許權使用費的產品，并且得到了三星，華為和高通公司的支持。 可以預期的時間表是，我們將在與VVC相同的日期之前獲得國際標準的最終草案，基本上，一切都將在同一時間準備就緒。

綠框是基準配置文件，可能它們重用了MPEG-2組件以能夠執行基準配置文件。一些工具也是免版稅的，它們主要是對熵編碼進行的。他們使用了HEVC的QT結構使之免版稅。藍色框是主要配置文件之一，大多數工具都與VVC兼容。這是在某一個特定的時間點上對VVC的提煉。

對于baseline profile，我們比H.264提升了40％。這點確實接近HEVC可以實現的目標。對于main profile我們的目標是比HEVC提高30％。您可以看到EVC baseline的編碼器復雜度甚至比AVC還要快，而EVC則要慢4倍。

最新的是V-Nova的Perseus專有編解碼器。他們來到MPEG提出他們的解決方案，baseline是典型的MPEG標準。他們可以使用AVC、HEVC或MPEG-2。然后，他們在技術之上添加了自己的技術，以提高視頻質量。它將同時嘗試完成，它將獲得V-Nova的更多許可，因為它們是它的唯一貢獻者。 最新的是V-Nova公司的Perseus專有編解碼器。他們來到MPEG提出了他們的解決方案，其baseline是典型的MPEG標準。他們可以使用AVC、HEVC或者MPEG-2。然后他們會在基礎上加入他們的技術來提高視頻質量。它將在同一時間初步完成，它將有更多的授權給V-Nova因為他們是唯一的貢獻者。

在底層，將運用到傳統的編解碼器。你可以添加一些其他層來改善這一點。LCEVC是上層，但基礎層是標準編解碼器。我們在此處看到的那樣它們正在降低圖像的分辨率，因此基礎層確實很小，并且它們在基于子層編解碼器的基礎上增加了分辨率以及質量。

這就是組件所要求的，因此我們具有這些不重疊的漂亮曲線。與H.264相比，我們的技術之間有了很大的進步。我們使用他們的參考軟件進行了相同的分析，我們也在ATEME產品上做出了貢獻，說LCEVC與傳統編解碼器之間存在誤解。 目前，我們團隊正在努力改善常見的測試條件，以確保我們可以復制并實現每一處。我們在這方面做出了貢獻，只是為了澄清他們的目標，以便能夠復制他們聲稱擁有的決議。

在這里，我們幾乎同時使用了3個編解碼器。明年將發布。我們也許應該從所有這些硬件中獲取一些硬件，至少我們知道三星將推動EVC。我們一定會努力推動VVC。 在2020年大家應該擁有第一個硬件，也是我們在2020年1月發布的第一個AV2代碼庫。我們期望在2026年（也許更早）發布一些AV2。

只是一個簡短的摘要，我不會花太多時間在此上。我們將在幻燈片的末尾顯示所有編解碼器之間的差異。

作為演示文稿的摘要，我們有3個主要的編解碼器同時相互對抗-VVC，EVC和AV1。我也沒有提到對于AV1，我與Jean-Baptiste（VideoLAN）達成共識，我們在VideoLAN中獲得了第一個軟件實現，但與此同時，它們是今年將要推出的第一個硬件。 這樣我們就能在IBC上演示哪種HD，HDR。大多數電視廠商將在2020年1月的CES上宣布他們將在其電視上支持AV1。我們還應該擁有到2020年支持AV1的電視。在2020年，我們將擁有兩個編解碼器，它們的硬件在2020年也可能會上市。 迄今為止，最好的仍然是VVC。EVC至少在專利問題上具有良好的權衡。我們為EVC基準提供了低端編解碼器。這可能是AVC的成功，但AVC會在某個時候免費提供，是的，我們即將免費提供AV3。 有什么用嗎？這就是問題所在。相反，我們的LCEVC似乎有不錯的結果，但目前無法復制。我們希望對此特定編解碼器進行澄清。在我們這方面，由于對VVC的需求更高，因此我們現在很可能會與VVC合作。 但是，如果需要，我們已經準備好過渡到EVC，并且我們已經有了AV1編解碼器。