1 為什么需要在FFmpeg中實現深度學習模塊

首先，為什么需要FFmpeg深度學習模塊，FFmpeg對輸入的碼流，首先進行解碼，解碼后得到一個個的視頻幀，以及相應的音頻數據等。經過一系列的Filter之后，最后可以進行重新編碼或者直接播放出來。這些filter的功能包括傳統的圖像處理，也包括一些統計功能，比如直方圖等。在深度學習的算法出來之后，由于它太有效了，包括很多的算法功能，例如超分辨率、目標識別、人臉檢測、目標檢測、人臉識別等等，都需要深度學習的算法來實現。所以，我們需要拓展filter的功能，使它可以支持深度學習算法。 當我們將深度學習的算法加入到FFmpeg的Filter之后，Filter就擁有了很多計算機視覺相關的算法。那么它與比如說OpenCV的計算機視覺軟件包有什么關系？這個問題我們可以從兩個角度來看：在支持深度學習算法之前，FFmpeg與OpenCV是相互配合、相互支持的一種關系。例如在OpenCV中，可能需要先調用FFmpeg進行視頻解碼，解碼完成后回到OpenCV中進行相應的計算機視覺算法應用。此外，在FFmpeg中有一些Filter，這些Filter背后調用的就是OpenCV，通過這種方式來使用OpenCV中的一些算法功能。但是在比較新版本的OpenCV中，接口語言切換成了C++，而在FFmpeg中要求的是C代碼和并且調用的是C庫的接口， 因此FFmpeg基于OpenCV的Filter就很難用上OpenCV的最新算法功能，所以在這種情況下就很有必要在FFmpeg增加深度學習模塊來支持多個Filter應用深度學習算法。 從另外一個角度來看，在之前，對于計算機視覺的算法開發者來說，會在OpenCV中進行算法實現，代碼完成后基本不太可能再次在其它應用中重新實現一次，那么這也就造成了很多的計算機視覺算法都只在類似于OpenCV的軟件包中完成。而在深度學習模塊，算法實現的載體已經從以前的代碼變成了模型文件，模型文件可以很容易的分發出去，被各個軟件包通過恰當的方式進行加載、執行，從而實現一些深度學習算法的功能。綜上所述，無論從什么角度來看，我們都有必要在FFmpeg中增加深度學習相應的模塊。在增加深度學習模塊之后，對于FFmpeg的開發者來說開發工作會更靈活，速度更快。想象一下，在這之前對于FFmpeg的開發者來說，需要首先調用FFmpeg的API進行解碼，解碼完成后，再編寫代碼或者調用第三方庫等實現深度學習算法的應用，最后再回到FFmpeg中進行編碼。而深度學習模塊就相當于將之前用戶需要自行開發的深度學習實現相關的部分轉移到FFmpeg內部，以Filter的形式對外暴露，因此對于FFmpeg的開發者來說開發變得更加便捷。

2 FFmpeg深度學習模塊的發展歷史

其實在2018年FFmpeg才開始支持深度學習模塊，是經過一個GsoC項目，即谷歌關于鼓勵在校學生做實習生的活動，鼓勵大家進入各個開源社區做一些代碼工作。因為具體的代碼實現一般都在7、8月份，所以稱為Summer of Code，項目的效果還不錯。2018年我主要通過郵件參與討論深度學習模塊如何應用，但在GsoC2018完成之后，發現沒人進行接下來的維護。于是在2019年，我基于這一部分做了很多工作，包括貢獻了絕大部分的代碼。除此之外，大師兄劉歧還帶了一個GsoC2019的項目，帶領一名北大的學生基于深度學習的模塊做了些有關Filter的工作。2019年年底，我成為了深度學習模塊的Maintainer。 到了2020年，發生了一個比較大的變化是我們將OpenVINO（英特爾的一個深度學習的推理引擎）加入到了FFmpeg的深度學習模塊中，同時也開展了一個GsoC項目，希望將深度學習模塊中的一些功能進行優化，能夠使用匯編語言做一些速度的提升。希望在2021年看到GsoC2021在FFmpeg深度學習模塊中的一些項目進展。

3 FFmpeg深度學習模塊總體架構

深入到FFmpeg中看一下深度學習模塊的總體架構：FFmpeg是由多個庫組成的，上圖左邊列出了部分：libavcodec是音視頻解碼相關的、libavdevice是音視頻輸入輸出相關的、libavformat是如何將音視頻碼流組合到一個文件中、libswscale是對視頻幀的一些處理、libswresample是對音頻數據的重采樣，以及所有util相關的Tool放在libavutil中。與深度學習模塊密切相關的是libavfilter模塊，因為我們的深度學習模塊目前主要是為Filter服務的，所以放在libavfilter模塊中。對外，我們的深度學習模塊可能會調用TensorFlow的 C動態庫，也可以調用OpenVINO的C動態庫，也就是說需要提前在系統中安裝TensorFlow或者OpenVINO的C庫的.so文件、.h文件等等。 對于libavFilter內部，前面提到，我們可以有很多基于深度學習算法的Filter，也可以調用多個深度學習模塊，所以中間出現DNN接口層，對Filter以及下面的backend進行解耦。目前系統中有三個Filter與深度學習算法相關。第一個是Super-Resolution的Filter，是在GsoC2018的項目中加入的，支持了兩個算法模型：一個是ESPCN，即輸入的是一張低分辨率的圖片，輸出的是高分辨率圖片，模型直接進行超分應用；另外一個模型叫做SRCNN，首先將一張低分辨率的圖片經過快速放大，變成一張高分辨率但質量較為一般的圖片，這張圖片經過SRCNN算法之后，分辨率保持不變、圖片質量會變得更好，在后面我們會用到SRCNN算法舉例進行說明。 第二個Filter叫derain：輸入一個RGB格式的圖片，調用的模型的算法可以將圖片中的雨滴去除掉，這是在GsoC2019完成的。我們分析前面兩個Filter就會發現，其實這兩個Filter實現的算法功能是在模型文件中體現的，在Filter里面的代碼更多的是將FFmpeg的數據結構與模型文件的輸入輸出進行連接。因此從這個角度來看，我們就沒有必要為每一個算法功能實現一個Filter，我們可以做一個比較general的Filter —— dnn_processing。只要調用這個Filter，無論模型文件提供的算法功能是什么，只要將FFmpeg與模型文件執行前后的數據流串通起來，就可以實現任何與圖像處理相關算法的支持。 下面一層就是三個backend：TensorFlow backend對外調用TensorFlow的C動態庫，OpenVINO backend就會對外調用OpenVINO的C動態庫。如果考慮到系統中既沒有TensorFlow也沒有OpenVINO，我們可以選擇轉換到Native backend，即相應的代碼實現都在FFmpeg代碼樹中，可以直接拿來用。后面將會以Super-Resolution里面的算法模型為例，通過dnn_processing這個Filter舉例說明如何使用這三個不同的后端。

4 FFmpeg深度學習模塊接口

目前接口主要分為三塊：第一，有一個最基本的函數，輸入的是backend type，可選值是Native backend、TensorFlow backend或者OpenVINO backend，根據這個backend會返回一個DNNModule。在DNNModule數據結構中首先要做的就是給出模型文件所在的路徑，告知Module加載模型文件，加載完成后會在Filter中進行判斷，查詢加載的模型輸入的信息（包括輸入NHWC中的每個維度的數字是什么，formate是float32、RGB還是int8等等）。查到相關信息后再與FFmpeg的數據流進行比較是否能夠匹配，如果channel的數據匹配不上，則返回error，如果是其它的一些數據結構的大小有變化的話，可以提前做一些scale的轉換，或者做color spaceconvertion的一些變換。當一切都變換好之后，我們就會在為模型設置好輸入、輸出之后完成執行。當然，用set_input_output來設置模型的輸入/輸出主要是將輸入/輸出的變量名字告知Model，方便后續執行時清楚的知道要將FFmpeg的數據填充到模型的哪個地方，以及模型的哪個地方是輸出，獲取到輸出的數據重新放到FFmpeg的pipeline里。然后對每個Filter進行這樣的操作，做模型的推理，當所有的碼流或者圖片執行完畢之后，執行Model即可。以上就是深度學習模塊主要接口的使用方法。

5 三種后端應用實例

5.1 重現編譯FFmpeg

前面提到深度學習模塊有三種后端，分別是OpenVINO、TensorFlow和Native。下面舉例說明應該如何應用：首先第一步，TensorFlow backend在默認編譯FFmpeg時是非enable的，所以我們需要加入一個選項，告知FFmpeg的build system，需要enable TensorFlow。在此之前我們要在Tensorflow的官方網站下載1.14（建議）版本，解壓、安裝到系統目錄下，包括.h文件和.so文件，然后再在configure進行以上配置，就可以生成支持TensorFlow backend的FFmpeg的可執行程序了。 如果需要用的是Native backend，任何選項都不需要加，因為相應的代碼已經直接寫在代碼樹中。 如果是使用OpenVINO backend，則與Tensorflow backend類似，也要加入選項，告知FFmpeg接下來我們要啟用OpenVINO backend。一般來說，OpenVINO的默認安裝目錄不是系統目錄，所以需要增加一些額外的cflags，指出OpenVINO的頭文件在哪里，用ldflags指出OpenVINO的.so庫在哪里。在configure的同時，其內部會寫一個最簡單的OpenVINO應用程序進行編譯并且執行，只有一切都通過，才會啟用OpenVINO的后端，因此前面需要加LD_LIBRARY_PATH指出OpenVINO的.so所在的位置。 通過這樣的方式，我們就可以得到三種后端，即Tensorflow+backend的后端、Native+backend的后端或者OpenVINO+backend的后端，得出的結果都是一個可執行的程序，叫ffmpeg或者ffplay等等。 5.2 準備SR模型文件

準備好可執行的程序之后，我們就可以準備Super-Resolution的模型文件了。首先我們要來準備TensorFlow格式的模型文件。一開始這個是在vf_sr.c的Filter中寫的，也就是說我們需要下載一個第三方的庫，運行python腳本，就會生成srcnn.pb。這就是基于Tensorflow格式的模型文件，包括了已經訓練好的數據。 在這個基礎上，如果我們需要使用Native backend，就需要在我們的FFmpeg/tools/python目錄下調用convert.ty這個python腳本，它的輸入就是Tensorflow的pb文件srcnn.pb。然后會生成在FFmpeg中自定義的一種新的格式——srcnn.model文件，這個.model文件就可以被Native backend加載和執行，這是我們在FFmpeg中自定義出來的，比較簡潔。 如果需要使用OpenVINO后端，其實OpenVINO可以支持多個不同格式，例如Tensorflow格式、通過中間轉換的方式支持pyTorch格式，支持ONNX格式等等。OpenVINO的源代碼中有一個model-optimizer目錄，在這個目錄中有若干python腳本。例如mo_tf.py腳本文件就可以將Tensorflow格式的模型文件轉換為OpenVINO支持的格式，OpenVINO的模型文件有兩個，分別是.xml和.bin文件，我們只需要將這兩個模型文件放在同一個目錄下即可。 如果大家想重現上述內容，而轉換又比較麻煩的話，大家可以在圖中最下方的網址中下載相應文件。 5.3 應用SR算法

準備好相應的程序和模型文件后，接下來要執行的FFmpeg的命令行如圖所示。 TensorFlow backend命令行： -i：輸入文件是什么。一般來說FFmpeg處理的是視頻。在這里為了方便展示，我們輸入一個.jpg文件，解碼之后就經過若干的Filter。由于我們的模型需要的是YUV格式，我們首先應用了format的Filter進行格式的轉換，以確保輸出的是YUV格式。然后我們調用scale的Filter，其目的是為了將輸入圖片的長和寬簡單的放大一倍，得到高分辨率低質量的一張圖片。這張圖片再經過dnn_processing的Filter，就可以變成相同分辨率高質量的圖片。在該Filter中的參數部分，我們需要指出后端是Tensorflow，其模型文件是什么，以及模型的輸入輸出的變量名是什么，才能將FFmpeg的數據結構與模型串聯。 如我們需要的是Native backend，只需要改變backend的flag，并改變模型文件的文件名即可。同樣的，對于OpenVINO來講，其它參數都保持不變，只要將OpenVINO的flag傳進去，并調整模型文件為srcnn.xml。Filter會根據flag經過dnn interface再調用希望應用的backend，最終完成相應的算法功能。

6 下一步計劃

那么接下來我們會有哪些新的實現計劃？ 第一，我們現在執行的是同步的處理，即給到一個frame，執行完畢后才會返回，這樣在有些時候會影響整體效率。因此接下來我們會實現一個異步的執行，即在接收到一個視頻幀后，直接將視頻幀輸入到深度學習模塊中，在推理完成之前返回調用，希望能夠加快處理的速度。并且在這個基礎上，我們就可以支持batch support，也就是每次推理并非一幀一幀進行，而是支持一次多幀的處理，盡可能用上下面硬件的并行處理功能。 除此之外，剛才一直強調的模型的輸入輸出與FFmpeg的數據結構之間需要做一些恰當的轉換。由于模型的輸入千變萬化，存在很大可能性，而目前只是支持一些比較固定模式的轉化，因此希望后續可以加入一些比較靈活的轉化。再接下來，因為不同的backend會有自己的特性，需要單獨設置flag，那么我們就需要在接口中為每個backend實現其私有的操作選項，從Filter向下傳遞到相應的backend中。另外，從Filter的角度來講，其實還有很多事情是可以做的。例如目前增加的Filter只是可以用來對圖片進行處理，而沒有實現分析的功能，例如檢測和識別等這些都是下一步需要做的。甚至包括音頻相關的Filter，例如將識別音頻轉化為文字內容等等。 最后以FFmpeg深度學習模塊Maintainer的角色，非常歡迎大家對FFmpeg深度學習模塊提出建議或意見，包括增加更多的基于深度學習模塊的Filter，歡迎大家一起討論。