你有沒有想過讓C羅、梅西或者內馬爾在你家桌子上踢一場比賽會是什么樣子？華盛頓大學、Facebook和Google的研究人員開發了第一個端到端的深度學習系統，可以將足球比賽的YouTube視頻轉換為運動的3D全息圖，使用AR設備就可以觀看到3D全息投影的足球比賽。這項研究將在 CVPR 2018 會議上首次亮相。

世界杯來了！央視名嘴白巖松調侃“俄羅斯世界杯，中國除了足球隊沒去，其他的都去了”，這屆世界杯，中國球迷購買球票的數量在所有國家中排名第9，可見球迷對世界杯的熱情。那么，除了準備好小龍蝦在電視機前觀看世界杯比賽，你有沒有想過讓C羅、梅西或者內馬爾在你家桌子上踢一場比賽會是什么樣子？

華盛頓大學、Facebook和Google的研究人員開發了第一個端到端的深度學習系統，該系統可以將足球比賽的YouTube視頻轉換為運動的3D全息圖。

用CNN重建一場足球比賽

“對一場足球比賽進行單目重建有很多挑戰。我們必須估計相對于場地的攝像機姿態，檢測并跟蹤每個球員，重新構建他們的身體形狀和姿勢，并對聯合重建進行渲染，”研究人員在他們的研究論文中寫道。

圖1：以足球比賽的YouTube視頻為輸入，系統輸出比賽的動態3D重建，可以使用增強現實設備在桌面上以交互式的方式觀看。

這種方法的關鍵是卷積神經網絡（CNN），研究人員通過訓練CNN來估計每個球員與拍攝比賽的攝像機之間的距離。該網絡分析了從足球視頻游戲《FIFA》中提取的12000張2D球員圖像，以及從游戲引擎提取的相應3D數據，以了解兩者之間的相關性。

這樣，網絡就能從沒見過的2D圖像中預估球員的深度圖（depth maps）。當被展示沒見過的視頻時，系統能準確地預測每個球員的深度圖，并將其與顏色素材結合，以3D的方式重建每個球員。

圖2：重建方法的概覽

以YouTube視頻的幀作為輸入，我們使用field lines來恢復攝像機參數。然后，提取邊界框、姿勢和軌跡（跨多個幀）來分割球員。通過在視頻游戲數據上訓練好的深度網絡，我們在游戲環境中重建了每個球員的深度圖，這樣就可以在3D查看器或AR設備上呈現出來。

然后，球員們被放在一個虛擬的足球場上。其結果令人驚嘆，并且可以通過3D查看器或AR設備從任何角度觀看比賽。

圖3：訓練數據：從《FIFA》游戲中提取圖像和對應的深度，這里展示了幾個可視化為深度圖和網格的例子。

該團隊使用NVIDIA GeForce GTX 1080 GPU和NVIDIA TITAN Xp GPU，以及cuDNN加速的PyTorch深度學習框架，在從世界杯比賽視頻中提取的數小時的3D球員數據上對卷積神經網絡進行訓練。

基于這些比賽視頻數據，神經網絡能夠重構球場上的每個球員的深度圖，這些圖可以在3D查看器或AR設備上呈現。

“事實證明，在玩EA的《FIFA》游戲并截取游戲引擎和GPU間的調用時，可以從視頻游戲中提取深度圖。具體來說，我們使用RenderDoc來截取游戲引擎和GPU之間的調用。”研究團隊表示：“FIFA與大多數游戲類似，在游戲過程中使用延遲渲染。通過訪問GPU調用，可以捕獲每幀的深度和顏色緩沖區。一旦特定的幀被捕獲了深度和顏色，就可以提取出球員。”

圖4：合成數據集的結果以及與當前最優技術和ground truth的比較，可視化為depth maps和3D網格。我們的方法更準確，實現了更好的網格重構。

為了驗證這個系統，研究團隊用YouTube上找到的10個高分辨率的職業足球比賽視頻測試他們的方法。值得注意的是，該系統只在合成視頻素材上進行訓練。但是，在真實的場景中，系統也有非常好的結果。

來自YouTube視頻的實際圖像的結果

從Youtube框架開始（頂行），我們網絡重建的深度圖可以添加到虛擬3D球場環境中，這里顯示為僅網格和紋理渲染（第2-4行）。

研究人員用微軟的HoloLensAR眼鏡進行測試。HoloLens可以將3D重建疊加到真實的桌面上。最終的產品雖然不完美，它無法重建球，不能實時地工作，并且只允許從視頻錄制的球場側面觀看。但是，這項技術可能比當前3D重建運動的最先進方法更具可擴展性，因為當前的方法需要在每一個角度布置相機。研究人員稱，這種方法也適用于預定義的其他事件，例如音樂會或劇場。

桌面實際的場景

用HoloLens看到的場景

研究人員承認他們的系統并不完美。他們的下一個項目將專注于訓練系統以更好地檢測球，并開發可從任何角度觀察的系統。

這項研究將于6月18日至22日在猶他州鹽湖城舉行的年度計算機視覺和模式識別（CVPR）會議上首次亮相。