（文章來源：yivian）

DeepFovea是一種基于AI的注視點渲染系統，并主要用于虛擬現實和增強現實顯示器。據介紹，其采用了的像素數目較之原來系統要少數個量級，同時能夠實現逼真的注視點全畫質體驗。Facebook指出，這是第一個能夠根據非常稀疏的輸入來生成自然視頻片段的實用生成對抗網絡(Generative Adversarial Network;GAN)。在測試中，DeepFovea可以將渲染所需的計算資源量減少多達10-14倍，而人眼依然無法注意到任何圖像差異。

在下面這個視頻中，灰色正方形是用戶注視的區域。系統能夠對所述區域的圖像進行密集采樣，而其他地方則是稀疏采樣。DeepFovea可以實時有效地生成丟失的外圍像素，不會出現保真度丟失的情況。

1. 工作原理，當人眼直接注視對象時，我們可以在注視區域看到非常清晰的細節，但外圍視場的清晰度則較低。然而，由于人腦能夠推斷缺失信息，所以我們不會注意到影像差異。利用生成對抗網絡的最新進展，DeepFovea能夠通過生成感知一致的內容來“半透明化”丟失的外圍細節。

研究人員通過饋送大量低像素密度的視頻片段來訓練系統。輸入可以模擬外圍圖像的質量下降，而目標能夠幫助網絡根據所所見視頻的統計信息來學習如何填充缺失的細節。結果是一個能夠根據稀疏像素流生成自然視頻的系統。Facebook指出，60×40度視場的外圍像素密度最高降低了99%。所述系統同時可以管理外圍視場的閃爍，鋸齒和其他視頻偽影，將其控制在人眼無法注意到的閾值。

2. 有何意義?高質量的AR和VR體驗需要高圖像分辨率，高幀率和多視圖，而這需要耗費大量的資源。為了優化系統并把沉浸式體驗帶給更多的設備(如搭載移動芯片和小型電池的電子產品)，我們需要顯著提升渲染效能。

DeepFovea說明了深度學習是如何通過注視點重建來幫助完成這項任務。這種方法具備跨硬件功能，并有望在下一代頭戴式顯示技術中成為重要的輔助工具。隨著社區正不斷探索在AR和VR應用眼動追蹤系統，構建諸如DeepFovea這樣的視線識別技術將能發揮重要的作用。Facebook表示：“這個系統是我們為優化AR/VR圖形而提出的數個研究項目之一。在它之前是旨在利用AI解決視覺輻輳沖突挑戰的DeepFocus。”

（責任編輯：fqj）