Facebook人工智能研究院日前通過博文簡述了如何通過集成式機(jī)器學(xué)習(xí)來實(shí)現(xiàn)低延遲的移動VR圖形。具體來說，團(tuán)隊(duì)介紹了一個為VR一體機(jī)的渲染管道運(yùn)行機(jī)器學(xué)習(xí)的全新低延遲高效能框架。這個架構(gòu)允許所述設(shè)備利用機(jī)器學(xué)習(xí)來顯著提升圖像質(zhì)量和視頻渲染。

研究人員根據(jù)這一框架創(chuàng)建了一個示例應(yīng)用，它能夠重建更高分辨率的渲染（稱為超分辨率），以最少的計算資源提高移動芯片組的VR圖形保真度。這個全新框架同時可以用于執(zhí)行面向的流式傳輸內(nèi)容時的壓縮偽影去除，幀預(yù)測，特征分析，以及針對引導(dǎo)式注視點(diǎn)渲染的反饋。

1. 工作原理

在典型的移動VR渲染系統(tǒng)中，應(yīng)用引擎在每個幀的開頭檢索運(yùn)動追蹤數(shù)據(jù)，并使用所述信息為每只眼睛生成圖像。為了支持VR應(yīng)用的有效工作，系統(tǒng)通常會嚴(yán)格限制整個圖形管道的處理時間。例如為了90Hz的刷新率，兩個眼圖緩沖區(qū)的渲染時間預(yù)算為11毫秒。

為了克服所述限制，團(tuán)隊(duì)研發(fā)的新架構(gòu)減輕了模型執(zhí)行的負(fù)擔(dān)，所以專用處理器能夠?qū)崿F(xiàn)異步化。在這種設(shè)計中，數(shù)字信號處理器（DSP）或神經(jīng)處理單元（NPU）與圖形處理單元（GPU）實(shí)現(xiàn)管道化，并獲取部分渲染緩沖區(qū)或整個渲染緩沖區(qū)以進(jìn)行進(jìn)一步的處理。系統(tǒng)異步拾取內(nèi)容，方式是在將其發(fā)送到顯示器之前GPU為延遲補(bǔ)償而扭曲線程。

上圖說明了如何在圖形顯示管道中將DSP的機(jī)器學(xué)習(xí)模型執(zhí)行與其他處理器并行化。

為了提高性能，F(xiàn)acebook修改了操作系統(tǒng)中的圖形內(nèi)存分配系統(tǒng)，將專用分配器用于GPU-DSP共享內(nèi)存。這比直接映射更為有效，因?yàn)閳D形幀緩沖區(qū)通常是優(yōu)化僅GPU的訪問（并且在CPU上的表現(xiàn)不佳），同時需要特殊的內(nèi)存注冊過程來避免在運(yùn)行時通過遠(yuǎn)程調(diào)用所進(jìn)行的復(fù)制。

團(tuán)隊(duì)使用所述示例應(yīng)用對管道進(jìn)行了測試，它應(yīng)用了深度學(xué)習(xí)來改善中心區(qū)域的圖像質(zhì)量，但對場景其他部分使用了更高效，分辨率更低的渲染。超分辨內(nèi)容在異步時間扭曲中與周圍區(qū)域混合。如果在每個方向上將分辨率降低大約70％，則可以節(jié)省大約40％的GPU時間，并且開發(fā)者可以使用節(jié)省的資源來生成更優(yōu)的內(nèi)容。為了在VR中實(shí)現(xiàn)時間連貫且視覺愉悅的結(jié)果，F(xiàn)acebook通過專門設(shè)計的時間損失函數(shù)來訓(xùn)練循環(huán)網(wǎng)絡(luò)。

2. 意義

創(chuàng)建下一代VR和AR體驗(yàn)需要尋找新的、更有效的方法來渲染高質(zhì)量低延遲圖形。由于時間偽影更易感知，VR頭顯中的低視覺暫留顯示器難以接受傳統(tǒng)的渲染和超分辨率技術(shù)。Facebook人工智能團(tuán)隊(duì)提供了利用AI來幫助移動芯片設(shè)備應(yīng)對所述挑戰(zhàn)的一種新方法。

他們表示：“除了AR/VR應(yīng)用外，通過消除內(nèi)存限制并在圖像質(zhì)量增強(qiáng)，偽影去除和幀外推等方面實(shí)現(xiàn)其他創(chuàng)新，我們相信這個新框架可以為移動計算圖形領(lǐng)域的創(chuàng)新打開大門。”

編輯：hfy