實現高品質VR的挑戰

　　高品質移動VR不僅對GPU有更高的要求，對整個系統都是很大的挑戰。發熱限值是VR設備的重要參數，為確保設備運行時間內不超出發熱限制，很多組件都需要重新設計，才能夠實現視頻、GPU和顯示器的超低延遲、零拷貝路徑，以及嚴格的功耗管理。Linux系統對實時操作的要求不高，但低延遲的VR應用則需要接近實時的系統運行。因此，線程間通信和線程優先級、動態調頻調壓（DVFS）及其他系統集成細微的改變都會對“光子運動”關鍵路徑的穩健性產生影響。暫時不談VR，一款安卓應用需要經過操作系統的三重緩沖，僅僅圖像提交路徑就會產生50ms的延遲。盡管最后的效果還過得去，短時視頻體驗也還不錯，但是眼睛和屏幕的延遲非常明顯。如此，看不了太久，延遲就會使人不舒服，甚至感到惡心，哪怕是觀看相對靜態的內容也不會有很大的改觀。盡管VR體驗讓人印象深刻，但產業發展的重點是為大眾市場帶來高品質VR產品，唯有此，才能進一步釋放其巨大的發展潛力。

　　業界通用的“光子運動”延遲最高為20ms。低于20ms的話，延遲就難以被察覺。對刷新率為60幀／秒（16毫／幀）的標準面板來講，這一目標很難實現；但通過一系列技術的結合，三星Gear VR設備現在已經可以實現：

　　“異步時間扭曲”流程

　　直接渲染到顯示器前置緩沖

　　使用低持續性的OLED顯示器

　　一旦通過應用框架，應用程序就可以收集最新的頭部追蹤數據，將當前世界渲染成“眼部緩沖區（eyebuffer）”（一種特殊紋理，對應左右眼分成邏輯兩側）。如果可能的話，我們建議應用程序以60幀／秒的速度運行，但實際應用中很難保證，所以將目標設定為30幀／秒更為顯現實。為了保證幀速率，降低有效延遲時間，異步運行的時間扭曲流程會負責收集最新的有效eyebuffer，并在顯示器讀取之前直接將其寫入前置緩沖。安裝ARM Mali GPU的“context—priority”擴展后，時間扭曲流程能采用單獨的高優先級OpenGL ES（嵌入式系統開放圖形庫）內容進行渲染。提交高優先級內容后，GPU上現有的渲染工序會自動中斷，完成高優先級內容渲染后再繼續原有任務。采用該流程，時間扭曲可以及時提交渲染任務，顯示器也可以再次讀取返回的數據。時間扭曲對顯示屏的渲染時間比應用程序更短，其獲得的頭部追蹤數據也就更新，進而可以調整eyebuffer內容，使之與頭部的實際方向更加匹配。時間扭曲僅能針對頭部轉動進行調整，而無法根據頭部固定位置或動畫場景來調節，但實際應用中，因為頭部轉動的時間延遲低于可被注意到的閾值，流暢的體驗就可以形成。這“剛好及時”將內容渲染到前置緩沖的方式最適合低持續性的OLED顯示器。

　　對全局背光LCD顯示器來講，屏幕必須及時照亮單點圖像。相反，低持續性OLED顯示器的照亮時間很短，因為幀緩沖已經完成讀取。若屏幕保持水平，使用慢動作攝影機觀看，每一幀的畫面你都會看到一道在面板上從左到右運行的光波。這使得觀看屏幕時，頭部可以旋轉至不同方向，并進一步降低延遲。

　　盡管延遲時間是一個亟待攻克的技術難關，但人們對VR的需求不會因此而終結。在頭部佩戴鏡頭以放大面板倍率則進一步印證了我們對高清面板的渴望。哪怕原始分辨率已經達到1440p，面板的視差發光格柵仍清晰可見；但對分辨率大于 1440p，幀率超過 60 FPS的顯示屏來講，我們還需要在系統上花更大的功夫，并進一步提高外置存儲器帶寬。隨著壓縮視頻、GPU和顯示器間的幀緩沖交換變得愈加重要，所有ARM IP均使用無損ARM幀緩沖壓縮（AFBC）技術，以盡可能地減少幀緩沖存儲器流量。還有一點非常重要，為了高效地創建eyebuffer，且無需為左右眼重復做功，應用程序需要更有效地渲染至多視圖。在具備該技術的平臺上，Mali可以支持“多視圖” OpenGL ES擴展，允許應用程序在一幀圖像到達驅動器后提交繪制命令，同步完成左右眼的eyebuffer創建。這一流程可以顯著縮短應用程序和驅動器需要的CPU計算時間。同時，我們進一步優化了Midgard Mali GPU的頂點運算能力，運行頂點著色器中不依賴眼睛的部分，并實現雙眼共享。Vulkan是Khronos公司開發的全新跨平臺API，可以進一步降低CPU開銷，讓開發者對產品有更大的掌控力度，促進移動VR的發展。

　　VR是一項開創性的技術，正在快速發展的過程中。得益于現代移動設備的普及和強大功能，VR不再只是昂貴的定制臺式機或控制臺系統的專屬。為了真正實現VR，發揮其對世界的潛在影響，移動VR必須面向大眾市場。作為這一領域的意見領袖，我們致力于推動其繼續發展并與合作伙伴密切協作，提供高品質的VR體驗，發揮該技術的最大潛力，實現更加美好的虛擬世界。