你是否感到從時下最火的VR當中窺探到了未來科技的影子？其實當前的VR技術還有相當多的不足需要開發者們共同去推進。

　　VR還有哪些技術的發展有所欠缺？未來的VR體驗和使用場景究竟是什么樣子的？VR產業還有哪些你沒想到的商業模式？當前最大的技術挑戰是什么？這些你想知道的問題，報告作者AMD的工程師Allen Rush都試著從自身的角度做出了解答。

　　VR主要的體驗通過光學和顯示技術實現，沉浸感的營造通過控制本地視覺和位置信息來實現。參數包括了分辨率，光學調制，朝向，幀率和動態范圍等。

　　到2016年，VR用戶達到200萬，開發者有20萬。共有超過260家創業公司進入VR行業，業內關鍵玩家則包括了Oculus，索尼，微軟，谷歌，三星，HTC等。

　　VR應用的場景很廣泛，比如教育，醫療，可視化大數據， 模擬訓練，遠程互動，虛擬社交，游戲娛樂等。

　　視覺技術演進的路線從基礎的2D渲染，3D渲染， 著色單元，沉浸式2D顯示，物理基礎渲染走到今天來到了虛擬現實的發展水平，未來還會發展VR中的照相寫實主義，最終實現全景呈現。當然也可以認為，當前的技術發展水平使我們暫時只能看到這么遠。

　　視窗顯示和人眼視場顯示兩種呈現方式在原理上的差異在于，考慮到人的視場，就需要在VR設備上配備攝像頭，其拍攝內容補齊了人眼觀察到的真實世界環境數據，然后就能通過視頻合成器向顯示器輸出人眼視場的VR圖像。

　　從動作捕捉到形成畫面，這其中所產生的延遲主要來自輸入，USB轉換，游戲引擎，CPU設置，以及框架方面的GPU渲染，傳輸框架緩沖，像素轉換到圖像顯示等功能和進程。

　　VR技術應用到的機器視覺技術體現在四個層面：

　　基本信息模塊：眼球追蹤反饋，位置信息（包括靜態的位置，動態的移動方向以及傾斜，旋轉，俯仰等九個自由度的信息），肢端探測器（手，腳等等）。

　　基礎功能：紅外追蹤，位置追蹤及校準。

　　復合應用：需要對用戶的眼球追蹤進行深度學習，以理解其表達含義并進行動作預測。

　　知覺融合：視覺拼接，觸覺，動態環境模型加速器。

　　VR技術正在進行快速的進化和發展，但是還有很長的路要走。

　　神經系統科學家 Maria V. Sanchez-Vives和計算機科學家Mel Slater這樣寫過：“對一個可與真人互動的虛擬人物進行渲染，比如通過語言識別，生成有意義的語句，面部表情，情緒，膚色，語調以及肌肉關節的活動，這樣的效果目前實時的計算機圖形學和人工智能的能力還達不到。”

　　需要改進的關鍵參數包括：延遲，分辨率，視場，色彩，動態范圍和焦點管理。

　　需要補充的關鍵功能包括：眼球追蹤，環境視覺捕捉，精確定位，物體探測追蹤以及3D視場角。

　　需要改進的關鍵功能包括：運動與反饋，光學系統，眼球追蹤和沉浸感俘獲等附加功能的發展方向是成為VR平臺的自有構成功能。

　　新興的VR/CV社區會逐漸生長出更生態化的東西，比如SDK，應用開發，用戶社群，度量工具以及更多的測評等等。

　　舉例而言，Leap Motion的“虛擬手” 最開始的做法就是通過視像投影與視覺反饋實現的動作交互。接下來需要補足的就是復雜化的渲染，識別，景深和追蹤等性能。

　　VR的應用空間比較多樣化，具有創新性。

　　APP開發者可以從軍事，醫療，游戲，電影，社交，教育，甚至沉浸式工作環境等領域尋找需求。

　　VR內容需要的技術創新則包括了CGI，攝像機以及視頻拼接。

　　進擊的VR是否超出你的想象？

　　更進一步的發展可以從基礎創新中延展出更加亮眼的體驗。

　　比如通過沉浸式的遠程成像技術，你可以體驗一下虛擬會議是什么樣子的。實現這樣的功能需要眼球追蹤，面部重建和表情投影等技術。

　　只有改善沉浸和感覺的營造問題，才能讓用戶從觀看變成體驗。

　　一旦VR的群眾基礎打好了，就會生發出一大波的創新的APP，功能，創意等等。

　　原有的問題可以通過新的技術解決，比如傳感器，探測器和覆蓋的同步問題；又比如Liquid VR可以使用多個GPU分離并優化工作量，通過算法改進兼容性或延遲問題；再又如，通過漏斗化渲染技術，可以讓計算機重點處理用戶眼睛所關注的畫面，這個范圍大約在視線中心的10%~20%范圍，結合眼球追蹤技術并能實現快速響應的話，可以大大降低當前圖形處理技術在計算能力上的負擔。

　　同時也可以開發新型工具，比如視頻拼接，工作流管理，混合機器視覺探測，識別，學習，追蹤和標記等等功能。

　　最終要實現將視覺，聽覺，觸覺，方向，位置等各種感官進行知覺整合與全景呈現。

　　而目前在技術上還需要對各種感官參數進行量化，提升CPU，GPU以及加速器。

　　商業模式和產業生態

　　產業生態

　　從技術的角度來看，VR產業還有很多生態體系并不成熟，也不健全。

　　內容開發：游戲開發，3D游戲向VR游戲轉化，VR攝影機，360度全景捕捉，重訂格式，圖形渲染，VR顯示投影等；

　　UI方面：尋找鼠標鍵盤的替代方案；

　　捕捉內容與圖像內容的合成；

　　機器視覺覆蓋：探測器，物體標記和追蹤；

　　平臺SDK：制定開發者標準，包括測試，度量，分布和支持；也需要對庫，編譯器，以及向新平臺的移植進行優化。

　　商業模式

　　對于游戲商來講，可以探討其銷售，租賃和服務器和伺服器存儲等的相關商業模式。

　　而在硬件方面，除了主機型VR，一體機型VR，移動VR以外，還要考慮拍攝設備的研發，因為未來的VR也需要對環境信息進行捕捉。

　　嵌入式開發則需要考慮系統集成和服務。

　　VR技術最大的挑戰是什么？

　　技術和設計上的挑戰——顯示和圖形

　　提升渲染和限時體驗；

　　人眼視覺系統存在一定的限制：根據瑞利判據，人眼能分辨兩點的極限距離是愛里斑的半徑；

　　想要實現每秒90幀，就要達到每秒20G像素的渲染速度；

　　還需要更好的光學系統和鏡頭陰影矯正以及提高渲染復雜性等；

　　技術挑戰——攝像頭和機器視覺

　　舉例而言，VR技術的一大關鍵就是需要對手和眼球進行追蹤。這其中就涉及到細節捕捉，幀速率，位置追蹤以及預測。相關的技術在文獻《Deep learning to customize and train》有介紹。

　　挑戰——生態和商業環境

　　內容開發：內容主題，故事，360度/180度全景，聲音表現……

　　分發：內容的標準格式，如何有效的進行傳送；

　　內容創新需要如何進行測試，評估以及使用反饋；

　　當然，最重要的是，這一波VR興起，誰能賺到錢呢？

　　總結

　　VR是一個興起的產業！

　　它得益于技術局限的突破，發展于性價比最優的解決辦法，將會成熟于更優異的體驗。

　　CV（機器視覺）加速了各種類型的應用的興起。

　　使用其公共屬性可以發展為探測器，追蹤器等；

　　使用其特有屬性，如精確性和多樣性，可以應用于醫療和游戲等行業。

　　生態的構建需要SDK，用戶社群，內容創作，評測評論。

　　商業模式就需要從娛樂，效率，功能化等應用場景中尋找新的需求。

　　下面是參考文獻，有興趣可以找來看一看。

　　事實上，盡管環境一直在說VR風口已過，但是對于應經入局的玩家而言，相當多的參數和性能需要你們鍥而不舍的搞上去，而更優化的性價比方案需要你們搞下來。

　　同時對于內容創作者而言，除了技術上可以實現游戲或影視內容本身的無腦轉化以外，需要更多關注的是創作適合VR體驗的作品。

　　與此同時，在這個行業當中的參與者并不是只有公司和制作團隊，智東西作為媒體是觀察者，我們的讀者有些是從業者，有些是期待VR的用戶。非常幸運的，我們能在這個行業發展共同聚焦在這一點，而媒體和用戶的發聲被本文的作者同樣視為非常重要的聲音，是構成整個VR行業的一部分。

　　本文為智東西整理呈現，文中所有數據結論版權歸原作者所有。