? ? ? ? ?所有的ARVR產品，都必須要具備精確的空間監測和定位能力，才能實現全方位的頭部、手部互動和交互， 才能給用戶帶來更具真實感的虛擬體驗。

? ? ?一、目前ARVR產品的現狀

　　市場上已經上市的ARVR產品并不少，價格從幾十元的Cardboard到上萬元的Hololens，用戶體驗差異落差很大。先說VR產品，整體來說可以分成如下這幾類：

　　1. Cardboard產品

　　這類產品是最簡單的VR產品，來源于谷歌的紙盒VR盒子，簡單地說就是用兩個凸透鏡把手機分屏顯示的內容，投射到眼鏡，借助于手機內置的IMU來判斷用戶頭部的運動姿態來調整VR顯示內容的運動方向。這類產品在2015年國內大量的白牌開始出貨，但VR整體效果都取決于手機的配置和光學鏡頭的質量，只能說是入門級別的VR體驗產品。

　　國內一些視頻內容和游戲公司的第一代VR產品，也基本都是這種形態，最有代表性的就是暴風盒子，配一個BT控制手柄來進行菜單選擇。這類產品的出現確實對整個VR行業的推動起了很大作用，但其弊端也是非常明顯的，所以才有了暴風一體機、大朋、小鳥看看等一體機在2016年陸續上市。

　　Cardboard方式的VR設備，在2016年迎來了一個特別大的機遇，那就是谷歌提出的Daydream VR，谷歌為了提升VR Cardboard的用戶體驗，并且希望在整個VR生態系統中能夠占據主導地位，在2016年發布了Daydream手機Pixel、Pixel XL這兩款手機和Daydream Viewer頭戴Cardboard，并且還配置了一個內置IMU的遙控手柄。按照谷歌對VR設備用戶體驗的要求，必須達到某個硬件配置以上的手機，配合Daydream Viewer運行相關VR應用，用戶才不會眩暈。從2016年開始，隨著華為P9、聯想MotoZ等產品的上市，宣稱支持Daydream的手機也越來越多，預計在2017年，這類產品會完全打破原來Cardboard用戶體驗不佳的僵局。

　　2. 頭動控制的一體機

　　一體機顧名思義就是不需要再插入手機或者連接PC就可以使用的VR設備，目前代表性的有大朋、小鳥看看等，大部分產品都是在2016年上市的，這些產品的特點基本都是采用了1080p或者2K分辨率的顯示屏（有些還采用了2Kx2的雙屏）配合專門為VR產品優化設計過的菲尼爾非球面光學鏡頭，整體的畫質和畸變都提升了很多。但目前這類產品都有一個共同的特點，那就是只有簡單的頭動控制，只能坐或者站在原地通過搖頭晃腦來實現VR的控制，無法做頭手的交互。為了彌補這個缺陷，目前有一些外置的具有空間位置檢測功能的配件（內置IMU的手柄、體感背包、空間定位光球等）來提升整體VR的用戶體驗。

　　3. 帶空間監測和定位的一體機

　　空間監測和定位，一般有兩種方式，Inside-out和Outside-in。Inside-out是通過一體機內置的sensor來感知設備外部的空間信息并做相關定位。而Outside-in則正好相反，通過外置的傳感器來感知VR設備的位置，從而提供定位信息給VR應用。對一體機來說，目前來看無一例外地選擇了Inside-out的方案，這樣就避免了需要提前額外布置外部傳感器的工作，用戶可以隨時隨地拿起VR設備就是用。預計2017年即將上市的一些大廠產品，比如大朋一體機二代、暴風一體機等，都會具備空間定位能力，從而大幅度提升VR的用戶體驗，特別是VR游戲。

　　4. PC VR

　　這類產品最具代表性的就是HTC Vive、Sony PSVR和HTC Oculus，這三劍客2016年上市之后，特別HTC Vive幾乎成了VR體驗館的標配，另外很多的行業定制也是基于Vive的。Sony PSVR上市不到半年就銷售了大約100萬臺，對于整個VR行業用戶體驗整體水準提高起來很大作用。這三款產品的特點就是都采用了外置的空間定位技術，比如Vive采用的是外置紅外激光發射器，頭顯和手柄感應發射器的位置來判斷自身的位置和運動軌跡，PSVR和Oculus都是采用外部傳感器來感應頭顯和手柄發出的可見光或者紅外光來判斷頭顯和手柄的位置;讓頭顯、手柄都能精確地知道任何時間他們各自在空間中的相對位置和移動軌跡，從而可以讓VR的應用更加真實。

　　接下來再說說AR產品，目前AR產品整體來說落差很大，有些AR眼鏡產品只是把虛擬信息、圖像等直接投射出來，跟用戶所在的實際環境并沒有實際關聯，這類產品只能做到投射的虛擬信息跟隨頭動實現6DOF的動作跟蹤，但無法把虛擬的物體跟用戶所在的實際環境融合。比如大名鼎鼎的ODG，目前最新的產品也只是支持6DOF的動作追蹤，沒有空間定位功能。

　　上海智視的智能眼鏡也跟ODG的功能類似，但他們的定位是第一視角的直播，所以只需要在眼鏡中顯示拍攝的相關信息和視頻即可，無需做空間定位。但據了解他們正在開發的還有一個內置TOF depth camera的眼鏡，這個是可以實現6DOF+空間定位的功能的。

　　目前已經上市的AR產品中，空間監測和定位能力最好，虛擬物體跟環境匹配最好的有2個產品，一個是基于谷歌Tango的空間定位技術的聯想Phab2 Pro， 還有一個是微軟的Hololens，這2個產品雖然形態上差異很大，但本質上來說都是6DOF+SLAM的完整結合，實現空間定位和運動追蹤，他們的AR效果，基本來說都可以做到虛擬物體和實際環境的融合，不管用戶如何移動、從哪個角度來觀看，感受就跟真實的物體放在眼前一樣。但從最終實際使用的效果來說，Hololens的6DOF+SLAM精度和穩定性還是要比Tango高，這跟整個硬件設計平臺、傳感器類型和數量的選擇、核心算法都是密切相關的。

　　另外國內其實還有很多公司也在開發相關的AR產品，其中頗具特色的就是Micro Eye的SMAKKEST，不但神似Hololens，而且功能也跟Hololens相似，其6DOF+SLAM的效果據說被Hololens所認可。

　二、空間定位技術類別

　　空間監測和定位技術，其實本質上來說可以初略分成2大類，一類就是Inside-out空間監測和定位，另外一類就是Outside-in空間監測和定位。

　　1. Inside-out空間監測和定位技術

　　Inside-out空間監測和定位技術，技術本質上有些類似人類眼鏡對環境感知環境的過程，從設備內部來感知外部空間，因此被稱為Inside-out定位方式。Inside-out空間監測和定位技術也分成了2類，一類是基于SLAM技術的空間監測和定位，這個也是目前火熱的機器人行業所需要的一個基礎功能，SLAM是simultaneous localization and mapping的英文縮寫，是指設備本身在未知環境中從一個位置未知位置開始移動，在移動過程中根據位置估計和地圖進行自身定位，同時在自身定位的基礎上建造增量式地圖，實現設備本身自主檢測和定位導航。目前大部分的AR產品都是采用Inside-out空間定位技術。

　　基于SLAM的空間監測和定位技術的代表產品是聯想Phab2 Pro Tango手機和Hololens，都是采用了深度監測+Fisheye和IMU融合做運動監測，不同的是深度監測所采用的技術不同（Tango采用的是TOF，而Hololens采用的是結構光）和Fisheye運動和特征點監測的數量不同，Hololens的空間定位效果比Tango要更精確更穩定，而且在弱光、玻璃透光等環節中，Hololens的效果則完勝目前的Tango，但Tango技術也不是一成不變的，下一代的Tango技術也支持多Fisheye camera。

　　聯想Phab2 Pro Tango手機，使用了一個TOF深度攝像頭，一個155度FOV的Fisheye運動監測camera和一個RGB camera，Fisheye運動監測camera配合IMU數據的融合，進行特征點匹配，給設備提供一個完整的運動軌跡的監測，配合TOF深度攝像頭的云圖信息，可以實時繪制出設備本身在空間中的位置、運動的軌跡，同時通過Tango自帶的區域學習功能，當回到已經走過的空間中，一旦Fisheye camera監測到了已經存儲的特征點并且能匹配上，就可以快速地進行空間定位，這對AR設備來說是非常重要的，可以確保用戶隨時隨地地快速使用。Tango的工作原理這里就不解釋了，可以參考林時工的另外一篇文章做詳細了解。

　　微軟的Hololens的設計非常獨特也非常有錢任性，新開了一顆了基于Intel的CPU和GPU技術的HPU（Holographic Processing Unit），設備采用CPU+GPU+HPU的配置，跟Tango一樣，不需要外置PC就看實現完整的空間監測和定位。而在傳感器方面，深度監測使用了2個結構光camera，配合4個結構光光柵發射器來進行深度監測。另外在Hololens的左右各有2個Fisheye camera，從而能夠監測到更多的空間環境中的特征點。因此Hololens的空間定位精度和穩定性要比Tango高很多。

　　另一類則是基于marker（標記點）的空間監測和定位技術，簡單的說就是在實際空間中放置一些類似二維碼、特殊顏色圖形的圖案或者光點作為標記點，設備來監測這些標記點的位置來判斷自身的位置和運動趨勢。HTC Vive就是這個類型的代表， 下圖是HTC Vive的空間定位工作原理。

　　Vive通過兩個固定的激光發射器發射激光，每個基站里有一個紅外LED陣列，分布兩個轉軸互相垂直的旋轉的紅外激光發射器，一個是X軸掃描，另一個是Y軸掃描，兩個激光器有固定的180度相位差，當其中一個激光器發射X軸掃描時，另外一個激光器則發射Y軸掃描。

　　HTC Vive 頭顯的外殼，密密麻麻布滿了32個光感傳感器，分別朝向不同問方向，這些傳感器都是用來接受固定的激光發射器發出的紅外激光，連接Vive的電腦會控制所有設備同步運作，頭顯上的光感傳感器分別監測出X軸和Y軸方向激光到達每個傳感器的時間和針對兩個不同激光發射器的相位關系，就可以計算出各個光感傳感器各自的相位差，從而精確地定位頭顯的位置和運動軌跡。

　　Vive手柄上共有24個光感傳感器，手柄的工作原理和頭顯相同，這里不再重復。

　　另外必須要提一下的是國內的Ximmerse，他們也推出了針對VR設備的Outside-in空間定位包設計方案，通過這個空間定位包，可以給沒有空間定位功能的VR設備提供跟HTC Vive類似精度的空間監測和定位能力。定位包包括一個雙camera的模塊，2個帶光球的控制手柄，使用時將雙camera模塊外置到頭顯上，通過雙camera捕捉控制手柄的光球，判斷手柄在空間中的位置，同時手柄通過BT把自身6DOF的信息傳給模塊，模塊將6DOF和光球位置信息進行算法融合，實現全方位定位，從而提升頭手的交互。這個方案的優勢就是可以在任何環境光照情況下，定位精度不受外界環境光干擾，而且定位精度很高。但該方案無法對用戶所在的整體空間環境進行監測和定位，只能監測到光球手柄的空間位置信息，但其優勢就是可以快速讓原有沒有空間定位的VR設備至少擁有類似HTC Vive這樣的空間定位能力。

　　2. Outside-in空間監測和定位技術

　　Outside-in的空間監測和定位技術目前是VR設備是比較成熟的空間定位技術，Sony PSVR和Oculus都是采用類似的方案，不過Oculus更是在外置攝像頭加上紅外主動馬克點的方式，來獲得更高的精度和更快的響應時間。而PS VR則直接采用了PS 3的MOVE系統，原理與Kinect類似，通過外置雙目深度攝像頭來進行動作識別與追蹤頭顯和手柄。頭顯上有燈光指示，手柄頂端也有不同顏色的光球，外置的雙camera隨時檢查頭顯和手柄上的光球運動軌跡，同時PS Station接收通過BT傳回的頭顯和手柄的IMU信息，通過計算就可以得到完整的頭顯和手柄在空間中運動軌跡和定位。

　　從原理和實際使用的效果上來說，空間監測和定位的精度沒有HTC Vive高，雖然Sony的游戲效果和PSVR頭戴本身的佩戴舒適度比Vive要好，但空間定位精度不高，就影響到了VR游戲的整體體驗。因此我們也從Sony的官網上看到了Sony的一個最新空間定位專利，這個專利應該就是為下一代PVSR準備的，從專利的描述來看應該是類似HTC的固定激光發射器的方式，這個方案跟目前PSVR的做法正好相反，不再使用外部攝像頭來拍攝（Outside-In定位），而是通過外部的信號來定位VR頭盔在空間中的方向。從而可以提供類似HTC Vive的使用精度（可能更高），同時可以360度無死角地捕捉用戶的各種姿態和運動軌跡。

　　Oculus的空間監測和定位技術跟Sony PSVR類似，不同的地方是PSVR采用的是外置雙camera監測可見光的方案，而Oculus采用的是主動式紅外光，頭顯和手柄上都放置了紅外發光LED，通過外置的紅外攝像頭進行拍攝和捕捉頭顯和手柄上紅外光點的信息，從而獲得頭顯和手柄的運動軌跡和空間位置信息。

　　不管是Sony PSRV還是Oculus的Outside-in方案，都存在一個問題，那就是外置camera是固定的，而在用戶背對camera的時候，camera是無法檢測到頭顯和手柄上的光點的，可能會存在漏監的可能性，從而影響用戶體驗，這點在HTC Vive上就不存在。

　　另外一個基于Marker點的Outside-in空間監測和定位技術，也是Ximmerse公司的光球+雙camera方案，這個跟前面提到的他們的Inside-out的方案正好相反，這里把雙camera監測器放到了室內固定的位置，然后在VR頭顯和手柄上布置光球，頭顯和手柄在運動個過程中，雙camera監測器記錄下來頭顯和手柄在空間里的三維位置和它們的移動數據，通過BT或者WiFi傳遞給VR頭顯做相關的運算和處理，并實施反饋到畫面上，實現在虛擬環境里自由地走動，與虛擬世界里的事物進行交互。

　　以下是幾個不同方案的匯總和比較：