（文章來源：VR陀螺）

隨著Oculus將于2020年初在Quest中加入手勢識別功能這一消息發布，手勢交互終于打破局面，開始真正走向消費端。為什么普通攝像頭+深度學習方案更適合VR/AR？此次Oculus Quest手勢識別使用了基于計算機視覺的手勢識別的技術方案。（感謝凌感科技uSens費越博士對本文技術部分的支持）?

VR陀螺從費越博士口中了解到，目前基于計算機視覺的手勢方案實際上也分為兩種：一種是用深度攝像頭，一種是用一個或者多個普通攝像頭實現。而其中深度攝像頭的方案又分為兩種，TOF（Time of Flight，光飛時間）和結構光。實際上結構光，或者TOF輸出的東西基本一樣，都是一張深度圖。

相對于兩種使用深度攝像頭的方案，基于一個或多個普通攝像頭實現的手勢識別難度更高，但得益于技術發展，其在精度、成本綜合性能上正在成為主流。業內的Leap Motion、凌感uSens就是使用這種方案，Oculus Quest也是使用原有的用于SLAM和手柄跟蹤的四個灰度攝像頭用深度學習算法來實現的手勢識別。?

凌感uSens自2015年就開始使用深度學習技術實現手勢識別，并在2017年發布了和Oculus Quest類似的基于灰度攝像頭的手勢識別及SLAM方案。??不久前凌感還研發發布了單目RGB相機上的三維手勢骨骼識別，可識別手部全部22個關節點的26DOF（26自由度）信息，關節點包括3D位置信息和3D旋轉信息。在單目RGB相機上實現三維手勢骨骼識別相對于多個灰度相機的方案來說算法的難度更高。?

近年來TOF方案在手機上應用越來越廣泛，也是最容易實現深度信息的方案，但在VR、AR設備上卻幾乎沒有。原因可以從以下幾個方面來看：

AR、VR對相機要求非常高，首先必須做到延遲非常低。據稱，普通相機延遲可以達到4ms以下，從相機獲取圖像到把圖像傳過來的延遲都控制在10ms以下。但TOF相機難以做到，一般TOF相機獲取圖像的過程延遲約為四五十毫秒。因為TOF相機的工作原理不是拍一張圖像，而是要連續拍多張圖像，再根據圖像不同的激光的相位，來還原出深度信息。而拍多張的后果導致延時高，并且要求一定的計算，也需要耗時。同時，這種方案還會有一些運動模糊，如果手動作特別快，在多張圖像中的位置不同，也會導致信息測算不精準。

對于AR、VR來說，它的要求比一般手機識別人臉的要求高非常多。手不管動得多快，都必須有反應，需要精確、低延遲，不然容易產生眩暈。

TOF的第二個問題在于視角。在VR中追蹤范圍越大，手、手柄能夠運動的幅度就越大，灰度相機配上魚眼鏡頭可以視角達到160度以上，多相機系統可以達到200度以上的覆蓋范圍。但一般性能比較好的TOF，視角約為60度，最大也只有90度左右。TOF在手機上可行，但對VR、AR應用來說，致命的就是延遲和視角。