近日，計算機視覺（手勢識別＋slam）開發(fā)公司杭州凌感科技宣布和ARVR視覺模組硬件初創(chuàng)公司詮視科技進行戰(zhàn)略合作。

凌感科技此次和詮視科技的戰(zhàn)略合作著力于VR／AR領(lǐng)域的手勢追蹤技術(shù)的結(jié)合，由凌感科技提供手勢識別的軟件算法，基于此算法，搭載了詮視視覺模組的VR／AR設(shè)備可以實現(xiàn)手部的3D骨骼識別和跟蹤。

凌感和詮視都是專攻VR／AR領(lǐng)域的技術(shù)公司，但是在技術(shù)層面上，雙方研究的方向并不相同。凌感科技專攻手勢識別／骨骼識別以及6DoF Slam技術(shù)、物體識別等。而詮視科技的優(yōu)勢在于視覺模組和頭顯頭顯設(shè)計并且已應(yīng)用于諸多VR／AR設(shè)備上。因此雙方合作后，未來采用了詮視模組的VR／AR頭顯能夠在不增加任何傳感器的前提下具有高精度手識別能力，實現(xiàn)自然、高效的交互體驗。

凌感手勢追蹤算法與詮視視覺模組結(jié)合

如今VR、AR在全球興起，初創(chuàng)公司爭相涌入市場，相比很多廠商選擇從VR／AR硬件整機入局，凌感和詮視反而都選擇了各自的垂直賽道，而這兩條賽道也在時代的大潮下出現(xiàn)了必然的交集。

“凌感將提供手勢識別軟件算法，實現(xiàn)手部的3D骨骼跟蹤和手勢識別，結(jié)合到詮視的多款硬件模組中，該模組帶有Movidius計算芯片、雙魚相機、RGB相機或TOF相機，可用于VR／AR頭顯。雙方戰(zhàn)略合作后，采用了詮視相機模組的頭顯，可以在不增加任何硬件的基礎(chǔ)上，還能獲得專業(yè)精準的手勢交互能力。” uSens凌感聯(lián)合創(chuàng)始人、CTO費越博士介紹了此次合作的細節(jié)。

凌感自2014年在硅谷成立以來，主要在視覺三維人機交互解決方案開發(fā)中進行深入探索。同時它也是全球第一個在有線設(shè)備以及移動端中基于inside－out實現(xiàn)26自由度手勢追蹤和6DoF Slam定位的公司。

目前凌感的手勢識別算法，幾乎能夠適配所有的相機，包括深度相機、彩色相機、紅外相機、雙目相機，并且能夠?qū)崿F(xiàn)靜態(tài)和動態(tài)兩種不同的手勢識別。

在靜態(tài)手勢識別中，能實現(xiàn)超過10種以上的手勢動作，包括指向、抓取、握拳、OK、剪刀手等手勢，并且可擴展定制，準確率達到98％。

而動態(tài)識別中，能夠?qū)崿F(xiàn)5種以上的3D動態(tài)動作，同樣支持擴展定制，準確率達到95％。

在計算機視覺領(lǐng)域，實現(xiàn)手的三維骨骼跟蹤識別具有深遠意義。早前手勢識別需要依靠TOF、結(jié)構(gòu)光等深度相機完成，對于VR／AR頭顯來說增加新的模塊，不僅意味著成本提升，也會帶來頭顯重量、體積加大，反而得不償失。

然而隨著計算機視覺算法的進步，凌感已經(jīng)實現(xiàn)了最簡單的單目RGB相機和3D手勢骨骼識別技術(shù)，并且將這項技術(shù)應(yīng)用于多個場景，從智能手機到工業(yè)級設(shè)備。同時該技術(shù)也被推向VR／AR頭顯領(lǐng)域。例如凌感早在2016年與戴姆勒合作，基于自然手勢交互，6DOF SLAM跟蹤的Mixed Reality頭顯來實現(xiàn)新的購車體驗。凌感的手部追蹤解決方案Fingo也已經(jīng)與國內(nèi)外AR／VR類頭顯廠商進行了深度合作，部分廠商已在規(guī)劃集成Fingo的交互頭顯，而這也是為什么凌感選擇與詮視科技合作，目的是為了加速手勢識別更快地應(yīng)用到VR／AR頭顯中。

另一方面，詮視作為一家從事空間感知與認知（VSLAM＋AI）底層技術(shù)開發(fā)的計算機視覺公司，主要專注于向AR／VR／MR、機器人、掃地機、無人機等領(lǐng)域提供高精度位置追蹤、導航、避障及物體識別等高速（100fps）端處理VSLAM＋AI的視覺邊緣計算平臺解決方案。

據(jù)了解，詮視科技服務(wù)的企業(yè)品牌客戶超過60家，多款品牌VR／AR設(shè)備均采用了詮視的視覺模組。去年詮視與南京睿悅Nibiru合作，嵌入Nibiru的系統(tǒng)底層中，將視覺模組融入到更多OEM／ODM的VR／AR終端中。

走向VR／AR主流交互方式的必然合作

此次合作的考量并不只是單純的技術(shù)和算法上的結(jié)合，同時還是因為整個行業(yè)未來前景的影響。如今VR／AR頭顯都在追求更舒適的互動體驗以及精簡自由的移動設(shè)備，而手勢追蹤和SLAM定位系統(tǒng)算法明顯是會直接影響到未來VR／AR硬件產(chǎn)品的走向。

為了保證更舒適的交互體驗，手勢追蹤最開始被應(yīng)用到了許多VR、AR設(shè)備上。盡管當下很多硬件設(shè)備依然會配備手柄控制器，但是手勢識別將逐漸成為VR／AR設(shè)備的“基本”功能。

就VR頭顯來看，早在2014年底，F(xiàn)acebook就已經(jīng)首次表達了對VR手勢追蹤技術(shù)的興趣。此后，公司收購了Nimble VR初創(chuàng)公司，并將其四名手控跟蹤技術(shù)的資深研究員納入麾下。2019年年底，F(xiàn)acebook旗下的Oculus Quest宣布將在其硬件上開放手勢追蹤功能。在Oculus Quest之前，手勢識別實際上已經(jīng)成為了AR眼鏡中最基本的交互方式，而VR上Vive Focus等設(shè)備也都開啟了嘗試。

除此之外，2017年谷歌也發(fā)布了手勢識別芯片Project Soli。無論是HoloLens、谷歌還是蘋果和Facebook，都在這一技術(shù)領(lǐng)域著重開發(fā)。可以看出，手勢追蹤是行業(yè)大頭目光所指，也意味著未來硬件迭代的方向。

無論是從PC VR和連接手機的AR眼鏡到VR、AR一體機，去繁就簡是VR／AR硬件設(shè)備的大勢所趨。因此，在提高VR設(shè)備便捷度的同時，無疑要思考去掉冗雜的部分，精簡整個硬件交互流程。而手勢識別最大的優(yōu)勢給用戶提供了一種最自然的交互方式。因此，在硬件迭代的角度來看，手勢追蹤無疑是所有廠商都在思考的一個技術(shù)迭代方向。

VR／AR設(shè)備是極其追求用戶體驗的產(chǎn)品。相比手柄，當自己的雙手能夠在虛擬世界實現(xiàn)即時互動反饋，在游戲、工業(yè)、醫(yī)療等場景中，交互會更加自然以及更加真實。因此，手勢追蹤除了在硬件迭代精簡道路上必不可少，在升級虛擬現(xiàn)實體驗的過程中也是重要的一環(huán)。

加速手勢識別技術(shù)應(yīng)用 強強聯(lián)合降低研發(fā)成本

凌感和詮視強強合作，將手勢識別技術(shù)融合到視覺模組中，不僅能加速手勢識別技術(shù)在VR／AR頭顯中的應(yīng)用，同時能為硬件公司降低研發(fā)成本。

目前inside－out定位已經(jīng)成為VR／AR硬件最主流的技術(shù)方案，不論是Oculus Quest、Vive Focus、Vive Cosmos等VR設(shè)備，還是微軟、聯(lián)想、Magic Leap等AR設(shè)備，都采用了inside－out追蹤，并且成為其中標配功能，而這也將成為手勢識別功能實現(xiàn)的硬件條件。

不過目前手勢識別功能在VR、AR上并未普及，雖然實現(xiàn)簡單的手勢識別并不難，但如果要在普通的2D灰度或者RGB攝像頭上實現(xiàn)高精度的3D手勢識別和骨骼識別，對于許多硬件團隊來說，需要投入非常多的人力進行研發(fā)。即便是科技巨頭，很多技術(shù)也并不會親力親為，反而會選擇收購專業(yè)的技術(shù)團隊或者外部團隊合作，抱團趨勢非常明顯。

擁有雄厚資金和龐大技術(shù)實力的巨頭尚且如此，對于創(chuàng)業(yè)企業(yè)來說，所有VR、AR硬件中涉及的技術(shù)全部自行研發(fā)幾乎不可能，所以整合市場已有技術(shù)，在自己擅長的領(lǐng)域深耕是更明智的方式。

凌感與詮視合作，不僅能夠降低硬件企業(yè)的研發(fā)成本，同時，也將有效推動手勢識別技術(shù)在VR／AR設(shè)備上的應(yīng)用，為開發(fā)團隊和用戶提供更多的交互選擇。

責任編輯：gt