2017年9月7日,中德合璧的拜騰汽車橫空出世,致力于做國內版“特斯拉”的這家公司,除了在南京設有生產基地外,整個產品平臺、產品設計、產品技術和配件等都在慕尼黑。
發(fā)布會上,拜騰推出了將于2019年面世的首款產品-純電動中型SUV車型,這輛車最大的亮點是——配有一款尺寸驚人的液晶屏,具體尺寸是長125厘米、高25厘米。
這塊屏幕在2018CES上大出風頭,但隱藏在其背后的,還有另外一項功能:動態(tài)手勢操控。
什么是動態(tài)手勢操控?這還得從手勢本身說起。
手勢是人手或者手和手臂結合產生的多種動作,通常分為靜態(tài)手勢和動態(tài)手勢。簡單來說,靜態(tài)手勢只需要判斷某個時間點上手勢的外形特征即可,而動態(tài)手勢則需采集一段時間內持續(xù)的動作,進行分析,增加了時間信息和動作特征。因此動態(tài)手勢識別的難度要大于靜態(tài)手勢。
手勢識別通常是出現(xiàn)在VR/AR領域,原本多用于家庭娛樂、智能穿戴領域,但由于價格高昂,此項技術一直沒有大規(guī)模應用。而原本在此領域扮演重要角色的手勢識別,也沒能大展身手。那么作為一個新的應用場景,手勢識別在車內交互領域能否煥發(fā)新生?
《高工智能汽車》采訪了凌感科技(Usens)美國產品和運營副總裁王亞明,來聽聽他怎么說。
王亞明畢業(yè)于麻省理工學院,有20年的軟件和嵌入式系統(tǒng)經驗。此前曾擔任美國微軟、Intel風河公司、聯(lián)發(fā)科的高層,擔任產品總監(jiān)和企業(yè)高級管理,現(xiàn)任凌感科技美國公司總經理。
手勢識別的二三事兒
手勢識別的實現(xiàn)方式,經歷了二維到三維的轉變。二維手型識別,也稱靜態(tài)二維手勢識別,識別的是手勢中最簡單的一類。只能識別出幾個靜態(tài)的手勢動作,比如握拳或者五指張開。這種手勢識別本身是通過視覺分析算法,得到預設圖像和拍攝圖像的差異,然后理解手勢的含義。
更確切的來講,是一種手形識別,而非手勢,因為手勢是三維動態(tài)的。二維手勢識別拓展性差、控制感弱,因此通常只用來實現(xiàn)一些簡單的功能。
另外一種二維手勢識別,通過更先進的計算機視覺算法,具有了追蹤手勢運動的能力,體驗上從純粹的狀態(tài)控制,變成了比較豐富的平面控制。
為了實現(xiàn)更豐富場景的應用,手勢識別引入了三維的方式。三維的手勢識別主要是增加了Z軸的信息,即目標的距離。二維的圖像在得到距離值后,便可以構建出立體的模型,通過追蹤不同時刻目標物體的三維立體形態(tài)變化,識別、認識不同的形態(tài),也就可以到更多與之相匹配的的標準含義。這就直接豐富了手勢識別的數量、類型。
三維手勢識別的實現(xiàn)方式,通常有三種,結構光(Structure Light)、光飛時間(Time of Flight)、多角成像(Multi-camera)。結構光是通過激光投射器投射激光束,經過光柵打到物體上產生折射的位移,然后用攝像頭來采集圖樣,通過圖樣的位移變化,算出物體的位置、深度信息。這種方式使用的最佳范圍是1米到4米。
光飛時間的方式是用CMOS傳感器接收發(fā)光原件發(fā)射到物體上的反射光,然后通過光子的飛行時間計算距離,這種方式簡單,不需要計算機視覺方面的能力。
還有一種就是多角成像的原理,使用兩個或者兩個以上的攝像頭同時攝取圖像,模擬人類視覺,得到目標物體的距離信息,類似于雙目測距。這種技術依賴于計算機視覺算法來匹配兩張圖片里的相同目標,相對前兩種技術而言,性價比較高。
結緣拜騰
凌感科技成立于2013年,是一家為AR/VR提供三維人機交互解決方案的高科技公司,目前已經在硅谷、北京、杭州、深圳等地設立研發(fā)及運營中心。其核心技術通過識別手部22個關鍵點,26個自由度,辨別手部姿態(tài),實現(xiàn)全手勢識別。
引以為傲的Inside-out追蹤技術,檢測人頭部的旋轉及運動位移,實現(xiàn)6自由度位置跟蹤,真實還原人在現(xiàn)實世界中的體驗效果,是VR沉浸感不可或缺的重要指標之一。
凌感科技在傳統(tǒng)的消費者領域,手勢識別的能力較強,但由于諸多原因,VR/AR并沒有如人們想象的一樣快速的成長起來,行業(yè)進入了較長的蟄伏期。
汽車的車內交互方式,通常有語音、手勢、觸控、物理摁鍵等方式,隨著汽車的智能化來臨,前兩種方式逐漸有取代傳統(tǒng)交互方式的趨勢。
其中,車內手勢交互屬于新事物,在存量車中較為少見,大多出現(xiàn)在一些新的概念車中。相比于傳統(tǒng)的AR/VR領域,車內手勢識別目前主要停留在簡單動作識別層面,要求可靠穩(wěn)定、快速響應。
凌感科技的車內交互之路,源于一次偶然。拜騰汽車在推出新款車型時,準備在車上加入手勢識別的功能。
拜騰汽車采用了50英寸共享全面屏,對這款屏幕的操作方式,公司希望可以實現(xiàn)手勢動態(tài)操控。即駕駛員可通過手勢,完成原有觸控、摁鍵要完成的功能。
對于原來做車內手勢識別的企業(yè)而言,這種需求完成難度大,對手勢識別的精準度、穩(wěn)定性以及響應速度都提出了更高的要求,同時在功能的豐富性方面也不可同日而語。
但對于做AR/VR手勢識別出身的凌感科技而言,車載手勢識別從功能豐富性上是做了減法,需要適應的是車載要求的一些規(guī)范。
由于凌感科技主要做的是軟件算法層面的工作,且手勢識別的方式有TOF、多角成像等方式,硬件層面只需要找相應符合要求的攝像頭生產商即可。因此,滿足汽車要求的產品方案,并不難產。
彼時業(yè)內符合其要求的,并沒有幾家,凌感科技接受了工作邀請,并且完成了其車載手勢識別的第一次嘗試。應用在拜騰汽車上的手勢識別,有“開始”、“拖曳”、“指向”、“菜單”、“OK”五個手勢,駕駛員只需要伸出右手,完成相應動作即可進行操控。
跟拜騰的合作比較順利,也讓公司意識到,除了傳統(tǒng)領域,正在興起的智能汽車交互,也將會是另外一個市場。
TOF景深、單目IR
凌感科技目前提供的針對車載手勢交互的產品中,支持2種模組。其手勢識別可支持的使用范圍包括,主副駕駛、后排乘客交互的多種場景。
其中在主駕駛位上的交互,包含中控屏、HUD的交互,副駕駛位和中控屏的交互,以及后排乘客和乘客屏的交互。
交互的方式主要有:
? 命令式手勢(Gesture):接聽電話, 調節(jié)音量, 選取歌曲等
? 2D動態(tài)交互:操作2D圖形界面, 娛樂, 社交, 工作
? 3D動態(tài)交互:操作圖形界面, 娛樂, 社交
凌感科技美國產品和運營副總裁王亞明表示,就目前而言,車內手勢交互限于硬件條件(液晶大屏尚未普及),只完成少數簡單幾項的功能,并不豐富。
但手勢識別本質上可以大大提升車內操控的體驗,并不需要駕駛員分心,去觀察傳統(tǒng)觸控、摁鍵完成操控的位置以及功能,操作人員僅僅需要記住相應功能的手勢,即可完成操控。
而隨著車內大屏的更新?lián)Q代,越來越多的功能需要觸控去完成,對于駕駛的安全有一定的影響,如果能用手勢代替原有的操控,將會大大提升駕乘體驗,
同時,相比于車內的另外一種交互方式——語音交互,手勢識別也有其它的一些優(yōu)勢。語音交互是通過機器識別人類語言,完成功能響應。
一方面,語音識別由于人類語言的多樣性,識別算法的有效性,準確性,很難達到通識天下語言,無往而不利。
另外一方面,人類的一些操控行為,并不一定能全部用語言描述。比如對持續(xù)性命令的執(zhí)行(調節(jié)音量,調節(jié)音視頻播放速度、進度等),較難量化的命令,語音識別就存在一定的局限性。
這類似于鼠標之于PC,其重要性很難被取代。
因此,手勢識別在未來的車內交互領域,重要性一定會逐步體現(xiàn)。國際上一些傳統(tǒng)的汽車OEM廠商,已經在其高端車上搭載了一些簡單的手勢識別功能,其它車企也在觀望、試探階段。
王亞明相信,隨著汽車智能化的發(fā)展,手勢識別一定會廣泛進入汽車市場。
車內手勢識別的萌芽期
當然,手勢識別的上車之路,還需要一定的過程。比如,最常見的就是手勢識別方案的成本、可靠性,準確性,體驗是否能達到廠商的要求。
公司目前針對汽車手勢識別,有兩種方案,一種是攝像頭放置在中控位,一種是在車頂位。
中控位的方式ToF景深模組和單目IR模組都適合。優(yōu)勢是能獲得比較清晰的手區(qū)域圖像, 遮擋小, 適合提取全手骨骼。不同車型的設置不一樣, 安裝的位置和角度需要根據實際車型調整, 算法也需要相應進行一定定制。
車頂位的方式適用深度攝像頭(比如BMW采用了這種方式) , 優(yōu)勢是能夠很好的控制水平方向距離, 適合手指類的動態(tài)操作、 點擊等。 劣勢是需要動作標準,否則隨意地動作遮擋會多。
王亞明表示,無論哪種方式,都需要同車企深度合作,在汽車設計早期就進入共同的研發(fā)階段。而這,不僅需要公司的實力過硬,同時產品的功能也能夠豐富,多樣。
由于手勢識別需要深度學習以及視覺的實時處理,對于硬件的算力也有一定的要求。通常的做法是分享汽車ECU算力或者配置單獨處理器。前者容易適配,改裝容易、價格便宜,主機廠商也樂意,但需要手勢識別部分的算力不占用太多資源。后者成本高昂,主機廠商接受度較低。
手勢識別初期在少量歐美高端車上的應用,給全球其它車企起到了一定的示范作用。目前國內的一些車企也在籌劃手勢識別進車的事宜,手勢識別進入汽車的速度可能會超出外界想象。
因此公司未來也會將更多的注意力以及重心放在汽車手勢識別領域。同時,由于國內是全球最大的汽車消費、生產市場,公司的重心也轉移到了國內。目前凌感科技全球共有60余人的團隊,其中2/3在中國,王亞明表示,其非常看好未來手勢識別在車內的應用。
-
手勢識別
+關注
關注
8文章
225瀏覽量
47786 -
智能汽車
+關注
關注
30文章
2843瀏覽量
107247
原文標題:始于AR/VR,邂逅智能汽車,結緣拜騰后的uSens靈感迸發(fā) | GGAI專訪
文章出處:【微信號:ilove-ev,微信公眾號:高工智能汽車】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論