識(shí)別與跟蹤技術(shù)

在實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的過程中，需要對(duì)真實(shí)的場(chǎng)景和信息進(jìn)行分析，生成虛擬事物信息。這兩步看似簡(jiǎn)單，其實(shí)在實(shí)際進(jìn)行過程中，需要將攝像機(jī)獲得的真實(shí)場(chǎng)景的視頻流，轉(zhuǎn)化成數(shù)字圖像，然后通過圖像處理技術(shù)，辨識(shí)出預(yù)先設(shè)置的標(biāo)志物。

識(shí)別出標(biāo)志物之后，一標(biāo)志物作為參考，結(jié)合定位技術(shù)，由增強(qiáng)現(xiàn)實(shí)程序確定需要添加的三維虛擬物體在增強(qiáng)現(xiàn)實(shí)環(huán)境中的位置和方向，并確定數(shù)字模板的方向。將標(biāo)志物中的標(biāo)識(shí)符號(hào)與預(yù)先設(shè)定的數(shù)字模板鏡像匹配，確定需要添加的三維虛擬物體的基本信息。生成虛擬物體，并用程序根據(jù)標(biāo)識(shí)物體位置，將虛擬物體放置在正確的位置上。這其中涉及到的識(shí)別跟蹤和定位問題，是增強(qiáng)現(xiàn)實(shí)的最大的難題之一。

要實(shí)現(xiàn)虛擬和現(xiàn)實(shí)事物的完美結(jié)合，必須確定虛擬物體在現(xiàn)實(shí)環(huán)境中準(zhǔn)確的位置，準(zhǔn)確的方向，否則增強(qiáng)現(xiàn)實(shí)的效果就會(huì)大打折扣。而在現(xiàn)實(shí)環(huán)境中，由于現(xiàn)實(shí)環(huán)境的不完美性，或者稱為復(fù)雜性，增強(qiáng)現(xiàn)實(shí)系統(tǒng)在這種環(huán)境下的效果遠(yuǎn)不如在實(shí)驗(yàn)室的理想環(huán)境中。由于現(xiàn)實(shí)環(huán)境中的遮擋，未聚焦，光照不均勻，物體運(yùn)動(dòng)速度過快等問題，對(duì)增強(qiáng)現(xiàn)實(shí)的跟蹤定位系統(tǒng)提出了挑戰(zhàn)。

如果不考慮與增強(qiáng)現(xiàn)實(shí)進(jìn)行交互的設(shè)備，其主要實(shí)現(xiàn)跟蹤定位的方法有如下兩種：

圖像檢測(cè)法

使用模式識(shí)別技術(shù)（包括模板匹配，邊緣檢測(cè)等方法），識(shí)別獲得的數(shù)字圖像中預(yù)先設(shè)置的標(biāo)志物，或是基準(zhǔn)點(diǎn)，輪廓，然后根據(jù)其偏移距離和偏轉(zhuǎn)角度計(jì)算轉(zhuǎn)化矩陣確定虛擬物體的位置和方向。

這種方法進(jìn)行跟蹤定位不需要其他的設(shè)備，而且精確度較高，因此是增強(qiáng)現(xiàn)實(shí)技術(shù)中最常見的定位方法。在模板匹配時(shí)，系統(tǒng)會(huì)預(yù)先存儲(chǔ)好多種模板，來和圖像中檢測(cè)到的標(biāo)志物匹配來計(jì)算定位。簡(jiǎn)單的模板匹配可以提高圖像檢測(cè)的效率，因也為增強(qiáng)現(xiàn)實(shí)的實(shí)時(shí)性提供了保障。通過計(jì)算圖像中標(biāo)志物的偏移和偏轉(zhuǎn)，也能夠做到三維虛擬物體的全方位觀察。模板匹配一般用于對(duì)應(yīng)特定圖片三維成像，設(shè)備通過掃描特定的圖片，將這些圖片中的特殊標(biāo)志位與預(yù)先存儲(chǔ)的模板匹配，即可呈現(xiàn)三維虛擬模型。比如汽車店的車模卡片，玩具公司的人物卡片，都可以用模板匹配來進(jìn)行增強(qiáng)現(xiàn)實(shí)。邊緣檢測(cè)可以檢測(cè)出人體的一些部位，同時(shí)也可以跟蹤這些部位的運(yùn)動(dòng)，將其與虛擬物體物體無縫融合。比如，真實(shí)的手提起虛擬的物體，攝像機(jī)可以通過跟蹤用戶手的輪廓，運(yùn)動(dòng)方式來調(diào)整虛擬物體的方位。因此，許多商場(chǎng)的虛擬商品實(shí)用，多會(huì)使用邊緣檢測(cè)。

雖然圖形檢測(cè)法簡(jiǎn)單高效，但也有其不足的地方。圖像檢測(cè)發(fā)多用于相對(duì)理想的環(huán)境以及近距離的環(huán)境，這樣獲得的視頻流和圖像信息會(huì)清晰，易于進(jìn)行定位計(jì)算。而如果在室外環(huán)境中，光線的明暗，物體的遮擋，以及聚焦問題，使得增強(qiáng)現(xiàn)實(shí)系統(tǒng)不能很好的識(shí)別出圖像中的標(biāo)志物，或是出現(xiàn)和標(biāo)志物相似的圖像，這樣都會(huì)影響增強(qiáng)現(xiàn)實(shí)的效果。而此時(shí)，就需要其他跟蹤定位方法的輔助。

全球衛(wèi)星定位系統(tǒng)法

這種方法是基于詳細(xì)的GPS信息進(jìn)行跟蹤和確定用戶的地理位置信息。當(dāng)用戶在真是環(huán)境中行走時(shí)，可以利用這些定位信息和用戶攝像機(jī)的方向失誤，增強(qiáng)現(xiàn)實(shí)系統(tǒng)能將虛擬信息和虛擬物體精確的低價(jià)到環(huán)境景物以及周圍的人物之上。目前由于智能設(shè)備的普及，智能手機(jī)的廣泛應(yīng)用，而又由于智能手機(jī)具有支持基于GPS定位法的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的基本組件：攝像機(jī)，顯示屏，GPS功能，信息處理器，數(shù)字羅盤等，并把它們集成為一體，因此這種跟蹤定位法多用于這種智能移動(dòng)設(shè)備上。一種稱為增強(qiáng)現(xiàn)實(shí)瀏覽器的應(yīng)用程序，主要就是應(yīng)用這種方法。增強(qiáng)現(xiàn)實(shí)瀏覽器能夠在智能手機(jī)上運(yùn)行，它可以連接互聯(lián)網(wǎng)，搜索相關(guān)的信息，然后讓用戶在真實(shí)的環(huán)境看到相關(guān)的信息。增強(qiáng)現(xiàn)實(shí)瀏覽器能夠可以讓用戶了解到攝像機(jī)方向的幾乎所有事物的信息，比如找到一家距離很近但是被遮擋住的餐廳，或是獲取用戶對(duì)一家咖啡館的評(píng)價(jià)。

這種定位方式適合于室外的跟蹤定位，可以克服在室外環(huán)境中，光照，聚焦等不確定因素對(duì)圖像檢測(cè)法造成的影響。

其實(shí)在增強(qiáng)現(xiàn)實(shí)系統(tǒng)實(shí)際運(yùn)用的環(huán)境中，往往不會(huì)用單一的定位方法來定向定位。比如增強(qiáng)現(xiàn)實(shí)瀏覽器也會(huì)運(yùn)用圖像檢測(cè)法來檢測(cè)一些特定的符號(hào)，例如QR碼。識(shí)別出QR碼在進(jìn)行模板匹配，即可為用戶提供信息。

現(xiàn)實(shí)技術(shù)

當(dāng)前的增強(qiáng)現(xiàn)實(shí)主要有如下三種顯示技術(shù)：1、移動(dòng)手持顯示。2、視頻空間顯示和空間增強(qiáng)顯示。3、可穿戴式顯示。

智能手機(jī)通過相應(yīng)的軟件實(shí)時(shí)取景并顯示疊加的數(shù)字圖像，這就是移動(dòng)手持式顯示器的一般工作情況。同時(shí)現(xiàn)在平板電腦不斷增加功能以及比智能手機(jī)更大的屏幕，也是的其日益流行。

手持增強(qiáng)現(xiàn)實(shí)標(biāo)志物，通過網(wǎng)絡(luò)攝像機(jī)在食品窗口或是顯示器上顯示虛擬疊加的圖像，就是視頻空間顯示方式。帶有增強(qiáng)現(xiàn)實(shí)功能的賀卡，既是用這種方式顯示的。用戶在收到賀卡后，登錄相應(yīng)的網(wǎng)站系統(tǒng)，用網(wǎng)絡(luò)攝像機(jī)對(duì)準(zhǔn)賀卡，用戶即可從顯示屏上得到賀卡內(nèi)所存儲(chǔ)的信息形成的虛擬物體和視頻。而空間增強(qiáng)顯示技術(shù)，則是利用把包括全息投影在內(nèi)的視頻投影技術(shù)，直接將虛擬數(shù)字信息顯示在真實(shí)的環(huán)境之中。這種技術(shù)的系統(tǒng)不同于一般的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，只適合于個(gè)人使用，而是能想增強(qiáng)現(xiàn)實(shí)與周圍環(huán)境相結(jié)合，不僅僅限于單個(gè)用戶。這種技術(shù)適用于大學(xué)或者圖書館，可以同時(shí)為一群人提供增強(qiáng)現(xiàn)實(shí)信息。也可以將控制組件投影到相應(yīng)的實(shí)體模型上，方便工程師的交互操作。

可穿戴式顯示器是一種可以戴在用戶頭上的類似眼鏡的頭盔顯示器。我們熟知且期待的google glass正式這一類型的。可穿戴式顯示器一般有一道兩個(gè)內(nèi)嵌鏡頭和半透明鏡的小型顯示器，在飛行仿真，工程設(shè)計(jì)以及教育訓(xùn)練等多個(gè)領(lǐng)域都有廣泛的運(yùn)用。頭戴式設(shè)備可以讓用戶更加自然地體驗(yàn)增強(qiáng)現(xiàn)實(shí)，并且能夠?yàn)橛脩籼峁└蟮囊晥?chǎng)，給予用戶更強(qiáng)，更真實(shí)的“身在該處”的感覺。

交互技術(shù)

最基礎(chǔ)的增強(qiáng)現(xiàn)實(shí)人機(jī)交互就是用戶查看虛擬數(shù)據(jù)。除此之外，還有一下一些交互技術(shù)

觸覺接口交互

通過數(shù)字信息提供身體觸感來進(jìn)一步實(shí)現(xiàn)虛實(shí)結(jié)合。比如，可觸碰的虛擬光球，可以在虛擬的碗上繪畫的幻影筆。

協(xié)作式接口交互

使用多個(gè)顯示器來支持遠(yuǎn)程共享與交互或是同地協(xié)作活動(dòng)。這種交互能夠與多種應(yīng)用軟件集成，可用于醫(yī)學(xué)領(lǐng)域的執(zhí)行診斷和外科手術(shù)，或是設(shè)備維修等。

混合接口交互

組合多種不同但是功能互補(bǔ)的接口，使得用戶能夠通過多種方式的增強(qiáng)現(xiàn)實(shí)的內(nèi)容進(jìn)行交互。這種交互使得增強(qiáng)現(xiàn)實(shí)的交互更加靈活，可以用于數(shù)字模型的測(cè)試。

多模態(tài)接口交互

通過語(yǔ)言和行為的自然存在的形式與真實(shí)物體進(jìn)行交互，比如，說話，觸碰，自然手勢(shì)，凝視等。多模態(tài)交互能讓用戶靈活的組合多種模態(tài)，更方便用戶與增強(qiáng)現(xiàn)實(shí)系統(tǒng)的交互。

AR增強(qiáng)現(xiàn)實(shí)的技術(shù)支撐

基礎(chǔ)3D模型

3D模型(靜態(tài)或動(dòng)態(tài))是AR技術(shù)最基本的展現(xiàn)形式，比如動(dòng)漫人物、建筑、展品、家具等。目前，國(guó)內(nèi)AR行業(yè)正屬于前期發(fā)展階段，3D模型表現(xiàn)形式主要應(yīng)用于AR初級(jí)移動(dòng)app類產(chǎn)品。這種變現(xiàn)方式雖然是最基礎(chǔ)的，但也是目前應(yīng)用場(chǎng)景最廣、開發(fā)成本最低、市場(chǎng)普及最好的產(chǎn)品。

視頻

相對(duì)于簡(jiǎn)單的3D模型，酷炫的視頻展示無疑更能博人眼球，在商業(yè)運(yùn)營(yíng)中，這種展示方式帶來的經(jīng)濟(jì)效益會(huì)更好。比如，本來是普通的產(chǎn)品安裝說明、菜單講解、宣傳單介紹，一旦應(yīng)用AR技術(shù)，那么它就不再是一張平面的圖片，而表現(xiàn)出立體形象了，表述也變得準(zhǔn)確生動(dòng)起來，有一種魔幻的感覺。在類似的場(chǎng)景應(yīng)用中，AR技術(shù)都有巨大的市場(chǎng)空間可供挖掘拓展。在這里，需要提醒的是，利用AR技術(shù)實(shí)現(xiàn)視頻播放并不難，難的是制作一段適合AR情景播放的宣傳片，這就需要各位腦洞大開、細(xì)心雕琢了。

透明視頻

初次看到的時(shí)候，感覺它更像是使用了超高清的3D人物模型，但嚴(yán)格的說，這是做了特殊處理的透明視頻展示的效果。這種視頻沒有3D模型的高額成本，但卻有逼真的演繹效果。如果在大型海報(bào)、宣傳冊(cè)、商場(chǎng)活動(dòng)等場(chǎng)景中，設(shè)計(jì)好了，可是會(huì)有超級(jí)贊的效果。

場(chǎng)景展現(xiàn)

它可不是簡(jiǎn)單的一個(gè)個(gè)3D模型加上去就算完事了，場(chǎng)景展現(xiàn)雖然類似基礎(chǔ)3D模型疊加，但實(shí)現(xiàn)起來要比單一3D模型復(fù)雜的多，場(chǎng)景里包含的更多，應(yīng)用范圍也更加廣闊。比如娛樂、立體閱讀、游戲等應(yīng)用都會(huì)需要場(chǎng)景展現(xiàn)，當(dāng)然這類場(chǎng)景的建設(shè)需要內(nèi)容的支持。AR的場(chǎng)景展現(xiàn)不同于VR建造的全場(chǎng)景，AR場(chǎng)景展現(xiàn)是基于現(xiàn)實(shí)并與現(xiàn)實(shí)相互交錯(cuò)的，這也正是AR技術(shù)的迷人之處。

AR游戲

AR技術(shù)在游戲方式方面也帶來了巨大的革新。目前像《Pokemon Go》、《小龍斯派羅》、《幻實(shí)新英雄卡》等，都是非常不錯(cuò)的AR游戲。想象一下，往后的游戲不再需要復(fù)雜的場(chǎng)景建模，而是在真實(shí)的世界里游戲，同時(shí)在真實(shí)的世界里又能出現(xiàn)許多虛擬疊加進(jìn)去的事物，這是一種多么棒的體驗(yàn)!游戲也能擺脫場(chǎng)地與空間的束縛，可以隨時(shí)隨地開始。

VR結(jié)合

AR與VR技術(shù)共同豐富著我們的現(xiàn)實(shí)世界，AR技術(shù)旨在增強(qiáng)我們所處世界的內(nèi)容，而VR技術(shù)則是將我們的注意力從現(xiàn)實(shí)中轉(zhuǎn)移到一個(gè)虛擬的空間。AR和VR要是相結(jié)合起來，相信會(huì)有更好的體驗(yàn)，比如有了VR設(shè)備+AR顯示，你也不在需要導(dǎo)游或者講解員了，借助VR，讓AR所反饋出來的增強(qiáng)信息會(huì)實(shí)時(shí)地出現(xiàn)在你所聚焦的物體旁邊，告訴你這是什么，甚至還會(huì)告訴你關(guān)于它的詳細(xì)信息。未來像這樣的結(jié)合還可以體現(xiàn)在導(dǎo)航、醫(yī)療等領(lǐng)域。

大屏互動(dòng)

大屏互動(dòng)作為AR技術(shù)展現(xiàn)的延伸，其表現(xiàn)效果也是很讓人驚喜的，主要應(yīng)用于商場(chǎng)、博物館、體驗(yàn)館、大型活動(dòng)(演唱會(huì))等。大屏互動(dòng)，簡(jiǎn)單來講就是AR技術(shù)加投影，營(yíng)造更為真實(shí)、震感的場(chǎng)景和氛圍。