增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí) （AR/VR） 系統(tǒng)的任務(wù)是創(chuàng)建要與之交互的虛擬現(xiàn)實(shí)環(huán)境，無(wú)論是通過(guò)智能手機(jī)屏幕還是 3D 耳機(jī)。用戶在這些環(huán)境中如何體驗(yàn)運(yùn)動(dòng)也需要盡可能地反映他們?cè)谖锢硎澜缰械倪\(yùn)動(dòng)。

　　自由程度

　　在我們開(kāi)始討論如何在 VR 中反映現(xiàn)實(shí)生活之前，我們想花點(diǎn)時(shí)間回顧一下幾個(gè)核心概念。自由度 （DoF）與對(duì)象可以在 3D 空間中移動(dòng)的可能方向的數(shù)量有關(guān)。IMU（慣性測(cè)量單元）可以提供 2 到 6 個(gè)自由度。三自由度，通常實(shí)現(xiàn)為關(guān)于固定點(diǎn)的 360 度視頻，介于平面 2D 圖像和完全沉浸式 3D 體驗(yàn) （6 DoF） 之間。在 3 DoF 中，觀看者可以在空間中旋轉(zhuǎn)以環(huán)顧四周，但不能在空間中移動(dòng)。

　　為了獲得逼真的用戶體驗(yàn)，AR/VR 系統(tǒng)需要實(shí)現(xiàn) 6 DoF，即線性定位分層，將觀看者從固定位置解放出來(lái)。這讓用戶能夠在 3D 空間中前后左右移動(dòng)，提供更自然逼真的體驗(yàn)，這是設(shè)備制造商的目標(biāo)。

　　在 AR/VR 中集成手持控制器

　　手持遙控器通常用于 AR/VR 游戲或系統(tǒng)中，作為控制虛擬元素（如劍或方向盤(pán)）的一種方式。它們還用于在虛擬環(huán)境中表示用戶的手。

　　使用手持運(yùn)動(dòng)控制器實(shí)現(xiàn) 6 DoF 需要實(shí)時(shí)捕獲遙控器的線性和角度位置。3D 角位置由遙控器沿偏航、俯仰和滾動(dòng)軸的方向和角運(yùn)動(dòng)生成。3D線性位置是指遙控器在3D空間中的具體位置。

　　為了跟蹤 3D 角位置，通常使用慣性測(cè)量單元（IMU）。IMU 可以與確定遙控器線性位置的固定攝像頭配對(duì)。由于使用兩個(gè)單獨(dú)的組件來(lái)跟蹤位置，因此 IMU 產(chǎn)生的每一幀測(cè)量都需要與相機(jī)產(chǎn)生的相應(yīng)測(cè)量幀實(shí)時(shí)對(duì)齊。如果幀沒(méi)有正確對(duì)齊，數(shù)據(jù)以高延遲返回，或者如果傳感器的輸出沒(méi)有以足夠高的速率提供，則可能導(dǎo)致視覺(jué)滯后，從而對(duì)用戶體驗(yàn)產(chǎn)生不利影響。

　　保持對(duì)齊

　　保持對(duì)齊可能是一個(gè)昂貴的提議。一種常見(jiàn)的方法是點(diǎn)檢測(cè)，它依賴于識(shí)別關(guān)鍵標(biāo)記以用作參考點(diǎn)。在這些方法中，外部相機(jī)用于識(shí)別預(yù)定陣列中的點(diǎn)以跟蹤對(duì)象并保持對(duì)齊。這種方法通常需要多個(gè)高質(zhì)量的 IR（紅外）攝像頭來(lái)跟蹤耳機(jī)和控制器上的點(diǎn)陣列。這種使用外部攝像頭確定設(shè)備位置和方向的方法稱為“由外而內(nèi)”。使用頭顯上的攝像頭向外觀察控制器和世界被稱為“由內(nèi)而外”。

　　有一種更便宜的替代方法可以在虛擬空間中對(duì)齊控制器，它使用可見(jiàn)光譜相機(jī)的線性位置來(lái)提供 6 DoF 體驗(yàn)。您不需要昂貴的相機(jī)或復(fù)雜的點(diǎn)陣列來(lái)進(jìn)行線性定位；您可以改為使用更簡(jiǎn)單的單個(gè)球體來(lái)確定線性位置（您可能已經(jīng)在某些依賴這種由內(nèi)向外方法的 VR 手持運(yùn)動(dòng)控制器上看到了乒乓球式球體）。

　　從那里，您可以使用傳感器融合算法來(lái)正確對(duì)齊幀。使用簡(jiǎn)單的可見(jiàn)光譜相機(jī)和一些創(chuàng)造性的數(shù)學(xué)運(yùn)算，可以以較低的總成本實(shí)現(xiàn)完整的 6 DoF 體驗(yàn)。

　　審核編輯：郭婷