Yuval Boger (VRGuy)， Sensics的首席執行官分享了他對于HMDs和虛擬現實技術的經驗和觀點。

如果你有感興趣的話題或者你想得到解釋的概念，請評論留言，我們會盡力解決這些問題。你也可以在這兒問我任何問題。

理解預測跟蹤

在“增強現實”和“虛擬現實”系統的背景下,預測跟蹤是指預測未來方向或一個物體的位置或身體部分的過程。例如,人們可能會想預測的頭的方向或手的位置。

為什么預測跟蹤有用?

關于預測追蹤一個常見的應用就是減少明顯的“光子運動”延遲,即運動之間的時間和運動反映在繪制的場景。由于運動之間有延遲和更新顯示（如下所示），使用可預估的方向和位置作為數據應用于更新顯示,可以縮短延遲。

雖然許多注意力一直集中在虛擬現實應用程序的預測跟蹤上,它對于增強現實技術方面也是非常重要的。舉例來說,如果你要顯示一個圖形覆蓋，使其出現在你通過增強現實眼鏡看到的物體的上方,非常重要的一點是保證疊加物在你轉頭時位置不變。觀察對象能夠被相機識別,但相機需要一些時間來捕捉幀,處理器需要確定對象在框架中的位置，圖形芯片要呈現新的覆蓋。通過使用預測跟蹤,你可以更好的記錄覆蓋圖像和物理對象。

它是如何工作的呢?

工作原理

如果你看到一輛車以恒定的速度行駛而且你想預測汽車將在下一秒鐘駛向何處，你也許可以做出精確的預測。你知道汽車的當前位置,你可能知道或可以估計當前的速度,因此可以推斷汽車不久之后的位置。

當然,如果你比較你的預測和汽車實際行駛的情況,你會發現你每次的預測都不可能是100%準確的：汽車可能會改變方向或加速。距離越遠，你預測的結果越不準確：預測下一秒鐘汽車的位置比預測下一分鐘的要準確得多。

關于汽車及其行駛特點你了解的越多，越有機會做出準確的預測。例如，如果你不僅知道了其速度，還知道其加速度，你的預測可能就更準確。

如果你了解更多關于被追蹤的個體的信息，也可以提高預測精度。例如，當進行頭部跟蹤時,了解轉頭最快的速度和一般狀態下的速度,可以提升跟蹤模型。同樣,如果你做眼部跟蹤,你可以使用眼球追蹤信息預測這篇文章中討論到的頭部運動，

延遲的來源

所需的執行預測跟蹤來自實際運動和反應運動的圖像之間的延遲。延遲來自多因素,如:

?感應延遲。傳感器(如陀螺儀)可能是帶寬受限的，因而無法立即報告方向或位置變化。同樣,基于相機的傳感器可能出現延遲，通常在相機傳感器上的像素接收到跟蹤對象的光線到框架發送到主機處理器之間這段時間里。

?處理延遲。傳感器通常使用某種類型的傳感器與算法相結合,執行該算法時就會增加延遲。
?數據平滑。傳感器數據有時是嘈雜的,避免錯誤出現,軟件或基于低通算法的硬件會執行任務。
?呈現延遲。在呈現一個非凡的場景時,圖像需要一些時間傳到顯示設備。
?幀速率延遲。例如，如果播放操作是以100赫茲的頻率,那么連續幀之間的時間是就是10毫秒。當某個特定像素顯示之后不精確的信息可能需要等待下一個次像素繪制完成再顯示。
?傳輸延遲。例如,如果定位傳感用完USB連接的設備，數據傳到主處理器和USB數據傳輸完成之間也有時間。

其中一些延遲是非常小的,但不幸的是各種延遲會疊加起來。預測跟蹤加上其他技術,如時間扭曲,有利于減少明顯的延遲。

能夠追蹤多久的未來時間?

四個字:視情況而定。你首先需要估計點對點系統延遲,然后再進行優化。

也許你需要在任何給定的時間內預測幾個未來的時間點。這里有一些例子可以解釋為什么需要這樣做:

?有的對象有不同的端對端延遲。例如,帶相機的手部跟蹤器和頭部跟蹤可能有不同的延遲,但都需要在同樣的場景中同步,所以預測跟蹤需要不同的“向前看”的時間。

?在單一屏幕布局時---如手機屏幕---為雙眼提供圖像,通常情況下, 相對于另一只眼睛，映入在一只眼睛只有半幀(例如1/60秒的一半,大約8毫秒)。在這種情況下,最好給延遲的另一半屏幕使用提前8毫秒的預測跟蹤。

以下是一些常用的預測跟蹤算法的例子：

?航跡推算。這是一個非常簡單的算法:如果位置和速度(或角位置和角速度)在給定的時間內是已知的，預測位置假設最終位置和速度是正確的,而且速度是相同的。例如,如果最后已知位置是100個單位,最后一個已知的速度是10單位/秒,因而未來10毫秒(0.01秒)內的預測位置100 + 10 x 0.01 = 0.01。雖然計算很簡單,但它假定的是過去的位置和速度是準確的(例如,忽略各種噪音)且速度是恒定的。而這兩個假設往往是不正確的。

?卡爾曼預測器。這是基于廣受歡迎的卡爾曼濾波器設計的。卡爾曼濾波器是用來減少包含數學模型的操作系統中傳感器噪聲的。點擊此處查看更多關于卡爾曼濾波器的詳細解釋。

?alpha-beta-gamma。ABG預測器與卡爾曼預測器密切相關,但并不是很通用且數學程式簡單。我們可以從較高層面解釋一下。ABG不斷試圖估計速度和加速度并使用這些數值進行預測。由于這些估測將實際數據考慮在內所以一些測量上的誤差減少了。配置參數(α,β和γ)增強了反應與降噪能力。如果你想了解一下,請看這里:

總結
預測跟蹤是一個有效且被廣泛應用的減少明顯的延遲的技術。它提供了簡單的或復雜的操作,需要一些思考和分析,但確實是值得的。