Facebook進一步介紹關于最近用以優化控制器追蹤性能的版本更新，尤其是針對具有挑戰性的追蹤環境，如包含圣誕樹或假日裝飾燈具的空間。由于Facebook的追蹤系統是基于檢測和幾何匹配小簇紅外光，所以假日季期間將呈現重大的挑戰，因為它要在包含數百個光點blob的背景下正確追蹤控制器，而系統可能會將其誤認為是控制器。

1. 追蹤挑戰

當控制器位于圣誕樹前時，Insight追蹤系統所感知的畫面將如下所示。右側的黃點是系統檢測到的所有潛在控制器LED。如你所見，無論是來自圣誕樹，裝飾吊燈，還是其他可能存在的燈串，外部光源都會給系統定位控制器的LED帶來挑戰。

圖中的其他光源對追蹤算法提出了一定的挑戰：

更多的光點blob會導致分割和匹配的計算時間增加。

若無關于控制器在上一幀中的位置信息，如果控制器介于裝飾燈具的離群值范圍內，則系統幾乎不可能計算姿勢。

就算存在先前的信息，即便是單個錯誤的LED都會造成錯誤地匹配，從而導致追蹤失敗。

由于Quest的嚴格計算預算，計算時間的任何增加都可能造成camera的掉幀。

面對上述挑戰，在假日裝飾燈附近的環境中進行控制器追蹤非常困難，并且除非用戶關閉燈具或將其移至其他房間，否則可能會導致錯誤。但Facebook希望人們什么時候都能夠在家里享Quest和Rift S的樂趣，所以Facebook專注于優化追蹤系統。

2. 解決方案

Facebook構建了兩種主要方法來解決這個問題的不同方面：

首先，開發了一種可以檢測環境中的固定3D燈源，并使用其3D位置來幫助拒絕這種光點blob的全新算法。映射外部點的過程類似于Insight追蹤背后的系統。

要為這種固定的離群點創建精確的映射，需要系統計算它們的基本幾何形狀并對其在3D空間中的位置進行三角測量。系統將在游玩過程建立其追蹤的標記列表。這種標記不僅存儲離群點的位置，同時存儲稱為協方差的不確定性值。這種不確定性可以幫助提高系統當標記為固定時的判斷精度。一旦在同一位置多次看到相同的標記，系統就會予以確認并在追蹤過程忽略相關的光點blob。

在下面的并排圖像中，你可以看到新算法（左側）識別出粉紅色標記和綠色標記。其中，粉紅色為圣誕樹燈具的光點blob，而綠色則為控制器LED的光點blob。

一旦繪制了固定標記，系統就會將它們投影到camera視圖，從而獲取其在每一幀中的像素位置。在所述位置檢測到的光點blob（通過特定閾值內的誤差度量來測量）不會用于匹配。進行刪減后，系統將獲得一個非常有可能是控制器blob的非固定blob索引列表。但是，僅追蹤固定的標記不足以確保可靠的追蹤。在最具挑戰性的環境中，我們希望系統在處理之前先剔除明顯不正確的光源。

所以，Facebook通過內部測試分析為何會發生追蹤不匹配。Facebook發現通常的情況是，由于姿態匹配，不匹配的控制器blob尺寸會錯誤，如假定姿態接近時blob太小。綜上所述，圖像中的顯式blob尺寸基本可根據以下因素進行預測：

LED與攝像頭的距離

入射到LED的入射角

圖像blob到圖像中心的距離

圖像Blob橢圓在圖像空間中的方向

考慮到這種關系，Facebook嘗試了不同的方法來將上述輸入信號建模為輸出。Facebook發現由于塑料的折射效應，幾何建模相當不準確，而機器學習方法（尤其是小型神經網絡）能帶來最高的精確度。

Facebook利用Caffe2訓練了一個極小且針對性極強的CNN卷積神經網絡，從而驗證明顯太大或太小而無法成為控制器blob的blob。Facebook對特定的內部采集數據集進行了訓練，并發現這與映射標記結合時能夠明顯減少離群值數量的有效方法。

3. 結果

通過這種優化，追蹤系統的性能在充滿挑戰的環境中（如假日季期間常見的環境）有了顯著改善。最大的改進是顯著減少了數據丟失的數量，并幾乎消除了在密集外部照明情況下不正確的LED匹配。我們發現這能夠改善用戶體驗，同時希望Quest和Rift S用戶能夠全年無縫地享受VR的樂趣。