CVPR 2019期間，專注于AR技術，整合軟硬件的人工智能公司亮風臺公開大規模單目標跟蹤高質量數據集LaSOT，包含超過352萬幀手工標注的圖片和1400個視頻，這也是目前為止最大的擁有密集標注的單目標跟蹤數據集。

論文《LaSOT: A High-quality Benchmark for Large-scale Single Object Tracking》詳細闡述了LaSOT數據集的構造原理和評估方法，由亮風臺、華南理工大學、美圖-亮風臺聯合實驗室等單位共同完成，收錄于CVPR 2019。此外，亮風臺另一算法成果投影AR新成果入選CVPR 2019 oral。

LaSOT貢獻

視覺跟蹤是計算機視覺中最重要的問題之一，其應用領域包括視頻監控、機器人技術、人機交互等。隨著跟蹤領域的巨大進步，人們提出了許多算法。在這一過程中，跟蹤基準對客觀評估起到了至關重要的作用。LaSOT的推出，是希望為行業提供一個大規模的、專門的、高質量的基準，用于深度跟蹤訓練和跟蹤算法的真實評估。

圖1：常用跟蹤數據集統計示意圖。包括OTB-2013、OTB-2015、TC-128、NUS-PRO、UAV123、UAV20L、VOT-2014、VOT-2017和LaSOT。圓直徑與數據集的總幀數數成比例。所提出的LaSOT比所有其他基準都要大，并且專注于長期跟蹤。

觀察和比較不同的跟蹤算法發現，其進一步發展和評估受到現有評測集的限制，存在的問題主要包括：

1.規模小。現有數據集很少有超過400個序列，由于缺乏大規模的跟蹤數據集，很難使用跟蹤特定視頻訓練深度跟蹤器。

2.短時跟蹤。理想的跟蹤器能夠在相對較長的時間內定位目標，目標可能消失并重新進入視圖。然而，大多數現有的基準都集中在短期跟蹤上，其中平均序列長度小于600幀（即20秒左右），而且目標幾乎總是出現在視頻幀中。

3.類別偏見。一個穩健的跟蹤系統應該表現出對目標所屬類別的不敏感性，這意味著在訓練和評估跟蹤算法時都應該抑制類別偏差（或類別不平衡）。然而，現有的基準通常只包含幾個類別，視頻數量不平衡。

許多數據集被提議處理上述問題，然而，并都沒有解決所有的問題。

基于上述動機，他們為社區提供了一個新的大型單目標跟蹤（LaSOT）基準，并提供了多方面的貢獻：

1. LaSOT包含1400個視頻，每個序列平均2512幀。每一幀都經過仔細檢查和手動標記，并在需要時對結果進行目視檢查和糾正。這樣，可以生成大約352萬個高質量的邊界框注釋。

此外，LaSOT包含70個類別，每個類別包含20個序列。據了解，LaSOT是迄今為止最大的具有高質量手動密集注釋的對象跟蹤數據集。

2. 與之前的數據集不同，LaSOT提供了可視化邊界框注釋和豐富的自然語言規范，這些規范最近被證明對各種視覺任務都是有益的，包括視覺跟蹤。這樣做的目標是鼓勵和促進探索集成視覺和語言功能，以實現強大的跟蹤性能。

3. 為了評估現有的跟蹤器，并為將來在LaSOT上的比較提供廣泛的基準，團隊在不同的協議下評估了35個具有代表性的跟蹤器，并使用不同的指標分析其性能。

LaSOT大規模多樣化的數據采集

LaSOT數據集的構建遵循大規模、高質量的密集注釋、長期跟蹤、類別平衡和綜合標記五個原則。

LaSOT基準數據采集涵蓋了各種不同背景下的各種對象類別，包含70個對象類別。大多數類別是從ImageNet的1000個類別中選擇的，但少數例外（如無人機）是為流行的跟蹤應用程序精心選擇的。以往的數據集通常含有的類別少于30個，并且一般分布不均勻。相比之下，LaSOT為每個類別提供相同數量的序列，以減輕潛在的類別偏差。

在確定了LaSOT中的70個對象類別之后，他們從YouTube中搜索了每個類的視頻。最初，他們收集了5000多個視頻?？紤]到追蹤視頻的質量和LaSOT的設計原則，他們挑選了1400個視頻。但是，由于大量無關內容，這1400個序列不能立即用于跟蹤任務。例如，對于個人類別的視頻（例如，運動員），它通常在開始時包含每個運動員的一些介紹內容，這不適合跟蹤。因此，他們仔細過濾掉每個視頻中不相關的內容，并保留一個可用于跟蹤的剪輯。此外，LaSOT的每一個分類都包含20個目標，反映了自然場景中的分類平衡和多樣性。

最終，他們通過收集1400個序列和352萬幀的YouTube視頻，在Creative Commons許可下，編譯了一個大規模的數據集。LaSOT的平均視頻長度為2512幀（即30幀每秒84秒）。最短的視頻包含1000幀（即33秒），最長的視頻包含11397幀（即378秒）。

LaSOT提供可視化邊界框注釋

為了提供一致的邊界框注釋，團隊還定義了一個確定性注釋策略。對于具有特定跟蹤目標的視頻，對于每個幀，如果目標對象出現在幀中，則標注者會手動繪制/編輯其邊界框，使其成為最緊的右邊界框，以適合目標的任何可見部分；否則，標注者會向幀提供一個“目標不存在”的標簽，無論是不可見還是完全遮擋。請注意，如任何其他數據集中所觀察到的那樣，這種策略不能保證最小化框中的背景區域。然而，該策略確實提供了一個一致的標注，這對于學習物體的運動是相對穩定的。

雖然上述策略在大多數情況下都很有效，但也存在例外情況。有些物體，例如老鼠，可能有細長和高度變形的部分，例如尾巴，這不僅會在物體的外觀和形狀上產生嚴重的噪聲，而且對目標物體的定位提供很少的信息。他們在LaSOT中仔細識別這些對象和相關的視頻，并為它們的注釋設計特定的規則（例如，在繪制它們時不包括鼠標的尾部）。

圖2：LaSOT示例序列和標注

序列的自然語言規范由描述目標的顏色、行為和環境的句子表示。對于LaSOT，他們為所有視頻提供1400個描述語句。請注意，語言描述旨在為跟蹤提供輔助幫助。例如，如果追蹤器生成進一步處理的建議，那么語言規范可以作為全局語義指導，幫助減少它們之間的模糊性。

構建高質量密集跟蹤數據集的最大努力顯然是手動標記、雙重檢查和糾錯。為了完成這項任務，他們組建了一個注釋小組，包括幾個在相關領域工作的博士生和大約10名志愿者。

35個代表性跟蹤器的評估

他們沒有對如何使用LaSOT進行限制，但提出了兩種協議來評估跟蹤算法，并進行相應的評估。

方案一：他們使用1400個序列來評估跟蹤性能。研究人員可以使用除了LaSOT中的序列以外的任何序列來開發跟蹤算法。方案一旨在對跟蹤器進行大規模評估。

方案二：他們將LaSOT劃分為訓練和測試子集。根據80/20原則（即帕累托原則），他們從每類20個視頻中選出16個進行培訓，其余的進行測試。具體來說，訓練子集包含1120個視頻，2.83m幀，測試子集包含280個序列，690k幀。跟蹤程序的評估在測試子集上執行。方案二的目標是同時提供一大套視頻用于訓練和評估跟蹤器。

根據流行的協議（如OTB-2015[53]），他們使用OPE作為量化評估標準，并測量兩個協議下不同跟蹤算法的精度、標準化精度和成功率。他們評估了LaSOT上的35種算法，以提供廣泛客觀的基準，Tab. 3按時間順序總結這些跟蹤器及其表示方案和搜索策略。

表3：已評估跟蹤程序的摘要。

方案一評估結果

方案一旨在對LaSot的1400個視頻進行大規模評估。每個跟蹤器都按原樣用于評估，沒有任何修改。他們使用精度、標準化精度和成功率在OPE中報告評估結果，

圖3：利用精度、歸一化精度和成功率對一號方案下的算法量化評估。

圖4：在協議I下，追蹤器在三個最具挑戰性的屬性上的代表性結果。

圖5：六大典型挑戰序列上的的定性評價結果。

方案二評估結果

圖6：使用精度、標準化精度和成功率對方案II下的跟蹤算法評估。

根據方案二，他們將LaSOT分為訓練集和測試集。研究人員可以利用訓練集中的序列來開發他們的跟蹤器，并評估他們在測試集中的表現。為了提供測試集的基線和比較，他們評估了35種跟蹤算法。每個跟蹤器都被用于評估，沒有任何修改或再培訓。使用精度、歸一化精度和成功率的評價結果如圖6所示。

除了對每一種跟蹤算法進行評估外，他們還對兩種具有代表性的深跟蹤算法MDNET[42]和SIAMFC進行了重新培訓，并對其進行了評估。評估結果表明，這些跟蹤器在沒有重訓練的情況下具有相似的性能。一個潛在的原因是他們的重新培訓可能和原作者使用配置不同。

他們對SiamFC的LaSOT訓練集進行了再培訓，以證明使用更多的數據如何改進基于深度學習的跟蹤器。Tab. 4報告了OTB-2013和OTB-2015的結果，并與在ImageNet視頻上培訓的原始SIAMFC的性能進行了比較。請注意，使用彩色圖像進行培訓，并應用3個比例的金字塔進行跟蹤，即SIAMFC-3S（彩色）。表4為在LaSOT上對siamfc進行再培訓。

跟蹤在這兩個實驗中保持不變。他們在兩個評測集上觀察到了一致的性能提升，顯示了針對深度追蹤器的特定大規模訓練集的重要性。