基于事件的攝像機(jī)是一種新的無源傳感方式，與傳統(tǒng)的攝像機(jī)相比有許多優(yōu)點(diǎn)，包括極低的延遲、異步數(shù)據(jù)采集、高動態(tài)范圍和極低的功耗。最近，人們對應(yīng)用算法來使用事件執(zhí)行各種3D感知任務(wù)非常感興趣，比如特征跟蹤、視覺里程數(shù)測量和立體深度估計(jì)。然而，目前缺乏像傳統(tǒng)相機(jī)那樣豐富的標(biāo)記數(shù)據(jù)，無法用于測試和開發(fā)。在本文中，我們展示了一個大型數(shù)據(jù)集，該數(shù)據(jù)集采用了基于事件的同步立體攝影系統(tǒng)，該系統(tǒng)由一個手持式設(shè)備攜帶，在各種不同的照明水平和環(huán)境中，由一架六軸飛行器飛行，在汽車頂部驅(qū)動，并安裝在摩托車上。從每個相機(jī)中，我們提供事件流、灰度圖像和IMU讀數(shù)。此外，我們利用IMU、剛性安裝的激光雷達(dá)系統(tǒng)、室內(nèi)外運(yùn)動捕捉和GPS的組合，以高達(dá)100Hz的頻率為每個攝像機(jī)提供準(zhǔn)確的姿勢和深度圖像。為了進(jìn)行比較，我們還提供了同步的灰度圖像和基于框架的立體攝像機(jī)系統(tǒng)的IMU讀數(shù)。

目前，有一些現(xiàn)有的數(shù)據(jù)集提供了來自單眼事件相機(jī)的事件，并與其他各種傳感方式和地面實(shí)況測量相結(jié)合，適用于測試一些不同的3D感知任務(wù)。

早期的工作[6]，[7]提出了立體深度估計(jì)的結(jié)果，有一些空間和時間成本。后來在[8]、[9]和[10]的工作中，將立體深度的合作方法適應(yīng)于基于事件的攝像機(jī)，因?yàn)樗鼈冞m用于異步的、基于點(diǎn)的測量。同樣，[11]和[12]應(yīng)用了一套時間、極性、排序和極性約束來確定匹配，而[13]則將其與基于方位儀庫輸出的匹配進(jìn)行比較。

作者在[14]中展示了一種新的方法來確定外極線，應(yīng)用于立體匹配。在[15]中，作者提出了一個新的上下文描述符來進(jìn)行匹配，[16]中的作者使用了一個經(jīng)歷純旋轉(zhuǎn)的立體事件相機(jī)來進(jìn)行深度估計(jì)和全景拼接。

III.數(shù)據(jù)集

表I中列出了傳感器及其特點(diǎn)。此外，圖2a顯示了傳感器裝置的CAD圖，所有的傳感器軸都被標(biāo)明，圖2顯示了傳感器在每輛車上的安裝方式。

圖2：從左到右：（a）：傳感器裝置的CAD模型。所有的傳感器軸都被貼上標(biāo)簽，并涂上對應(yīng)的顏色：R:X、G:Y、B:Z，每對軸之間只有大約90度的旋轉(zhuǎn)組合。(b): 安裝在六軸飛行器上的傳感器包。(c): 使用玻璃吸力三角架安裝在汽車天窗上的傳感器包。(d): DAVIS相機(jī)和VI傳感器安裝在摩托車上。請注意，在所有的配置中，VI傳感器都是倒著安裝的。最好以彩色方式觀看。

表一：傳感器和特征

B.序列

圖4：運(yùn)動捕捉場地。左：室內(nèi)Vicon場地；右：戶外Qualisys場地。

IV.地面實(shí)況的生成

為了提供地面實(shí)況姿態(tài)，在有條件的情況下，會使用動作捕捉姿態(tài)。否則，如果有激光雷達(dá)，Cartographer[28]將用于驅(qū)動序列，將激光雷達(dá)掃描和IMU數(shù)據(jù)融合成激光雷達(dá)的循環(huán)閉合2D姿態(tài)，利用第五章D節(jié)的校準(zhǔn)將其轉(zhuǎn)換為左DAVIS幀。對于戶外場景，我們也提供原始的GPS讀數(shù)。

對于室內(nèi)和室外運(yùn)動捕捉領(lǐng)域的序列，在每個時間t的傳感器設(shè)備worldHbody(t)的主體框架的姿勢是以100Hz測量的，精度為毫米級。對于戶外序列，我們依靠Cartographer來執(zhí)行循環(huán)閉合，并將激光雷達(dá)掃描和IMU數(shù)據(jù)融合到一個單一的循環(huán)閉合的主體（在這種情況下是激光雷達(dá)）的2D姿勢中，并使其漂移最小。

為了對最終姿勢的質(zhì)量進(jìn)行量化衡量，我們將位置與GPS測量值對齊，并為數(shù)據(jù)集中的每個戶外序列提供疊加的衛(wèi)星圖像，以及所提供的地面實(shí)景和GPS之間的位置差異。圖7提供了Car Day 2的樣本覆蓋，其中Cartographer和GPS之間的平均誤差始終在5m左右，沒有漂移。

這個誤差在所有的戶外駕駛序列中是一致的，總體平均誤差為4.7米，與GPS的預(yù)期誤差大小相似。請注意，440秒左右的誤差峰值是由于巨大的GPS誤差造成的，對應(yīng)于覆蓋圖右上方的黑體部分。

在這兩種情況下，對于每個從左DAVIS幀到幀取點(diǎn)的序列，外在的變換，表示為4×4的同質(zhì)變換矩陣體worldHDAVIS，然后用來估計(jì)時間t的左DAVIS相對于時間t0的第一個左DAVIS的姿勢：

在有激光雷達(dá)的每個序列中，每個DAVIS相機(jī)的深度圖像都是為每個激光雷達(dá)測量而生成的。我們首先通過將當(dāng)前測量周圍的局部窗口中的每個激光雷達(dá)點(diǎn)云轉(zhuǎn)換為當(dāng)前測量的框架，使用LOAM的姿勢來生成一個局部地圖。在每次測量時，確定窗口大小，使窗口中當(dāng)前、第一和最后一個LOAM姿勢之間的距離至少為d米，并且當(dāng)前、第一和最后一個LOAM姿勢之間至少有s秒，其中d和s是為每個序列調(diào)整的參數(shù)。這些地圖的例子可以在圖5中找到。

其中Π是投影函數(shù)：

V.校準(zhǔn)

圖5：為地面實(shí)況生成的樣本地圖。左圖：汽車第1天序列的全圖，綠色為軌跡; 右圖:來自Hexacopter Indoor 3序列的局部地圖。

圖6：深度圖像（紅色）與事件疊加（藍(lán)色），來自Hexacopter Indoor 2和Car Day 1序列。請注意，由于激光雷達(dá)的垂直視場和范圍有限，圖像的部分區(qū)域（黑色區(qū)域，特別是頂部）沒有深度。這些部分在數(shù)據(jù)中被標(biāo)記為NaN。最好以彩色方式觀看。

圖7：GPS和Cartographer在衛(wèi)星圖像上疊加的 Car Day 2 軌跡的比較。請注意，Cartographer和GPS之間的誤差峰值對應(yīng)于左側(cè)覆蓋圖右上方的黑體部分，主要是由于GPS誤差造成的。最好以彩色觀看。

A.攝像機(jī)的內(nèi)在、外在和時間校準(zhǔn)

VI.已知問題

用于生成深度圖的映射假設(shè)場景是靜態(tài)的，通常不會過濾掉移動物體上的點(diǎn)。因此，在追蹤其他汽車上的點(diǎn)時，報(bào)告的深度圖可能有高達(dá)兩米的誤差，等等。然而，與可用的數(shù)據(jù)總量相比，這些對象通常相當(dāng)罕見。如果需要，未來的工作可以涉及對圖像中的車輛進(jìn)行分類，并從深度圖中省略這些點(diǎn)。

運(yùn)動捕捉和GPS只使用主機(jī)的時間與系統(tǒng)的其他部分同步。這可能會導(dǎo)致報(bào)告的時間戳與實(shí)際測量時間之間出現(xiàn)偏移。我們在一臺電腦上記錄所有的測量結(jié)果，以減少這種影響。此外，由于激光雷達(dá)的旋轉(zhuǎn)速度，激光雷達(dá)點(diǎn)的測量和信息的時間戳之間可能會有一些延遲。

在生成每個序列時，使用了每個攝像機(jī)的默認(rèn)偏置。然而，人們注意到，對于室內(nèi)?ying序列，正負(fù)事件的比例比通常要高（~2.5-5倍）。在這一點(diǎn)上，我們不知道是什么原因?qū)е铝诉@種不平衡，也不知道調(diào)整偏置是否會平衡它。我們注意到，這種不平衡在斑紋層上特別偏斜。我們建議使用事件極性的研究人員在處理這些序列時要注意這種不平衡性。

VII.總結(jié)

我們提出了一個新的立體事件相機(jī)的數(shù)據(jù)集，在一些不同的車輛和不同的環(huán)境中，有6自由度姿勢和深度圖像的地面實(shí)況。我們希望這些數(shù)據(jù)能夠提供一個標(biāo)準(zhǔn)，在此基礎(chǔ)上對新的基于事件的方法進(jìn)行評估和比較。

審核編輯 ：李倩