視覺SLAM (vSLAM)是指移動機器人通過相機感知外部世界并估計機器人的位姿和重建周圍環境的三維地圖。vSLAM在各種應用中扮演著不可或缺的角色，包括自動駕駛，機器人導航和增強現實。例如，在機器人導航里，vSLAM能夠提供環境信息和機器人的位置來幫助它到達指定的地點。vSLAM通常利用傳統的RGB相機獲取圖片信息。然而傳統的相機局限于低動態感光范圍和運動中產生的動態模糊，而無法在復雜的場景下得到精準的位姿估計和三維重建結果。近年來，基于一種新的仿生相機，即事件相機，相應的vSLAM算法被相繼提出。該類方法利用事件相機的高幀率、高動態感光范圍、低能耗、低延遲等特性在一些復雜的場景下也能得到了非常優異的結果。

本綜述綜合性地概述了基于事件相機的vSLAM研究進展，同時也包含了事件相機的工作原理和事件數據的預處理和表征形式。我們將主流的算法分為四大類，即特征法、直接法 、運動補償法和基于深度學習的方法。在每個類別中，我們對相應的算法框架、突出貢獻、優勢和局限性都進行了充分的論述。另外，本文還整合了包含事件相機及多模態的諸多vSLAM的數據集，并在典型的數據集上對具有代表性的方法進行了系統的結果評估，也同時討論了不同方法各自適用的場景。最后，我們討論了目前基于事件相機的vSLAM存在的挑戰以及未來可能的研究方向。

一、事件相機vSLAM介紹

vSLAM能夠通過視覺傳感器來獲取環境信息，以達到估計機器人位姿和周圍環境三維重建的目的。但是傳統的視覺傳感器受限于它的硬件而導致的低動態感光范圍和運動中產生的動態模糊，在一些復雜的場景下無法得到良好的結果，例如高速運動中的或者復雜的光照條件下的場景。

近年來，事件相機受到了研究者們的關注。由于事件相機的高幀率、低延遲和高動態感光范圍，使得基于事件相機的vSLAM 能夠勝任一些復雜的場景，尤其是高速運動和復雜光照下的場景。但是，事件相機產生的事件數據和傳統相機產生的圖像完全不同。如圖1(a, b)所示，事件相機通過記錄了每個像素點的光度變化而產生時間連續性的、異步的、稀疏的和不規則的數據。因此傳統的vSLAM算法不能直接運用在事件數據上。同時，每個事件傳遞的信息極少，且極易受到硬件噪聲的影響。此外，事件相機引入了更加復雜的多視圖幾何關系。所以，我們需要一個新的框架來處理事件數據來實現vSLAM。

圖1. 事件數據在時間空間中的表示、投影到圖像平面上的表示以及基于事件相機的vSLAM方法的相機位姿和三維重建圖。

為了能讓基于事件相機的vSLAM在事件數據上實現位姿估計和三維重建，研究者設計出了多種多樣針對事件相機的數據關聯、位姿估計和三維重建的解決方案。我們將主流的算法分類為四種類別，分別為特征法、直接法、運動補償法和基于深度學習的方法。特征法通過在事件數據中提取并跟蹤特征點實現vSLAM；而直接法隱式關聯事件數據一次實現vSLAM；運動補償法通過消除投影在圖像平面上的事件表征所產生的動態模糊來估計相機的運動；基于深度學習的方法利用神經網絡實現端到端的預測位姿和三維圖。本文對相關的研究算法做了詳盡的介紹，并對一些具有代表性的方法進行了結果評估。

圖2. 基于事件相機的vSLAM的方法總結表，包括了他的優化方法、分類、事件表征、相機運動類型、場景類型以及采用的傳感器等。

二、具體研究進展及討論

為了處理事件相機產生的異步的、不規則的事件數據，研究者利用濾波器和脈沖神經網絡來單獨處理每一個原始的事件數據，但是這些方法通常需要大量的運算。另一方面，研究者提出將一組連續的事件數據轉化成同步的事件表征形式，例如二維事件幀、時間平面和voxel grid，來平衡延遲和運算量。更多詳情可見文章第三章。

主流的vSLAM算法通常包括三個主要的步驟：數據關聯、位姿估計和三維重建。它們對相同三維點在不同二維圖像平面上的像素點構建關聯，通過多視角的幾何學進行位姿估計和三維重建。基于事件相機的vSLAM也遵循了這一范式。

特征法通常從事件數據中提取并跟蹤特征來構建數據關聯，例如原始的點和線特征。利用特征和顯式的特征關聯，特征法能夠估計每個特征點對應的相機位姿和三維點。特征法十分依賴于特征提取和算法的表現，而由于事件數據中的噪聲和運動變化的特性，現有的基于事件相機的特征提取算法還不夠成熟，使得特征法的效果相對比較差。VIO方法通過結合慣性數據提高特征法的魯棒性并取得了較好的性能。更多詳情可見文章第四章。

直接法分為兩類：(a) 事件-圖像對齊法利用光度變化和絕對光度的關系來建立每個事件和參照光度圖像的像素點，(b) 事件表征對齊法利用了事件數據中的空間-時間的關系對齊兩幀事件表征。由于事件一般產生于高圖像梯度的區域，這一先驗可以幫助直接法篩選像素點。同時，事件相機的高幀率特性保證了兩幀之間的相對位姿較小，從而保證了直接法能夠得到最優解。更多詳情可見文章第五章。

長時間跨度的事件幀通常會產生動態模糊，而運動補償法旨在優化事件數據的對齊銳化事件幀來估計相機的運動。這種方法能夠保留長期的邊緣模型，提高相機位姿估計的魯棒性，同時它們能夠運動到事件數據中的時間戳。但是，運動補償法有可能產生事件塌縮的現象，即所有事件對齊到一個點或者一條線上，而得到不準確的相機位姿。更多詳情可見文章第六章。

基于深度學習的方法通常將事件數據轉換成二維的事件表征或者三維的voxel grid，采用神經網絡提取特征來預測位姿和重建三維圖。(a) 無監督學習法利用事件的光流作為訓練信號來估計位姿和深度。(b) 監督學習法直接利用位姿和深度真 值來訓練神經網絡，從而直接預測位姿和深度。神經網絡能夠提取事件相機的非線性特征并處理事件噪聲和異常。但是，深度學習方法需要大量的訓練數據，并且其泛用性較差。另外，脈沖神經網絡能夠直接處理異步的、規則的事件數據，但是這項技術還不夠成熟，它的脈沖消失問題和訓練問題有待解決。更多詳情可見文章第七章。

圖3. 四種方法的流程圖，左上為特征法，右上為兩種直接法，包括事件-圖像對齊和事件表征對齊，左下為運動補償法，右下為兩種基于深度學習的方法，包括無監督學習和監督學習。

三、實驗對比

我們首先詳細介紹了常用的基于事件相機的vSLAM數據集以及近幾年最新的相關數據集。它們提供了事件相機在不同場景、不同光照條件下的事件數據以及相機的位姿和深度圖。另外，我們詳細介紹了位姿和深度估計的評價標準。我們分別在相機位姿和深度估計兩個子任務上對具有代表性的算法進行了詳盡的比較。我們在相同的設定下以公正的評測目前的基于事件相機的vSLAM方法與傳統相機的方法。相關指標結果如圖4，5所示。最后，我們討論了四種主流方法的適用場景。

圖4. 深度估計算法的評估結果。

圖5. vSLAM位姿估計的評估結果。

四、挑戰與展望

在這一節，我們討論了基于事件相機的vSLAM面臨的主要挑戰和未來的研究方向。我們在這里做一個簡要的討論。更多詳情可見文章第九章。

理論研究

理論分析能夠提供基于事件相機的vSLAM方法泛用性和驗證性提供理論保證。近幾年，傳統的vSLAM發展了許多理論研究，然而基于事件相機的vSLAM缺乏相應的理論研究。如何將傳統的vSLAM的理論研究擴展到事件相機上或者建立新的理論體系是一個值得研究的未來方向。

歡迎關注「3D視覺工坊」，加群/文章投稿/課程主講，請加微信：dddvisiona，添加時請備注：加群/投稿/主講申請

提高惡劣環境下的魯棒性

即將事件相機在高動態感光范圍的環境下有巨大的優勢，但是一些惡劣環境下的場景依舊會提高事件數據的噪聲，降低基于事件相機的vSLAM方法的準確率，例如，夜晚場景和極端天氣狀況。如何提高vSLAM方法在惡劣環境下的魯棒性保有精確的位姿估計和三維重建是一個充滿潛力的研究方向。

全局優化

由于不準確的數據關聯和傳感器的噪聲，基于事件相機的vSLAM算法會累積偏移誤差，導致在長時間的相機運動下產生更大的誤差，而偏離實際的位置。額外的全局優化有望消除累積的便宜誤差，例如，全局地圖優化和位姿圖優化。

多模態的基于事件相機的vSLAM

將基于事件相機的vSLAM方法與多模態領域進行融合可以進一步提高算法的魯棒性。例如，慣性傳感器能夠提供慣性數據防止相機跟蹤丟失。事件-圖像對齊直接法利用光度變化和絕對廣度的關系對齊事件和圖像上的像素點。未來可以進一步探究不同傳感器和事件相機之間互補的特性來得到更精確、魯棒的vSLAM方法。

五、總結

我們提供了一份基于事件相機的vSLAM領域的綜述，涵蓋了事件相機的工具原理、事件預處理的表征形式、四種主要的vSLAM方法，公開的評估結果以及未來的研究方向。事件相機能夠提高vSLAM算法在高速運動和高動態感光范圍場景下的魯棒性。為了能夠利用事件相機的優勢并運用到vSLAM上，未來還需要我們更好地處理異步的、稀疏的事件數據。我們將長期維護一個開放的github倉庫來定期更新最新的工作進展和數據集 ( https://github.com/kun150kun/ESLAM-survey )。

編輯：黃飛

?