0.這篇文章干了啥？

這篇文章介紹了一種名為F-UAV-D的嵌入式系統，旨在利用事件到幀輸入來檢測無人機。文章首先介紹了無人機在各種領域中的應用，并指出了對于保護隱私和安全，對無人機進行預防和檢測至關重要的重要性。然后，文章討論了目前用于無人機檢測的兩種主要方法：主動掃描和被動掃描。接著，文章介紹了動態視覺傳感器（DVS）作為一種替代方案，其利用時間戳像素級亮度變化，適應于低延遲的對象檢測。隨后，文章提出了F-UAV-D系統，它利用DVS作為實時低功耗配置中的RGB攝像頭的替代方案，并展示了該系統的性能優勢。最后，文章總結了實驗結果，并提出了未來工作的計劃，包括擴展數據集、深入研究提出的設置以及嘗試不同的神經網絡架構。

下面一起來閱讀一下這項工作~

1. 論文信息

論文題目：Towards Real-Time Fast Unmanned Aerial Vehicle Detection Using Dynamic Vision Sensors

作者：Jakub Mandula, Jonas K¨uhne等

作者機構：瑞士蘇黎世聯邦理工學院

論文鏈接：https://arxiv.org/pdf/2403.11875.pdf

2. 摘要

無人機(Unmanned Aerial Vehicles, UAVs)在民用和軍事應用中越來越受歡迎。然而，對受限區域的未經控制的訪問威脅到隱私和安全。因此，預防和檢測無人機對于保證機密性和安全至關重要。盡管主要基于雷達的主動掃描是最精確的技術之一，但它可能比被動檢查，例如對象識別，更昂貴且不太靈活。動態視覺傳感器(Dynamic Vision Sensors, DVS)是一種受生物啟發的基于事件的視覺模型，利用了快速移動場景中的時間戳像素級亮度變化，很好地適應于低延遲目標檢測。本文提出了一種名為F-UAV-D (Fast Unmanned Aerial Vehicle Detector)的嵌入式系統，可實現快速移動無人機的檢測。具體而言，我們提出了一種利用DVS作為RGB攝像頭的替代方案的設置，實現實時和低功耗配置。我們的方法利用了DVS的高動態范圍(HDR)和背景抑制，在訓練了各種快速移動無人機后，在低照度和快速移動場景等次優環境中優于RGB輸入。我們的結果顯示，F-UAV-D可以(i)平均使用<15W的功率檢測無人機，并且(ii)通過利用邊緣計算機的CPU和GPU節點進行實時推理(即<50ms)。

3. 效果展示

RGB和事件到幀重疊的示例。

AprilTag 網格在 RGB 和事件到幀視圖中的示例。

4. 主要貢獻

設計和開發用于能效高和低延遲無人機檢測的嵌入式系統

數據集收集和地面真實創建，用于機器學習訓練和評估

在邊緣不同批大小的YOLOv8的功耗消耗的實證評估。

5. 基本原理是啥？

這篇文章的基本原理是利用事件驅動的視覺傳感器（DVS）和傳統的RGB攝像頭相結合，實現在邊緣設備上實時檢測快速移動的無人機。傳統的RGB攝像頭每隔一定時間（幀率）返回一幀圖像，而DVS則在感知到亮度變化時立即生成事件，每個事件包含有關一個像素的信息（受到亮度變化影響的像素）以及時間戳和亮度變化的極性。

文章介紹了構建系統所使用的硬件和軟件設置。硬件方面，系統基于商用DVS攝像頭、CMOS RGB陣列傳感器和低功耗計算節點構建。軟件方面，系統基于實時目標檢測算法和事件到幀轉換的組合。事件到幀轉換是一個關鍵步驟，將DVS生成的事件流轉換為傳統計算機視覺算法所需的幀格式。為了實現這一轉換，事件被累積到一個2D矩陣中，生成人工幀，其中正亮度變化的事件生成白色，負亮度變化的事件生成藍色。

在數據收集方面，文章介紹了創建一個包含不同無人機的公開可用數據集的過程。為了標記數據集，作者使用了YOLO檢測器對傳統攝像頭幀進行標記，并將標簽轉換為事件相機幀以用作先驗。

最后，文章通過對系統性能的定量和定性分析，展示了系統在實時檢測無人機方面的可行性。文章還提出了一個研究問題，即不同批次大小對功耗和推斷延遲的影響，為未來的研究提供了方向。

6. 實驗結果

本文旨在評估所提出的基于事件的計算機視覺算法在低端計算系統上實時檢測快速移動的無人機的性能。以下是實驗的關鍵內容：

數據集收集和標記：使用硬件收集數據集，并使用Label Studio進行標記，標記人員可以在RGB和DVS輸入同步的情況下檢查兩者之一以進行視覺確認。

事件到幀轉換：DVS生成對亮度變化的響應的事件流，但傳統計算機視覺算法支持幀作為輸入。因此，需要將事件流累積以生成人工幀，以便適應傳統計算機視覺算法。作者采用了一種簡單的累積過程，將事件聚合成為2色幀，其中白色代表正事件，藍色代表負事件。

攝像頭同步和校準：應用圖像變換來對齊RGB和事件到幀的視角，以便手動標記無人機，并在RGB空間運行檢測器并將標簽傳輸到事件空間。

數據集標簽：使用自動生成的標簽候選項，在Label Studio中繪制圍繞目標的邊界框，以創建YOLO訓練所需的地面真實數據集。

YOLOv5訓練：采用YOLOv5-nano算法，將其調整為接受與事件到幀累積相對應的二維、2通道矩陣，并使用默認的訓練代理和參數進行訓練。

功耗測量：使用Keysight N6705C DC功率分析儀測量F-UAV-D在推斷期間的總功耗，發現批次大小為4時功耗最低，每幀需求約為146mJ。

7. 總結 & 未來工作

在本文中，我們介紹了F-UAV-D，這是一個由硬件和軟件組件組成的嵌入式系統，可實現使用事件到幀輸入來檢測無人機。我們展示了一個硬件設置，包括傳統的RGB攝像頭、新穎的DVS傳感器和低功耗嵌入式系統。我們展示了如何使用現有的機器學習工具如YOLO來自動化創建新的事件攝像頭數據集的標記過程。此外，我們公開提供了我們的數據集，其中包括27分鐘的靜止和快速移動無人機錄像（即49,000幀）。我們通過測量功耗和延遲初步驗證了上述數據集。所測得的性能（即0.53 mAP）顯示出了實時推斷的現場可部署性，其每幀只需150mJ。我們計劃通過以下方式擴展這項工作：（i）擴展數據集（例如，包括更具挑戰性的條件）、（ii）對所提出的設置進行更深入的研究（例如，包括RGB和DVS幀之間的同步和校準過程的挑戰和限制）、（iii）嘗試不同的神經網絡架構。