在嚴重交通事故等緊急情況下，分秒必爭，足夠寬的救援車道可以決定生死。如果駕駛員能聽到警報器，為什么自動駕駛汽車不能這樣做？總部位于埃及開羅的 Avelabs 開發了一種傳感器解決方案，可為車輛提供聽覺，以補充視覺并改進自動駕駛系統。

“在評估環境時，視覺是我們最重要的感覺，”Avelabs 產品管理總監 Amr Abdelsabour 在今年布魯塞爾 AutoSens 的小組會議上說。“然而，作為人類駕駛員，我們不僅僅依賴于視覺。當我們開車時，我們也依賴于我們的聽力。我們可以聽到很多信息，但看不到像從后面傳來的警報器。或者，如果我們開車進入一個盲道，而有車來了，我們真的看不到它，但我們能聽到它。”

在 AutoSens，Avelabs 推出了 AutoHears，這是一種聲學傳感系統，可檢測、分類和定位聲音，以幫助了解車輛的復雜環境。AutoHears 包括硬件、機械外殼和運行傳感功能的軟件，旨在執行緊急車輛、模糊場地、自然災害（例如巖石滑坡）和安全事件（例如附近的碰撞、槍擊、爆炸）檢測，以及如車輛自診斷和語音識別。

在與EE Times Europe的后續討論中，Abdelsabour 解釋了賦予車輛聽覺所需的條件、軟件和硬件如何相互依賴、數據融合過程的執行地點和方式，以及 AutoHears 何時能夠實現上路？

EE Times Europe：您能否描述一下 AutoHears 可以和無法檢測到的聲音類型？

Amr Abdelsabour：我們從行駛中的車輛聲音（例如輪胎、發動機、剎車和空氣動力學聲音）以及全球不同標準的喇叭和警報器開始。到目前為止，這些課程已經過測試和演示。我們目前正在努力添加新的類，例如自然災害和碰撞檢測，但它們仍處于功能開發階段。功能開發路線圖正在構建中。

EE Times Europe：AutoHears 從各個角度檢測聲音。有身體限制嗎？

阿卜杜勒：AutoHears 可以檢測來自各個角度的聲音，不僅如此，還可以檢測來自墻后和其他障礙物的聲音。當然有物理限制。聲音測量是一個相對傳感過程，其中聲音是相對于其環境進行傳感的。這意味著如果環境安靜，AutoHears 將能夠檢測到微弱和微弱的聲音，例如自行車甚至腳步聲。但是，如果環境嘈雜，AutoHears 將只能檢測到最重要的聲音。因此，例如，如果附近有響亮的警報器，我們將無法檢測到其他車輛的馬達聲音，因為響亮的聲音會掩蓋安靜的聲音。盡管如此，我們正在努力找出我們在客觀數字上的確切物理限制，以便能夠為我們的客戶提供可靠的限制。

EE Times Europe：聲音的分類呢？

阿卜杜勒：聲音的分類是一個復雜的過程，尤其是在涉及非標準化聲音時。如果我們談論的是諸如警報器之類的標準化聲音，那么分類過程就會變得簡單而直接，并且可以使用基于模型的算法來完成。然而，行駛中的車輛檢測是一個更復雜的過程，因為它是由不同物理成分組成的聲音的非標準組合，從而產生我們的耳朵或傳感器聽到的最終聲音。這就是各種人工智能方法發揮作用的地方，能夠通過收集的數據基于機器學習對聲音進行分類，并根據他們所學的內容檢測和分類聲音。我們很自豪地說，在 AutoHears 中，我們結合了基于模型的算法和機器學習來對聲音進行分類，

EE Times Europe：音頻數據如何與來自嵌入汽車的攝像頭或其他傳感器的圖像數據融合？

阿卜杜勒：與人類駕駛員一樣，聲音與視覺相得益彰。這就是我們對 AutoHears 的看法，我們也相應地開發了它。因為我們主要關注聲學傳感部分，所以我們提供原始聲學傳感信息，這些信息可以與攝像機和雷達等其他傳感器融合，對物體進行分類和定位，從而發揮每個單獨傳感器的優勢并克服它們的弱點. 因此，例如，將雷達、攝像頭和 AutoHears 結合起來，可以在我們的盲點中檢測到以下車輛：雷達可以檢測到障礙物并準確估計其距離（因為雷達在這方面非常可靠），攝像頭會對該物體進行分類（如果有攝像頭在觀察目標車輛所在的方向），AutoHears 將通過自己的車輛分類和定位來確認檢測，并在車輛發出任何聲音（如按喇叭或發出警報器）時添加信息。所有傳感器的組合使傳感器融合以可能的最佳方式對周圍環境進行了高度確定的重建。

EE Times Europe：你為什么決定建立一個完整的系統？為什么必須解決所有軟件和硬件方面的問題？

Amr Abdelsabour, Avelabs

阿卜杜勒：AutoHears 作為傳感系統是同類中最早的檢測系統之一，即聲學檢測系統。由于 Avelabs 是一家軟件公司，我們最初希望我們的主要關注點僅是從軟件角度感知功能，而不是關注硬件部分。然而，沒有傳感硬件，就不可能有傳感功能。傳感硬件是傳感功能的主要推動者，因為傳感器并不像在車輛中放置麥克風以實現檢測那么簡單，而是必須仔細設計硬件以實現對周圍環境的準確定位。為了定位對象，定位算法依賴于物理因素，例如聲音到達時間差，只有當硬件設計成能夠檢測到這一點時才能檢測到。涉及多個硬件因素，例如麥克風的數量、它們之間的距離以及它們在車輛上的位置。所有這些硬件要求迫使我們自己設計和構建硬件，以實現我們提供的聲學傳感功能。簡單來說，沒有一家公司可以為車輛提供外部聲學檢測硬件，這就是我們必須自己開發的原因。

EE Times Europe：你能告訴我一些關于聲學傳感器本身的細節嗎？在運行算法的 CPU 上？

阿卜杜勒：在傳感器和處理器系統方面，我們已決定采用集中式架構。這一決定是為了順應所有汽車公司目前的趨勢，即依靠檢測原始數據的傳感器（相機、雷達……）。然后將原始數據發送到集中式域控制器，在該控制器中進行傳感器融合。這就是為什么我們將聲學傳感器構建為原始數據傳感器，檢測所有聲學信息并將其發送到運行傳感算法的集中域控制器。如您所知，我們自己設計了聲學傳感器，但我們使用現成的汽車域控制器（例如 Xilinx FPGA 和 TI ADAS TDA SoC）作為運行我們算法的 CPU。但是，由于每個客戶都使用自己的域控制器，我們僅將這些處理器用作參考硬件。因為我們可以簡單地部署在任何類型的域控制器上，只要進行必要的定制。

EE Times Europe：你為什么說 AutoHears 是“硬件依賴的”？

Abdelsabour：AutoHears 作為傳感器和傳感算法具有通用組件和硬件特定組件，具體取決于客戶所需的功能和客戶使用的處理控制器。因此，例如，如果客戶只想要聲音事件的方向（不知道到發出聲音的物體的距離），則只需要使用一個傳感器。但如果客戶還想檢測物體的距離，就需要使用多個傳感器來三角測量物體的距離。例如，這是一個依賴于硬件的功能。

關于硬件依賴性的另一面是用于處理傳感功能的域控制器。我們功能的性能取決于運行它們的處理器及其功能。在硬件的性能和處理要求之間存在權衡。因此，例如，如果我們希望 AutoHears 以 1 度的分辨率進行檢測，這將需要更多的處理資源。如果我們降低我們想要的性能，那么處理要求也會降低。此外，每個新硬件都將附帶一些針對微控制器抽象層的特定硬件定制，例如 AutoHears 傳感器驅動程序，這些驅動程序將被實施到客戶的基本軟件環境中。

EE Times Europe：您在發展方面處于什么位置？您打算什么時候在公共道路上測試 AutoHears？您預計 AutoHears 何時投入生產？

Abdelsabour：可以在產品開發階段考慮 AutoHears。我們已經從技術和財務角度證明了這一概念，進行了演示和測試以證明可行性，目前我們正在努力“產品化”開發。這包括公共道路驗證以及獲得汽車認證。這是我們從產品開發到商業化所需的兩個步驟。這些是在投入生產之前必須采取的步驟。

EE Times Europe：你們有早期客戶測試解決方案嗎？

Abdelsabour：雖然我們在今年 9 月開始在 AutoSens 上發布該產品，但我們已經在與客戶討論測試該解決方案的問題。在我們嘗試向汽車市場推出新產品的過程中，我們希望依靠我們的客戶和合作伙伴更多地了解市場期望和要求，并將我們的傳感器集成到數據采集車隊中，以收集更多數據進行培訓和驗證目的。

審核編輯 黃昊宇