透過生物啟發方式擷取影像中的“事件”(event)聽起來不僅酷炫，而且未來感十足。但有多少開發人員真正目睹基于事件的機器視覺技術效果？

大多數的開發人員都聽說過或讀過這一類的消息，他們可能感到很好奇。但是，他們多半只能在局外觀看，而不曾經有過這種所謂“事件導向”(event-driven)的新型機器視覺技術之實戰經驗。

總部位于法國巴黎的新創公司Prophesee鎖定的正是這些在此競賽中的“旁觀者”。該公司日前推出其首款針對視覺系統開發人員的參考系統，協助其用于嘗試、測試以及了解神經形態(neuromorphic)視覺如何運作。

Prophesse首席執行官Luca Verre在接受《EE Times》訪問時表示，該公司的參考設計最初鎖定的用戶將是“工業自動化機器和機器人領域的開發人員。此外，在汽車和物聯網(IoT)系統的客戶也將找到有助于表征[Prophesee]傳感器性能的參考系統。”

還有，研發實驗室和大學的研究人員也將從中受益。但Verre解釋說，真正的關鍵在于該參考系統將觸發圍繞著Prophesee事件導向、非影格基礎(frame-based)的視覺系統打造一個“生態系統”。“唯有建立了生態系統，才會帶來革命。”

Prophesee的Onboard參考系統將包含一個支持VGA分辨率的攝影機，內建Prophesee的ASIC、高通(Qualcomm)的1.5GHz四核心Snapdragon處理器、六軸慣性測量單元(IMU)，并支持一系列的連接器，包括USB 3.0、以太網絡、微型HDMI、Wi-Fi (802.11ac)與MIPI CSI-2。

Prophesee聲稱其功率效率和系統延遲均“低于10毫秒(ms)”。該公司之前曾經說，其傳感器支持低于10mW的工作特性。

不同于傳統frame-based影像傳感器

數十年來，機器視覺系統設計人員依靠的是他們對于傳統影像傳感器如何擷取視覺信息的知識和經驗。傳統的傳感器被設計為以一種預定的影格速率(frame rate)運作，而無論動態場景如何變化，而每個影格(frame)傳送來自所有像素的信息，同時對其進行均勻采樣。

所以，提高機器視覺系統的性能一直著重于由新型影像傳感器所實現的更高影格速率和更高分辨率。

Prophesee認為現在正是重新思考這種典范的時候了。

相較于傳統的frame-based攝影機，在Prophesee開發基于異步時間的影像傳感器中，每個像素均以不同速率各自決定對場景的每一部份進行采樣。Prophesee首席技術官Christoph Posch曾經對為《EE Times》解釋：“透過對光線作出反應或改變接收到的入射光量，每個像素單獨控制其采樣，而不涉及頻率。”

因此，Prophesee的傳感器僅選擇場景中最有用和最相關的元素，從而有助于降低傳統frame-based系統所造成的功耗、延遲和數據處理等需求。

Prophesee的傳感器建立在“神經形態”視覺的基礎上。人眼和大腦并不會將視覺信息記錄在一連串的影格中。Prophesee共同創辦人Ryad Benosman解釋，“人類擷取感興趣的東西——空間和時間的變化，并以極高的效率將這些信息傳送至大腦。”

由于影像傳感器并不受限于影格，因此，Verre解釋：“我們的技術不會錯過每個影格之間可能發生的重要事件。”

讓懷疑論者變成信徒

要求視覺系統工程師放棄神圣的影格概念，轉而開始使用事件導向的影像傳感器來打造新系統，可說是一項艱巨的任務。Verre在德國斯圖加特與博世(Bosch)晤談后，他在電話訪問中告訴我們：“這是許多工程師都難以接受的提議。”

Prophesee參考系統

協助設計工程師克服心理障礙的方法之一是為他們提供一個兼容于現有frame-based攝影機的參考系統，讓他們能復制現有結果作為默認選項。同時，Verre解釋說，相同的參考系統還可用于展示non-frame-based的影像傳感器如何執行，使其比較新型成像數據的優點。

他表示，該公司的Onboard參考系統采用“嵌入了大量工具庫的單板計算機，可用于檢測、追蹤、計數和測量等應用”。

鎖定工業自動化和機器人市場

Prophesee在德國國際‘Control’展會上展示其Onboard參考系統。據主辦單位表示，該展會專注于質量保證，是“工業4.0計劃的驅動力”。

然而，Prophesee要追求典型保守的工業自動化市場并不容易。Verre坦承，這是一個成熟的市場，由機器制造商、系統整合商和機器視覺專家組成，他們已經習慣于為每個機器視覺應用開發一系列昂貴且體積龐大的獨立設備。

Prophesee積極追逐工業自動化和機器人市場（來源：Prophesee）

Verre認為，Prophesee有能力改變游戲規則。Verre聲稱，透過導入基于單板移動平臺的機器視覺技術，自動化系統設計人員將能以更低功率和更多彈性，開發出更便宜、更小型的系統。

例如，Prophesee說，這是一種基于事件的方法，“讓傳感器達到較高速視覺相關應用更高的動態范圍。”該公司補充說，它讓具有成本效益的傳感器和系統記錄事件，否則這些事件需要傳統攝影機以每秒10,000格或更快的速率執行。

Verre說，設計人員還可以進一步將Prophesee的技術應用于“監測機器的健康狀態”。“機器是由移動組件組成。事件導向的攝影機可以檢測振動機器的機動組件，并以高頻率(超過100Hz)監測任何異常行為。”

他解釋說：“傳統的機器視覺系統并不容易做到這一點。它們必須始終開啟，才能在振動發生之際實時擷取影像，而這將會要求傳統系統必須具有大量處理能力和數據儲存。”

Prophesee Onboard參考系統的軟件堆棧（來源：Prophesee）

相較于傳統工業自動化領域習以為常的單點機器視覺系統解決方案，Verre認為，Prophesee的參考系統的優勢就在于透過高性能、多功能和低成本解決方案，讓整體產業運作更流暢、更簡單。

Prophesee目前正與對事件導向解決方案感興趣的汽車和IoT系統公司合作。華為(Huawei)透露Prophesee正是其合作伙伴，在開發增強現實/虛擬現實(AR/VR)和IoT計劃中使用了Prophesee技術。Verre說，Prophesee還與一家大型消費電子公司達成了合作協議，但他并未透露更多有關細節。