動態視覺傳感器（DVS）公司Prophesee已將其基于事件的相機調整為適合始終在線的AIoT（物聯網人工智能）設備的外形尺寸。與該公司的 100 萬像素第四代傳感器相比，第五代 GenX320 已將其分辨率降低到 320 x 320 像素，將芯片尺寸減小到 13 mm ^2^ ，現在包括便于下游處理的標準數據格式和可用于喚醒系統其他部分的超低功耗模式層次結構， Prophesee首席執行官Luca Verre告訴EE Times。

“[基于事件的傳感器]技術現在在消費者領域開辟了一個機會，一個更大的生態系統正在意識到這項技術并有興趣采用它，”Verre說。“但三年前，我們發現了不一定適合我們的第四代傳感器的其他機會。這就是我們開發第五代產品的原因，用于出于成本、功耗和集成原因需要非常小的傳感器設備的應用。

像DVS傳感器這樣的基于事件的傳感器基于人類視網膜的生物學：它們只輸出像素亮度的變化，而不是完整的圖像幀。這會以低延遲生成低帶寬數據，但仍包含有關場景的足夠信息。處理這種低帶寬數據所需的計算量更少，這意味著可以節省電力。該技術對弱光條件也非常有彈性。

Prophesee與索尼合作設計的上一代傳感器于2021年底投入批量生產。這款高清傳感器是一款BSI（背面照明）3D堆疊芯片，足夠小，可以首次針對消費電子產品。

Prophesee一直在與高通公司合作，用Snapdragon移動處理器展示這種傳感器。Verre表示，至少有兩家OEM正在為2025年發布制造智能手機，其中包括Snapdragon和Prophesee的組合。這里的用例是融合全畫幅和事件數據，以提高智能手機相機的圖像質量。可以使用Prophesee傳感器來檢測照片中的運動，然后使用Prophesee的計算攝影算法來校正它，從而減少運動模糊。

GenX320具有較低的分辨率，更低的功耗和更小的尺寸，將針對AR / VR耳機，安全和監控/檢測系統，非接觸式顯示器，眼動追蹤和其他始終在線的物聯網設備。然而，雖然仍然是BIS 3D堆疊設計，但該傳感器不是與索尼一起開發的，而是在不同的代工廠制造。

“我們與索尼的關系非常好：我們共同開發了第四代傳感器，我們還與索尼達成了一項商業協議，與索尼一起進入市場，”Verre說。“所以這種合作關系正在進行中，但第五代傳感器是由Prophesee設計的，由我們的鑄造合作伙伴制造，并由我們銷售。[第四代和第五代]傳感器在市場定位方面完全不同，針對非常不同的用例具有不同的傳感器分辨率，因此它們是互補的。沒有重疊，這使得我們與索尼的上市戰略非常簡單。

接口和電源模式

Prophesee聯合創始人兼首席技術官Christoph Posch告訴EE Times，GenX320有幾個關鍵的新功能與邊緣AI和物聯網應用相關。

“我們（以前）有一種非常規的數據格式，沒有人真正知道該怎么做——事件中動態視覺信息的編碼，沒有人理解，”他說。“我們的數據速率不恒定，沒有標準的數據格式或接口。我們意識到所有這些事情都減緩了這項技術的采用。這就是為什么我們認為，'我們需要設計一種更有用的傳感器，可以集成到邊緣AI視覺系統中，并幫助潛在客戶真正使用該系統'。
GenX320包括片上預處理，可根據需要將數據重新格式化為行業標準格式，并提供三種接口選擇：

• 高帶寬MIPI接口與應用處理器連接，并使用全數字流水線在流式傳輸之前對數據進行預處理和過濾。
• CPI 接口 （DCMI） 與低延遲應用中的微控制器連接。數據可以聚合成 2D 直方圖，準備進行 AI 處理。
• Prophesee現有的AER（地址事件表示）接口完全繞過了數字預處理管道，用于神經形態和尖峰神經網絡加速器。

GenX320還包括低功耗模式的層次結構。用于始終開啟活動檢測的最低功耗模式功耗約為 36 μW。完全有效模式使用 CPI 接口時功耗約為 3.5 mW，使用 MIPI 接口時功耗約為 20 mW。

Posch 說：“我們可以將層次結構提升到功耗模式，從而實現更高的分辨率和更智能的檢測，直至最高模式，即通過所有事件數據的輸出接口將完全流式傳輸到應用處理器。“在[最高和最低功耗模式]之間，我們可以在這些功率模式之間循環，具體取決于場景中發生的事情。

這些模式使用稱為全局對比度檢測器 （GCD） 的新功能，該功能可檢測移動、進入或退出視野的物體。像素陣列細分為多個區域，這些區域可以小至 4 x 4 像素。Prophesee使用陣列每個區域中光電二極管的光電流總和（在硬件中計算）來檢測該區域的活動。對于最低功耗模式，有九個檢測區域;效果就像總共 100,000 個像素中只有 9 個被打開，因此可以節省大量電量。

RISC-V CPU 還可用于對靈活的感興趣區域進行編程，最多可同時編程 12 個。

全局對比度檢測 （GCD） 是一項新功能，可將陣列分解為多個區域以節省功耗。這些區域中的活動檢測可用于喚醒系統的其他部分。

商業牽引力

GenX320傳感器已經掌握在20多個主要客戶手中，用于原型設計。

Zinn Labs使用GenX360為AR / VR眼鏡開發了一種基于事件的眼動儀，其產生的數據比全畫幅相機少100×。這意味著眼動追蹤可以在 1 kHz 或更高的頻率下完成，比全畫幅相機設置快 10×。快速眼動追蹤的應用之一是注視點渲染：我們的眼睛不會同時聚焦整個場景，因此，如果我們知道眼睛在看哪里，有選擇地渲染我們正在看的部分可以節省計算。Verre表示，Zinn Labs正在與客戶合作，明年開始使用Prophesee GenX320傳感器進行批量生產。

英國初創公司Ultraleap一直在使用GenX320進行手部跟蹤系統，用于非接觸式人機界面。Verre說，這種應用的照明條件可能具有挑戰性，但Prophesee傳感器具有高動態范圍（高于120 dB）。
消費電子公司Xperi已經有一個使用Prophesee上一代傳感器的駕駛員監控系統，現在它正在研究用于智能設備和家用電器的GenX360。臺灣整車廠YunX計劃明年上市，配備保護隱私的GenX320跌倒檢測系統。

Verre表示，Prophesee將在未來幾周內展示帶有STM32微控制器的GenX320，用于邊緣AI，隨后將有更多具有不同類型處理器的參考設計。GenX320的產量將在明年上半年增加。