編者薦語

事件相機(jī)是一款新型傳感器。不同于傳統(tǒng)相機(jī)拍攝一幅完整的圖像，事件相機(jī)拍攝的是“事件”，可以簡單理解為“像素亮度的變化”，即事件相機(jī)輸出的是像素亮度的變化情況。

前言

第一次聽到“事件”相機(jī)，你一定會(huì)吐槽它的名字：“什么玩意？”、“不知所云”、“太拗口了！”

沒辦法，event camera 直譯過來就是事件相機(jī)，雖然我覺得這個(gè)稱呼不太直接，或許翻譯為“微動(dòng)”相機(jī)之類的更貼切吧。但不妨礙，它是一個(gè)神奇的存在，和目前我們常見的視覺相機(jī)在原理上大相徑庭，目前能夠量產(chǎn)事件相機(jī)的公司又屈指可數(shù)，當(dāng)然價(jià)格也非常“鶴立雞群”，在動(dòng)態(tài)感知方面能夠拍攝到“飛行的子彈”，說它是相機(jī)中的戰(zhàn)斗機(jī)大家應(yīng)該沒有意見吧？

下面是關(guān)于事件相機(jī)的起源設(shè)計(jì)思路、原理、特點(diǎn)和分類的概述。歡迎留言區(qū)交流

1 事件相機(jī)定義與設(shè)計(jì)

1.1 事件相機(jī)的定義及潛在應(yīng)用

事件相機(jī)（event cameras）是一種生物啟發(fā)的視覺傳感器，以完全不同于標(biāo)準(zhǔn)相機(jī)的方式工作。事件相機(jī)不是以恒定速率輸出強(qiáng)度圖像幀，而是僅輸出局部像素級(jí)亮度變化的相關(guān)信息。這些像素級(jí)亮度變化（稱為事件）超過設(shè)定閾值時(shí)，事件相機(jī)以微秒級(jí)分辨率標(biāo)記時(shí)間戳，并輸出異步事件流。

事件相機(jī)相比于普通相機(jī)的優(yōu)勢:

低數(shù)據(jù)率

低能耗

低延遲

高動(dòng)態(tài)范圍(HDR)

普通相機(jī)問題:

HDR: DVS (Dynamic Vision Sensor) 的動(dòng)態(tài)范圍約120dB, 而普通相機(jī)的動(dòng)態(tài)范圍只有60dB -> 抵抗極端環(huán)境.

低延遲: 極高的時(shí)間分辨率使得事件相機(jī)可以實(shí)時(shí)高速感知周圍環(huán)境并提供準(zhǔn)確的輸出--->達(dá)成無人駕駛的目的

低數(shù)據(jù)率: 高速的普通相機(jī)每秒會(huì)生成至少上百張圖片，而事件相機(jī)每秒只生成幾百kb的數(shù)據(jù)--->無人機(jī)

低能耗: 事件相機(jī)只消耗非常少的能量，例如當(dāng)普通的frame-based相機(jī)功率為1~2W時(shí)，事件相機(jī)的功率只有24mW. -> VR/AR設(shè)備

1.2 事件相機(jī)設(shè)計(jì)

事件攝像機(jī)的設(shè)計(jì)模仿了生物視網(wǎng)膜的特點(diǎn)，并提供了一個(gè)從普通基于幀的(frame-based)相機(jī)的范式轉(zhuǎn)變.

1.2.1 神經(jīng)形態(tài)硅視網(wǎng)膜

在生物學(xué)的器官中，人類這樣的脊椎動(dòng)物的視網(wǎng)膜是眼睛內(nèi)表面的一層薄薄的組織，能將光轉(zhuǎn)換成電脈沖.

視網(wǎng)膜可以被分成以下三個(gè)部分:

光感受器層

組成元件: 視桿細(xì)胞和視錐細(xì)胞（神經(jīng)細(xì)胞）

層級(jí)功能: 將接收到的光轉(zhuǎn)化為電脈沖

外叢狀層

組成元件:雙極細(xì)胞(on- 和 off- 型)

層級(jí)功能: 將時(shí)空間的亮度變化進(jìn)行編碼

內(nèi)叢狀層

組成元件：水平細(xì)胞和神經(jīng)節(jié)細(xì)胞

層級(jí)功能: 進(jìn)行亮度調(diào)節(jié)，并將電脈沖傳遞至多條并行通路進(jìn)行處理

這些細(xì)胞可以按其結(jié)構(gòu)大致分為以下功能:

對(duì)亮度的瞬間變化敏感的細(xì)胞,

對(duì)持續(xù)不變亮度敏感的單元，根據(jù)環(huán)境光調(diào)整其他單元

對(duì)特定運(yùn)動(dòng)方向敏感的細(xì)胞

對(duì)局部區(qū)域空間變化敏感的細(xì)胞

對(duì)顏色的特定波長的光敏感的細(xì)胞

這種生物性視網(wǎng)膜有許多令人滿意的特性，使其具有潛在的極大優(yōu)于傳統(tǒng)的圖像傳感器的應(yīng)用價(jià)值。

1.2.2 事件相機(jī)設(shè)計(jì)

區(qū)別于普通相機(jī)，事件相機(jī)測量的不是絕對(duì)的光照強(qiáng)度，而測量的是光強(qiáng)的變化

一個(gè)相機(jī)像素處的光強(qiáng)變化會(huì)觸發(fā)事件相機(jī)發(fā)送二進(jìn)制信號(hào)，0表示變暗，1表示變亮

每個(gè)像素是獨(dú)立的，因此一旦發(fā)生變化，二進(jìn)制信號(hào)就立即被發(fā)送出去

發(fā)送出去的信號(hào)是連續(xù)的且不基于相機(jī)幀的

事件相機(jī)的每個(gè)像素都有實(shí)現(xiàn)三個(gè)邏輯功能的模擬電路:

光感受器 : 將光轉(zhuǎn)化為電流

差分電路 : 計(jì)算從上一個(gè)事件開始至今的變化量（差分），并通過與預(yù)設(shè)的內(nèi)部閾值進(jìn)行對(duì)比來選擇是否觸發(fā)事件

比較器: 在觸發(fā)事件后，將差分電路復(fù)位并開始計(jì)算下一個(gè)事件的差分

2 事件相機(jī)分類:

2.1 DVS (Dynamic Vision Sensor)

DVS是一個(gè)純基于事件的相機(jī)

上圖是使用DVS在一個(gè)時(shí)間間隔內(nèi)累積事件的一個(gè)可視化圖像輸出

DVS 電路:

光度測量 第一步是將光電流轉(zhuǎn)換成與光強(qiáng)的對(duì)數(shù)成比例的電壓:

差分電路

檢查光電流對(duì)數(shù)的變化量是否超過用戶在傳感器配置中預(yù)先設(shè)置的事件閾值.

通過被放大，每當(dāng)超過事件閾值時(shí)，處集成的電荷被重置

事件觸發(fā)

如果光強(qiáng)變化超過閾值，則觸發(fā)有符號(hào)的異步事件輸出

當(dāng)一個(gè)事件在時(shí)被觸發(fā)時(shí)，并且光的變化量滿足, 其中

這可以解釋為DVS像素可以檢測到的最小對(duì)比度。然而，在實(shí)際應(yīng)用中，這受到光感受器噪聲和傳感器帶寬的限制。事件攝影機(jī)測量的對(duì)比度可以視為標(biāo)準(zhǔn)化的時(shí)間差：

因?yàn)? 在弱光環(huán)境中，事件的觸發(fā)比在明亮場景中的變化要小

2.2 DAVIS (Dynamic and Active Vision Sensor)

DAVIS 與DVS相比，結(jié)合了一個(gè)基于幀(frame-based)的相機(jī) (與事件相機(jī)非同步),通過曝光生成的像素可以提供事件數(shù)據(jù)中所缺少的豐富紋理信息。

上方左圖是DAVIS相機(jī)在一定的時(shí)間間隔內(nèi)收集到的事件的可視化輸出圖像，右圖是其中所帶的基于幀的相機(jī)采集的圖像。

下圖是一個(gè)DAVIS相機(jī)的邏輯電路，其中APS為普通相機(jī)部分，DVS為事件相機(jī)部分

2.3 ATIS (Asynchronous Time-based Image Sensor)

ATIS在DVS的基礎(chǔ)上巧妙地引入了基于時(shí)間間隔的光強(qiáng)測量電路來實(shí)現(xiàn)圖像重構(gòu)

每次 DVS 電路產(chǎn)生事件時(shí)，觸發(fā)光強(qiáng)測量電路進(jìn)行工作；光強(qiáng)測量設(shè)定了兩個(gè)不同的參考電壓， 通過對(duì)光強(qiáng)進(jìn)行積分，并記錄達(dá)到兩個(gè)電壓發(fā)放的事件；由于不同光強(qiáng)的條件下，電壓變化相同量所需的時(shí)間不同，通過建立光強(qiáng)與時(shí)間的映射可以推斷出光強(qiáng)大小，從而輸出光強(qiáng)變化像素處的光強(qiáng)信息，ATIS 引入了一套全局發(fā)放機(jī)制，即所有像素可被強(qiáng)制發(fā)放一次脈沖，這樣在 ATIS 初始工作時(shí)可獲得一整幅圖像作為背景，然后運(yùn)動(dòng)區(qū)域不斷產(chǎn)生脈沖進(jìn)而不斷的觸發(fā)光強(qiáng)測量電路獲得運(yùn)動(dòng)區(qū)域的灰度來更新背景。

以下是一個(gè)ATIS相機(jī)的輸出:

從上圖左邊和中間部分顯示了在一個(gè)時(shí)間間隔內(nèi)累積事件和解碼強(qiáng)度測量的圖像。

ATIS相比于DVS的主要優(yōu)勢在于它的分辨率更高(304×240), 動(dòng)態(tài)范圍更高(143 dB) 有更低的能耗(3)，最重要的是事件能夠觸發(fā)一次全局的HDR輸出。

2.4 幾種事件相機(jī)的對(duì)比與總結(jié)

性能參數(shù)

價(jià)格

3 事件相機(jī)數(shù)據(jù)處理

3.1 事件數(shù)據(jù)

事件相機(jī)生成與基于幀相機(jī)完全不同的信號(hào).

事件相機(jī)的輸出是基于目標(biāo)的運(yùn)動(dòng)的.

事件相機(jī)只知道該像素處的亮度發(fā)生了變化，但不知道亮度有多大

這使得事件相機(jī)難以檢測邊緣信息，并且在具有復(fù)雜紋理的背景下表現(xiàn)不好

3.2 地址事件表示

事件相機(jī)的輸出信號(hào)是異步且稀疏的。為了解決傳感器的動(dòng)態(tài)行為，事件攝像機(jī)類型硬件中的一個(gè)常見策略是使用地址事件表示（AER）協(xié)議。

每個(gè)陣列的元素都被分配了一個(gè)地址，對(duì)應(yīng)于它在圖像中的-位置.

每個(gè)陣列單元以隨機(jī)方式生成一個(gè)信號(hào)，該信號(hào)在模塊間高速異步AER總線上傳輸

所有元素共享相同的物理總線來傳輸它們的信號(hào)，并附加上時(shí)間信息

AER的示意圖如下:

DVS事件攝像機(jī)與標(biāo)準(zhǔn)USB設(shè)備一樣，可以通過其VID和PID進(jìn)行識(shí)別，并使用下表中列出的預(yù)定義命令與標(biāo)準(zhǔn)PC上運(yùn)行的應(yīng)用程序進(jìn)行通信。

與AER事件包不同的是，通過DVS USB接口傳輸?shù)拿總€(gè)事件都增加了一個(gè)微秒級(jí)別分辨率的時(shí)間戳，并編碼在一個(gè)4字節(jié)長的數(shù)據(jù)包中，如下圖所示，帶有圖像中的位置、事件的極性和時(shí)間戳.

DVS128 相機(jī)的最大帶寬是每秒1M個(gè)事件.

3.3 事件相機(jī)模擬器

事件相機(jī)模擬器是通過線性插值和高斯噪聲的方式模擬出事件流來，在此選用的是UZH發(fā)布的ESIM模擬器。

在模擬中的轉(zhuǎn)換方法概述如下圖所示。首先，我們將從文件夾中的輸入視頻中提取各個(gè)幀。其次，運(yùn)行ESIM，提供圖像文件夾作為模擬事件的輸入。最后，將看使用dvs_render渲染器節(jié)點(diǎn)可視化模擬事件。

審核編輯 ：李倩