摘要 由于事件相機(jī)具有極高的時(shí)間分辨率，其在機(jī)器人和計(jì)算機(jī)視覺(jué)方面具有很大的潛力。然而，它的異步成像機(jī)制往往會(huì)加重測(cè)量對(duì)噪聲的敏感性，給提高圖像空間分辨率帶來(lái)物理負(fù)擔(dān)。

為了恢復(fù)高質(zhì)量的強(qiáng)度圖像，算法需要同時(shí)解決事件相機(jī)的去噪和超分辨率問(wèn)題。由于事件描述了圖像亮度的變化，利用基于事件增強(qiáng)的圖像退化模型，可以從存在噪聲的、模糊和低分辨率的強(qiáng)度觀測(cè)中恢復(fù)清晰的高分辨率潛在圖像。利用稀疏學(xué)習(xí)框架，可以同時(shí)考慮事件和低分辨率強(qiáng)度圖像。

在此基礎(chǔ)上，我們提出了一種可解釋網(wǎng)絡(luò)，即基于事件增強(qiáng)的稀疏學(xué)習(xí)網(wǎng)絡(luò)（eSL-Net），用于從事件相機(jī)中恢復(fù)高質(zhì)量圖像。在使用合成數(shù)據(jù)集進(jìn)行訓(xùn)練后，所提出的eSL-Net可以極大地提高7-12 dB的性能。此外，不需要額外的訓(xùn)練過(guò)程，所提出的eSL-Net可以很容易地?cái)U(kuò)展到幀率與事件相同的連續(xù)幀生成任務(wù)中。



圖1 eSL-Net的算法流程示意圖以及模型效果

目前需要解決的問(wèn)題

利用事件相機(jī)恢復(fù)高質(zhì)量圖像應(yīng)同時(shí)解決以下問(wèn)題：

1）運(yùn)動(dòng)模糊：主動(dòng)像素傳感器（APS）幀率相對(duì)較低 (≥5 ms延遲)，其在記錄高速場(chǎng)景時(shí)，運(yùn)動(dòng)模糊是不可避免的。

2）圖像噪聲：熱效應(yīng)或不穩(wěn)定的光環(huán)境會(huì)產(chǎn)生大量的噪聲事件，再加上APS自身的噪聲，強(qiáng)度圖像的重建將陷入混合噪聲的問(wèn)題。

3）低空間分辨率：目前消費(fèi)級(jí)事件相機(jī)通常具有非常低的空間分辨率，這是為了平衡事件數(shù)據(jù)的空間分辨率和延遲。

本文的貢獻(xiàn)

1）作者結(jié)合基于事件增強(qiáng)的圖像退化模型以及稀疏學(xué)習(xí)框架，提出了一種可解釋網(wǎng)絡(luò)——基于事件增強(qiáng)的稀疏學(xué)習(xí)網(wǎng)絡(luò)eSL-Net，用于從事件相機(jī)中恢復(fù)高質(zhì)量圖像。

2）作者提出了一種簡(jiǎn)單的方法來(lái)擴(kuò)展eSL-Net，以實(shí)現(xiàn)高幀率和高質(zhì)量的視頻恢復(fù)。

3）作者為事件相機(jī)建立了一個(gè)合成數(shù)據(jù)集，其中事件數(shù)據(jù)、LR模糊圖像和HR清晰圖像。

算法原理

最后將公式運(yùn)用在整個(gè)圖像的所有像素上，就可以得到一個(gè)關(guān)于[tr,t]時(shí)間間隔內(nèi)的事件流、t時(shí)刻的觀測(cè)強(qiáng)度圖像以及tr時(shí)刻潛在清晰強(qiáng)度圖像三者之間的簡(jiǎn)單模型：

在實(shí)際應(yīng)用中，傳感器的非理想性以及相機(jī)與目標(biāo)場(chǎng)景之間的相對(duì)運(yùn)動(dòng)會(huì)極大地降低觀測(cè)到的強(qiáng)度圖像Y[f]的質(zhì)量，使其具有噪聲和運(yùn)動(dòng)模糊。此外，盡管事件相機(jī)具有極高的時(shí)間分辨率，但由于硬件設(shè)計(jì)的限制，其空間像素分辨率相對(duì)較低。考慮到這些因素，公式需要加入一些不定因素，改寫為：

圖2 eSL-Net的模型細(xì)節(jié)

受到基于深度學(xué)習(xí)的稀疏編碼方法的啟發(fā)，作者將稀疏編碼過(guò)程集成到CNN架構(gòu)中，提出了一種基于事件增強(qiáng)的稀疏學(xué)習(xí)網(wǎng)絡(luò)eSL-Net，在統(tǒng)一的框架下解決噪聲、運(yùn)動(dòng)模糊和低空間分辨率的問(wèn)題。

如圖2所示，eSL-Net的基本思想是將基于事件的強(qiáng)度圖像重建方法的更新步驟映射到由多個(gè)固定階段組成的深度網(wǎng)絡(luò)架構(gòu)，每個(gè)階段對(duì)應(yīng)于公式(9)的一次迭代，因此eSL-Net是一個(gè)可解釋的深度網(wǎng)絡(luò)。

當(dāng)公式(9)中的系數(shù)為非負(fù)時(shí)，ISTA不受影響，則很容易發(fā)現(xiàn)逐元素軟閾值函數(shù)與ReLU激活函數(shù)的相等性。然后公式中的加減運(yùn)算也可以看成是神經(jīng)網(wǎng)絡(luò)的卷積運(yùn)算。由公式(5)可知，



為事件的二重積分。在離散情況下，連續(xù)積分轉(zhuǎn)化為離散求和，更一般地，用加權(quán)求和卷積來(lái)代替積分。這樣，通過(guò)兩個(gè)具有合適參數(shù)的卷積層，可以將輸入的事件流轉(zhuǎn)換為近似的E。此外，卷積對(duì)事件流有一定的去噪效果。最后，迭代模塊輸出的最優(yōu)稀疏編碼



與高分辨率字典Dx計(jì)算得到最終的清晰圖像。在eSL-Net中，使用卷積層和shuffle層來(lái)實(shí)現(xiàn)高分辨率字典Dx，因?yàn)閟huffle算子對(duì)不同通道的像素進(jìn)行排列，可以看作是一個(gè)線性算子。

實(shí)驗(yàn)結(jié)果



作者使用NVIDIA Titan-RTX GPU在50個(gè)epoch的合成訓(xùn)練數(shù)據(jù)集上訓(xùn)練提出的eSL-Net，并將其與最先進(jìn)的基于事件的強(qiáng)度重建方法進(jìn)行比較，包括EDI，互補(bǔ)濾波器方法(CF)和manifold正則化方法(MR)。此外，為了證明其同時(shí)解決去噪、去模糊和超分辨率三個(gè)問(wèn)題的能力，將其與EDI、CF和MR進(jìn)行了比較，并配置了性能優(yōu)良的SR網(wǎng)絡(luò)RCAN。

我的思考

作者用壓縮感知領(lǐng)域的字典和稀疏編碼的思路來(lái)設(shè)計(jì)輕量化稀疏學(xué)習(xí)網(wǎng)絡(luò)同時(shí)處理圖像與事件信息是一個(gè)新穎的思路，利用對(duì)稀疏編碼ɑ進(jìn)行迭代優(yōu)化的方式巧妙地將事件信息作用在圖像信息中，完成清晰圖像的生成，解決了運(yùn)動(dòng)模糊的問(wèn)題。

不過(guò)針對(duì)去噪和超分辨率這兩個(gè)問(wèn)題，作者在模型設(shè)計(jì)時(shí)只是簡(jiǎn)單提了一下，說(shuō)利用作用在事件流和潛在清晰圖像Dx上的卷積操作就可以實(shí)現(xiàn)去噪和超分辨率了，并在實(shí)驗(yàn)部分用更高的PSNR和SSIM指標(biāo)來(lái)驗(yàn)證模型確實(shí)有超分辨率的效果，但是我認(rèn)為只是單純用基于數(shù)據(jù)驅(qū)動(dòng)的卷積運(yùn)算來(lái)解決事件相機(jī)的去噪和超分辨率問(wèn)題，還有很大的提升空間。

摘要

由于運(yùn)動(dòng)模糊和低空間分辨率，單運(yùn)動(dòng)模糊圖像（SRB）的超分辨率是一個(gè)嚴(yán)重的不適定問(wèn)題。在本文中，作者利用事件數(shù)據(jù)來(lái)減輕SRB的情況，并提出了一種基于事件增強(qiáng)的SRB (E-SRB)算法，該算法可以從一張低分辨率的模糊圖像生成一系列清晰清晰的高分辨率圖像。

為了達(dá)到這一目的，作者設(shè)計(jì)了一個(gè)基于事件增強(qiáng)的圖像退化模型，同時(shí)考慮低空間分辨率、運(yùn)動(dòng)模糊和事件噪聲。然后，作者基于雙重稀疏學(xué)習(xí)方案構(gòu)建了一個(gè)基于事件增強(qiáng)的稀疏學(xué)習(xí)網(wǎng)絡(luò)(eSL-Net++)，其中事件和強(qiáng)度圖像都用稀疏表示建模。

此外，作者還提出了一種基于事件的shuffle-and-merge方案，將單幀SRB擴(kuò)展到序列幀SRB，而無(wú)需任何額外的訓(xùn)練過(guò)程。在合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，提出的eSL-Net++在很大程度上優(yōu)于最先進(jìn)的方法。

目前需要解決的問(wèn)題

1）運(yùn)動(dòng)由模糊變清晰。事件數(shù)據(jù)嵌入的幀內(nèi)信息補(bǔ)償了模糊低分辨率圖像中被擦除的運(yùn)動(dòng)和紋理信息。

2）超分辨率。當(dāng)遇到運(yùn)動(dòng)模糊時(shí)，事件數(shù)據(jù)極高的時(shí)間分辨率保持了動(dòng)態(tài)場(chǎng)景幀內(nèi)的時(shí)間連續(xù)性。因此，類似于視頻超分辨率，即使是單個(gè)運(yùn)動(dòng)模糊圖像，也可以通過(guò)事件數(shù)據(jù)的時(shí)間相關(guān)性來(lái)提高超分辨率性能。

作者的貢獻(xiàn)

1）作者提出采用事件來(lái)提高SRB的性能，其中基于事件增強(qiáng)的圖像退化模型(EDM)考慮了事件噪聲、運(yùn)動(dòng)模糊和低空間分辨率。

2）作者提出了一種基于雙稀疏學(xué)習(xí)方案的eSL-Net++來(lái)解決E-SRB的挑戰(zhàn)，其中事件噪聲抑制、運(yùn)動(dòng)去模糊和圖像SR同時(shí)得到解決。

3）作者提出了一種嚴(yán)格的事件shuffle-and-merge方案，將eSL-Net++擴(kuò)展到從單個(gè)模糊LR圖像中恢復(fù)高幀率HR視頻序列，而無(wú)需任何額外的訓(xùn)練過(guò)程。

算法理論



圖3 eSL-Net++的模型流程

圖4 eSL-Net++的模型細(xì)節(jié)

實(shí)驗(yàn)結(jié)果

我的思考

雖然同樣都是基于數(shù)據(jù)增強(qiáng)的稀疏學(xué)習(xí)模型，相比于eSL-Net，eSL-Net++主要的優(yōu)化在于它不僅僅是將事件通過(guò)卷積直接作用在圖像上來(lái)迭代計(jì)算圖像的稀疏編碼ɑ，而是也將圖像作用在事件上來(lái)迭代計(jì)算事件的稀疏編碼β，通過(guò)這種相互作用的編碼方式實(shí)現(xiàn)兩種模態(tài)的信息相互補(bǔ)償，雖然最終的清晰圖像生成還是得依靠圖像的稀疏編碼ɑ，但是在圖像對(duì)事件的補(bǔ)償過(guò)程中同樣能夠?qū)κ录M(jìn)行有效地去噪，能夠間接性提高最終清晰圖像的生成精度。 綜上，eSL-Net和eSL-Net++最值得借鑒學(xué)習(xí)的地方就是，兩者利用稀疏編碼的思想對(duì)圖像和事件進(jìn)行處理的過(guò)程，需要進(jìn)一步查看源碼來(lái)學(xué)習(xí)。

審核編輯：劉清