大家經常會問到的一個問題是，如何實現普通圖像和事件的對齊？在產品層面，DAVIS240和346能夠同時輸出event和frame，CeleX5的不同模式也能輸出兩種數據但并不是同時，除此之外似乎并無他法。
實則不然，在論文中看到過采用分光鏡（Beam Splitter，準確翻譯應為“分束鏡”，但我認為這里稱作“分光”更合適，因此下文統稱“分光鏡”）的方案。但是這些論文只是一句“我們用分光鏡啦”，但并沒有說很多細節即背后可能遇到的問題。作者前后經過小半年時間進行了搭建，遇到了很多棘手的問題也踩了一些坑，在此分享。

分光鏡基本原理

分光鏡基本原理如下圖：一束光線射入后，可以分成兩束，這玩意在光學實驗中用得很多。分出的兩束光可以是偏振的、能量不同的，也可以是完全相同的。

但是相機使用，會有哪些問題？本人咨詢過廠商和做光學的同學，他們表示想象不出來相機拍攝會有什么問題，而搞相機鏡頭的人也不清楚這玩意怎么和鏡頭搭配。于是只能自己硬著頭皮踩坑。

參考方案

最初，我是看到了這篇論文[1]的圖片關注到的分光鏡，通過圖片上面的名牌參數，搜到了產品并研究原理。可以看出，下圖中分光鏡后方有兩個相機分別是事件相機和普通相機。也就是說，這種方案是，首先把場景光分出兩部分，然后分別由鏡頭接收。我們這里稱作“方案1”。

后來，又看到了這篇論文[2]的方案2如下圖，用了兩個分光鏡，因此可以由3個相機進行接收。但問題是，圖中還出現了一個Relay Lens，而且分光鏡和相機之間并沒有連接鏡頭（上圖中方案1可以明顯看到鏡頭的光圈、對焦環等）。

那么，這個Relay Lens是什么？于是我又問了一些搞光學的同學，同學們表示：“你到底在搞什么？”。后面找到了下面這幅圖解釋中繼鏡原理。（由于我不搞光學，解釋原理可能不準確，但認為不影響理解；如有原理性錯誤，請批評指正）。物鏡對焦后，光心到焦平面的距離是很短的，但有時我們實際的感光芯片很遠，因此需要一步“中繼”。比如，一些內窺鏡就是在經過鏡頭后再過中繼鏡傳到了末端。

因此了解原理后再看平臺搭建圖。方案2在經過中繼鏡聚焦后再經過的分光鏡，因此需要中繼鏡到所有相機感光芯片的距離一致，否則會對不上焦。也就是說，下圖中紅綠黃三個箭頭的長度必須是一樣的！

方案選擇與實際制作

那么這兩種方案應該選哪一種呢？對比之下，我選了方案1。原因有2：

中繼鏡這玩意，我找了半天沒有找到合適的廠商提供（不清楚這玩意到底什么領域用的多），怕有坑；

2. 自己沒有精密的光學器件，怕不好控制中繼鏡到后面3個相機距離相等。

但方案1還是有缺陷的，那就是鏡頭的視角FoV不能太大，因為分光鏡尺寸限制，FoV太大會無法完全被分光鏡覆蓋。例如，采用2.5立方厘米的分束立方，12mm鏡頭，拍視頻如下，可以發現存在一個嚴重的對焦問題：對焦中心區域時，分束立方側面反光但是失焦的產生彌散圓，會對區域的成像造成影響。如果是經過2次分光，FoV會更小（因此方案2采用了前端加中繼鏡，那樣的FoV是中繼鏡或其前方物鏡的FoV）。

（12mm鏡頭拍攝經過分光鏡后的圖像）

上面提到了分束立方，如左下圖，上面兩篇論文用的都是這玩意；還有一種東西叫“分光平面”，右下圖。

（圖：分光立方和分光平面）

二者都可以進行分光，但有一些區別。

分束立方，只有一個分光面（45°對角線處），因此成像質量較好，但每個側面會出現鏡像反射（上面解釋的），同時價格較高；體積一般在2-2.5立方厘米左右，限制了鏡頭的FoV不能太大（實測18mm焦距鏡頭懟到分束立方后面才基本ok）；

分光平面，在光入射和出射都會發生一次反射有可能會造成虛影（但一般一側鍍膜降低這種影響），價格低且尺寸更大（淘寶能輕易買到5平方厘米的），而且不會發生立方的側面發光問題。

買回來以后，具體的安裝固定，可以參考上面兩篇論文，采用做光學的整套設備，但這種成本太高。也可以采用[3]這篇論文的方法，直接3D打印固定，如下圖：

在安裝時，有些注意事項或提醒：

自測采用3D打印件安裝分光鏡和相機，精度也ok；

分光鏡除入射和出射方向外，其他面盡量全部遮擋不透光，避免其他光線干擾；

分光平面盡量保證45°安裝，后續相機對準；

經過一步簡單的光學校準消除細微誤差：放一個棋盤格，計算兩個相機拍攝圖像的單應性矩陣，然后對齊；

分光立方、分光平面都有偏振/非偏振等多種型號，選擇非偏振；

淘寶上最便宜的分光平面精度就夠（小幾百），不需要買很貴的。

審核編輯 ：李倩