遠見 閔青云 文

近日，清華大學黃翊東、崔開宇團隊以“Deep-learning-based on-chip rapid spectral imaging with high spatial resolution”為題在Chip期刊上發表研究論文，提出將深度展開神經網絡ADMM-net與基于自由形狀的超構表面光譜成像芯片相結合，實現了高空間分辨率的片上快速光譜成像，并消除了光譜圖像的馬賽克現象。本文第一作者為楊家偉，通訊作者為崔開宇和黃翊東。Chip是全球唯一聚焦芯片類研究的綜合性國際期刊，是入選了國家高起點新刊計劃的“三類高質量論文”期刊之一。

光譜成像擴展了傳統彩色（RGB）相機的概念，可以在多個光譜通道捕獲圖像，在遙感、精準農業、生物醫學、環境監測和天文學等領域得到了廣泛應用。傳統的基于掃描方式的光譜相機存在采集速度慢、體積大、成本高等問題。基于超構表面（Metasurface）寬帶調制和計算光譜重建的片上光譜成像為實現消費級的便攜式光譜相機提供了一種很有前景的方案。圖1展示了超構表面光譜成像芯片的基本結構，由硅基超構表面層和帶有微透鏡的CMOS圖像傳感器組成，超構表面層包含了360 × 440個超構表面單元，每個超構表面單元對應于成像空間中的一點，入射光經過每個超構表面單元的頻譜調制后被下方的傳感器像素所探測。任一點處的光譜可以由該點附近的若干個光強探測值重建得到，重建過程對應于求解一個欠定線性方程組。現有的光譜圖像重建算法需要通過逐點光譜重建來得到整個數據立方，存在計算耗時長和重建圖像存在馬賽克現象的問題。

圖1 超構表面光譜成像芯片的結構示意圖

由于不同的超構表面單元具有不同的光譜調制特性，整個超構表面光譜成像芯片在不同波長下具有不同的空間調制特性，因此本文受啟發于編碼孔徑快照式光譜成像算法，采用深度展開神經網絡ADMM-net進行光譜圖像的快速重建，其基本架構如圖2所示。網絡包含K=12個階段，每個階段都包含線性變換W(·)和降噪卷積神經網絡（通常采用U-net結構）兩部分。網絡的輸入是包含所有超構表面單元光譜調制特性的傳感矩陣Φ和測量圖像y，輸出為重建的光譜圖像數據立方。

圖2 深度展開神經網絡ADMM-net的基本架構

圖3展示了利用超構表面光譜成像芯片對標準色卡進行實際成像測量后，采用不同算法重建數據立方的結果。從RGB偽彩色圖中可以看出，ADMM-net的圖像細節重建效果顯著優于采用傳統的CVX算法進行逐點光譜重建的結果，有效消除了圖像的馬賽克現象。并且，相比于傳統迭代算法GAP-TV和端到端神經網絡λ-net的重建結果，ADMM-net的光譜重建準確性也更優。此外，采用ADMM-net進行單次重建僅需18毫秒，而逐點光譜重建則需要4854秒，本工作在重建速度上實現了約5個數量級的提升。

圖3 對標準色卡進行實際成像測量后，利用不同算法進行光譜圖像重建的結果

進一步，本工作利用ADMM-net實現了對戶外駕駛場景的實時光譜成像，如圖4所示，光譜成像速率達到約36幀/秒。從RGB偽彩色圖中可見，車輛的色彩重建準確性較好；并且，從第20、100幀圖像中的采樣點A和B的重建光譜來看，天空和白色車輛的光譜具有明顯的差異，有望解決自動駕駛場景中的同色異譜識別問題，避免相撞事故的發生。此外，具有視頻幀率的高空間分辨快速光譜成像，也展示出實時光譜成像芯片在機器視覺領域的巨大應用潛力。

圖4 戶外駕駛場景的實時光譜成像結果

編輯：黃飛