近日，來自浙江大學光電學院郝翔研究員團隊以"SpectralImaging with Deep Learning"為題在Light: Science & Applications發表綜述論文，對基于深度學習的光譜成像技術進行了梳理，對其各種技術路線進行了原理闡述、研究總結，并整理了當前的光譜成像數據集，概述了可能的未來趨勢與挑戰。

一、光譜圖像

我們平常在顯示屏中看到的圖像是RGB三色圖像，它擁有紅綠藍三個通道，即每個像素的顏色由紅綠藍三種顏色疊加形成。如果把三色圖像拓展，變成十色、百色、千色，那么我們對圖像色彩的控制與渲染將無比精細。擁有這么多波段的圖像便是光譜圖像：它有不只三個波段，可以是三十個、甚至上百個。

物質的光譜信息可以充分反映其內部的物理結構和化學成分，當圖像的波段足夠多時，每一處都是一條光譜曲線——反映著該處的結構組成。因此光譜圖像不僅反映成像目標的空間特征，還蘊含著其結構、成分特征。因此，除了進行精細的圖像渲染外，光譜圖像的關鍵應用在于物質成分分析，廣泛應用于遙感、醫學檢測、食品檢測等領域。

二、光譜成像

光譜成像是成像技術和光譜探測技術的結合，主要技術目標是獲取光譜圖像。傳統的光譜成像技術是掃描式的（包括點掃描、線掃描、波段掃描），通過不斷移動光譜儀獲得每個點的光譜，最終得到一個二維圖像。這種掃描式的光譜成像系統體積龐大且速度很慢，飽受詬病。

圖2掃描式光譜成像（從左到右依次為點掃描、先掃描、波段掃描）

隨著計算光學的發展，計算光譜成像成為了新的光譜成像方法。該方法通過某些編碼，使得隱藏在背后的光譜信息以某種方式進入探測器，最終利用優化算法對光譜圖像進行重建。傳統的計算光譜成像方法是迭代式的，雖然相比掃描式光譜成像，已經有效減小了系統體積，但是該類方法有著極大的計算負擔，常常需要迭代數分鐘甚至數小時，且重建準確度較為一般。

巨大的數據計算負擔，促使人們思考和尋找更有效的光譜重建算法。近年來，深度學習快速發展，深度神經網絡經過良好訓練后強大的模式識別和特征提取能力，得到了光譜成像研究人員們的青睞。深度學習方法成為了人們的探索對象，深度學習逐漸賦能光譜成像。

三、深度學習方法

計算光譜成像的過程編碼采樣系統設計和光譜圖像重建，深度學習技術可以應用在該過程中的每一個方面。如何對這些不同的技術進行有效分類，是一個關鍵問題。綜述提出根據光的屬性進行分類，即將計算光譜成像系統按照編碼方式的不同，分成了振幅編碼、相位編碼和波長編碼。

（1）振幅編碼光譜成像

圖3 編碼孔徑系統中的光譜編碼過程

振幅編碼光譜成像是通過編碼孔徑系統（CASSI）進行的，利用編碼孔徑（振幅掩模）和光柵元件對物體進行編碼，進而通過壓縮感知恢復算法進行光譜重建。基于深度學習的振幅編碼光譜成像將壓縮感知恢復的迭代算法替換為深度神經網絡，通過編解碼協同優化、迭代展開神經網絡、非訓練網絡等方法進行高效光譜重建。

（2）相位編碼光譜成像

圖4 一種相位編碼光譜成像系統

相位編碼光譜成像通過衍射光學元件（Diffraction Optical Element, DOE）進行，通過設計DOE的二維高度輪廓實現對不同位置的特定相位延遲，從而實現相位編碼。相位編碼經過菲涅爾衍射影響到不同光譜成分，然后通過對衍射過程進行建模，即可通過算法對原光譜圖像進行重建。由于相位編碼后衍射計算的復雜性，傳統的迭代算法難以對光譜圖像實現有效恢復，這一問題在深度學習出現后得到了一定的解決，目前相位編碼的光譜恢復主要通過深度神經網絡進行。相比振幅編碼，相位編碼光譜成像擁有光能損失小、系統緊湊等優點。

（3）波長編碼光譜成像

波長編碼光譜成像則是直接在光譜維度對圖像進行編碼，可以通過光學濾光片進行。RGB圖像就可以看成一種光譜編碼。目前主流的波長編碼方式有利用現有的RGB或設計光學濾光片，而編碼后的光譜重建則多借助深度學習技術。

基于RGB圖像的直接光譜重建是非常火熱的方向。隨著NTIRE 2018和NTIRE 2020光譜重建比賽的召開，許多深度學習技術團隊參與進來，大大拓展了現有的深度學習光譜恢復技術。研究人員對深度學習參與的RGB光譜重建和濾光片設計光譜重建進行了分析，將重建方式分為點重建和塊重建，以此對每種重建方式進行了介紹。

圖5 本課題組提出的編解碼協同設計光譜成像技術[1][2]圖源：Advanced Theory and Simulations

基于自定義光學濾光片的波長編碼是近年來新興的光譜成像技術。通過設計寬譜濾光片，可以獲得比RGB濾光片更大的編碼自由度。再結合有效的深度學習技術，可以實現緊湊、快速、準確的光譜恢復。

四、未來展望

研究人員根據目前的深度學習技術和光譜成像技術，對基于深度學習的光譜成像的未來發展方向提出了一些建議。其中包括數據集的大型化和規范化、大型神經網絡的使用（例如Transformer）、引入物體類別等額外信息、解決編解碼協同設計過程中的梯度消失問題、使用神經網絡架構搜索技術等。

審核編輯 ：李倩