研究人員利用深度學習技術(shù)提高了直接集成在 CMOS 成像芯片上的超透鏡相機(左)的圖像質(zhì)量。超透鏡利用 1000 納米高的圓柱形氮化硅納米柱陣列(右圖)操縱光線。

研究人員利用深度學習技術(shù)提高了超透鏡相機的圖像質(zhì)量。這種新方法利用人工智能將低質(zhì)量圖像轉(zhuǎn)化為高質(zhì)量圖像，從而使這些相機可以用于多種成像任務，包括復雜的顯微鏡應用和移動設(shè)備。

超透鏡是一種超薄光學器件，通常只有幾毫米厚--利用納米結(jié)構(gòu)來操縱光線。雖然它們的小尺寸有可能使相機變得非常緊湊和輕便，而無需傳統(tǒng)的光學鏡片，但使用這些光學元件一直很難達到必要的圖像質(zhì)量。

來自中國東南大學的研究團隊負責人Ji Chen說：“我們的技術(shù)使我們基于超透鏡的設(shè)備能夠克服圖像質(zhì)量的限制。這一進步將在未來高便攜性消費成像電子產(chǎn)品的發(fā)展中發(fā)揮重要作用，也可用于顯微鏡等專業(yè)成像應用。”

在《光學快報》(Optics Letters)雜志上，研究人員介紹了他們?nèi)绾问褂靡环N被稱為多尺度卷積神經(jīng)網(wǎng)絡(luò)的機器學習，來改善小型相機(約 3 厘米×3 厘米×0.5 厘米)圖像的分辨率、對比度和失真度。

Chen說："超透鏡集成相機可以直接集成到智能手機的成像模塊中，取代傳統(tǒng)的折射體透鏡。"它們還可用于無人機等設(shè)備，體積小、重量輕的攝像頭既能保證成像質(zhì)量，又不會影響無人機的機動性。"

提高圖像質(zhì)量

新工作中使用的相機是研究人員之前開發(fā)的，它使用了一種帶有1000納米高的圓柱形氮化硅納米柱的超透鏡(metalens)。超透鏡可將光線直接聚焦到 CMOS 成像傳感器上，而無需其他光學元件。

雖然這種設(shè)計創(chuàng)造出了一個非常小的攝像頭，但緊湊的結(jié)構(gòu)卻限制了圖像質(zhì)量。因此，研究人員決定看看能否利用機器學習來改善圖像。

深度學習是機器學習的一種，它使用多層人工神經(jīng)網(wǎng)絡(luò)自動學習數(shù)據(jù)特征，并做出復雜的決策或預測。研究人員采用這種方法，使用卷積成像模型生成大量高質(zhì)量和低質(zhì)量的圖像對。這些圖像對被用來訓練多尺度卷積神經(jīng)網(wǎng)絡(luò)，使其能夠識別每種類型圖像的特征，并利用這些特征將低質(zhì)量圖像轉(zhuǎn)化為高質(zhì)量圖像。

Chen說：“這項工作的一個關(guān)鍵部分是開發(fā)一種方法，生成神經(jīng)網(wǎng)絡(luò)學習過程所需的大量訓練數(shù)據(jù)。一旦訓練完成，低質(zhì)量圖像就可以從設(shè)備發(fā)送到神經(jīng)網(wǎng)絡(luò)進行處理，并立即獲得高質(zhì)量的成像結(jié)果。”

圖片顯示了四幅測試圖像的地面實況、低質(zhì)量圖像和神經(jīng)網(wǎng)絡(luò)輸出結(jié)果的對比。第一行代表模擬結(jié)果，第二行代表實驗結(jié)果。藍色、紅色和黃色方框表示圖像中的細節(jié)特寫。

應用神經(jīng)網(wǎng)絡(luò)

為了驗證新的深度學習技術(shù)，研究人員將其用于 100 張測試圖像。他們分析了兩個常用的圖像處理指標：峰值信噪比和結(jié)構(gòu)相似性指數(shù)。

他們發(fā)現(xiàn)，經(jīng)過神經(jīng)網(wǎng)絡(luò)處理的圖像在這兩個指標上都有顯著改善。他們還表明，這種方法可以快速生成高質(zhì)量的成像數(shù)據(jù)，這些數(shù)據(jù)與通過實驗直接捕捉到的數(shù)據(jù)非常相似。

研究人員目前正在設(shè)計具有復雜功能的超透鏡，如彩色或廣角成像，并開發(fā)神經(jīng)網(wǎng)絡(luò)方法來提高這些先進超透鏡的成像質(zhì)量。要使這項技術(shù)實用于商業(yè)應用，需要采用新的組裝技術(shù)，將超透鏡集成到智能手機成像模塊中，還需要專門為手機設(shè)計的圖像質(zhì)量增強軟件。

Chen說：“超輕超薄的超透鏡是未來成像和檢測的革命性技術(shù)。利用深度學習技術(shù)優(yōu)化超透鏡性能標志著一個關(guān)鍵的發(fā)展軌跡。我們預見機器學習是推動光子學研究的重要趨勢。”

審核編輯 黃宇