在發(fā)布于《PLOS One》期刊的論文中,由 Pierre Baldi 教授和 Andrew Browne 博士領(lǐng)導(dǎo)的加州大學(xué)歐文分校研究小組描述了他們?nèi)绾卫?a target="_blank">紅外相機(jī)重建人臉照片的彩色圖像。
研究使用人類無法察覺的近紅外照明采集光線,推動了紅外相機(jī)圖像預(yù)測和重建技術(shù)的發(fā)展。
該研究的作者解釋說,人類能夠看到的“可見光譜”是波長在 400 至 700 納米之間的光。
普通的夜視系統(tǒng)依靠相機(jī)來采集光譜外人們看不見的紅外光。
研究人員表示,相機(jī)所采集的圖像會被轉(zhuǎn)換到顯示器上,顯示器單色顯示紅外相機(jī)所拍攝的內(nèi)容。
加州大學(xué)歐文分校的團(tuán)隊(duì)開發(fā)了成像算法,該算法依靠深度學(xué)習(xí)來預(yù)測人類在紅外相機(jī)捕獲的光線中將看到什么。
換言之,他們能夠使用相機(jī)在人類完全看不見的環(huán)境中進(jìn)行拍攝,并數(shù)字化渲染拍攝的圖像。
為此,研究人員使用了對可見光和近紅外光敏感的單色相機(jī)來獲取面部打印圖像的圖像數(shù)據(jù)集。
這些圖像是在覆蓋標(biāo)準(zhǔn)可見紅光、綠光、藍(lán)光以及紅外波長的多光譜照明下采集的。
研究人員優(yōu)化了具有類 U-Net 架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò),根據(jù)近紅外圖像來預(yù)測可見光譜圖像。該神經(jīng)網(wǎng)絡(luò)是弗萊堡大學(xué)大學(xué)計(jì)算機(jī)科學(xué)系最初為生物醫(yī)學(xué)圖像分割所開發(fā)的專用卷積神經(jīng)網(wǎng)絡(luò)。
該系統(tǒng)使用 NVIDIA GPU 和 140 張人臉圖像進(jìn)行訓(xùn)練,其中 40 張用于驗(yàn)證,20 張用于測試。
最終,該團(tuán)隊(duì)成功重現(xiàn)了紅外相機(jī)在黑暗房間中拍攝的彩色人像。換言之,他們創(chuàng)造了能夠在全彩夜視系統(tǒng)。
可以肯定的是,這些系統(tǒng)目前還無法實(shí)現(xiàn)通用。它們需要經(jīng)過訓(xùn)練后才能預(yù)測不同種類物體的顏色,比如花或人臉。
盡管如此,該研究未來可能會完全實(shí)現(xiàn)全彩夜視系統(tǒng),就像我們在白天所能看到的一樣。有朝一日,或許它使科學(xué)家也能夠研究對可見光敏感的生物樣本。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4978瀏覽量
102994 -
gpu
+關(guān)注
關(guān)注
28文章
4729瀏覽量
128892 -
紅外相機(jī)
+關(guān)注
關(guān)注
0文章
33瀏覽量
8397 -
彩色圖像
+關(guān)注
關(guān)注
0文章
15瀏覽量
7449
發(fā)布評論請先 登錄
相關(guān)推薦
評論