導讀：今天我們要聊的，是一件讓人第一反應很驚訝：“竟然還有這種操作？”，但細細想來，又極為驚恐的事情。這件事，就是美國軍方最近搞出來的一個大新聞。據《The Register》專欄記者凱蒂安娜·庫奇 4 月 17 日的一篇文章，美國陸軍研究實驗室正在研究一項技術，通過 AI 的深度學習技術加持，可以實現在黑暗中準確識別人臉。

想在夜里獲得視野并不是什么難事，如今 紅外技術的發展已經非常成熟。拍攝野生動物、24 小時監控等等都會用到這類技術。再加上熱成像，在夜里能夠判斷前面站著的是個人而不是一塊石頭，已經不是什么問題。

但要在沒有打光的情況下實現人臉識別的精度，這確實有點驚為天人。那么，美國軍方究竟是準備怎么做的？

AI+ 熱成像：不僅看到你，還能看清你

首先我們需要知道的是，熱成像是通過非接觸探測紅外能量，將其轉換為電信號，進而在顯示器上生成圖像和溫度值的一種技術。熱成像裝置在軍事用途中非常常見。比如 Apache 直升機等飛機和裝甲運兵車等地面交通工具，都是配備了熱成像相機。這能夠保證其在低能見度的情況下也能探測到人員，比如大霧、夜晚。

這里存在著一個問題，熱成像裝置雖然相當于給在夜里活動的士兵們裝了一雙眼睛，但這雙眼睛其實是雙“近視眼”。它能夠顯現出對面出現的障礙物的基本輪廓，讓士兵們能夠判斷眼前是人還是石頭。但是，也就僅限于此。眼前的人是敵還是友，目前還是沒轍。

基于此，美國陸軍研究實驗室開發出了一套基于深度學習的 AI 識別系統。通過卷積神經網絡的處理，熱圖像中人的眼睛、鼻子、嘴唇等的邊界被標記出來，從而可以確定出人臉的整體形狀。接下來，非線性回歸模型將這些特征映射到相應的面孔樣貌中。這種被稱為“多區域合成”的系統通過損失函數進行訓練，熱圖像和可見圖像之間的誤差會被最小化，從而可以構建出一個相對準確的人臉圖像。

技術深入解讀

陸軍研究實驗室（Army Research Laboratory，ARL）的科學家 Benjamin S. Riggan，Nathaniel J. Short 和 Shuowen Hu 在最近發表的論文《Thermal to Visible Synthesis of Face Images using Multiple Regions》中詳細地介紹了軍方是如何開發在熱成像圖像中應用人臉識別技術的方法。

技術解讀部分由 AI 前線基于論文原文進行編譯。

從熱圖像中合成可見光圖像是異質人臉識別中十分有前景的一項方法，可以利用已有的在可見光人臉數據庫上訓練的面部識別軟件，并且更有效地進行跨光譜匹配。論文提出了一個利用全局（面部整體）和局部區域（五官）來增強判別性的可見光人臉圖像合成方法。

圖 1（a）熱紅外圖像與可見光圖像的跨模態匹配任務一直是異質人臉識別的一項重要挑戰。而（b）（從熱紅外圖像中）合成的可見光圖像與可見光圖像則可能夠進行更有效的跨光譜匹配和判斷。

跨光譜識別主要有兩類方法：（1）直接跨光譜識別，（2）跨光譜合成識別。在這篇論文中，作者提出了一個跨光譜合成方法，增強了面部細節，通過聯合優化不同面部區域的目標函數，使不同區域間的表示可以互補。這一多區域目標函數利用了全局和局部信息來合成能夠保持整體面部結構和局部人臉細節的可見光圖像，從而提高跨光譜識別率。

使用多區域進行跨光譜識別

圖 2 算法框架圖

對于給定熱圖像，首先使用全卷積神經網絡 g(x) 在全局區域（紅色）和局部基準區域（藍色，黃色和綠色）提取特征。然后使用特定區域的跨光譜映射從提取的熱圖像特征中估測對應的可見光圖像表示。最后，通過反向傳播每個區域提取特征和估測特征之間的誤差，對全局和局部區域進行梯度更新，然后合成可見光圖像。

論文主要考慮的是由于預訓練的興趣區域（ROI）導致的多重損失和正則化函數的影響。盡管 ROI 是任意的，論文考慮了對應局部判別特征（眼睛、鼻子和嘴巴）以及一個整體的區域的特征。

對于每個興趣區域，我們最小化以下目標函數：

其中

L 代表損失函數，R 是 alpha 范數和整體的變量懲罰項，g 代表了從輸入圖像到表示特征的映射，hi 代表對應區域 i 的跨光譜映射函數。在實現中，g 為全卷積神經網絡，所以輸入圖像的尺寸不需要定義，hi 由 1x1 的卷積層組成。

合成的圖像通過求解如下優化問題得到：

其中:

權重 w 平衡了全局結構和局部細節，wi 對應第 i 個區域。

實驗結果

合成方法對比

合成圖像與真實圖像（頂部）的對比：熱圖像 - 可見光合成效果（中間），極化圖像 - 可見光合成效果（底部）。

關鍵點檢測對比：真實圖像（頂部），熱圖像 - 可見光合成效果（中間），極化圖像 - 可見光合成效果（底部）。

識別效果對比如下表：

可以看到，目前基于熱成像技術多區域合成的模型精度和常規成像精度都超過了 80%。

想要深入了解相關技術細節，可查看論文原文：

https://arxiv.org/pdf/1803.07599.pdf

人臉識別數據庫才是關鍵！

但如何認識這張臉？畢竟僅僅得出一個人臉的圖像是沒有多大用處的，這項技術的最主要目的是判斷對面的人是誰。這就需要有一個數據庫用來對即時生成的人臉進行比對。

論文作者 Riggan 也強調說：

當使用熱成像照相機拍攝面部圖像時，主要的挑戰在于捕獲的熱圖像必須與目標人物的常規可見圖像的監視圖像庫相匹配。

為了有效，需要將構建出來的圖像與數據庫中的已知面部進行匹配，如監獄罪犯、***等，才能識別出目標。也就是說，使用這套系統拍攝出的面部圖像，必須要與數據庫中的圖像進行匹配。如果能早點應用，類似波士頓恐襲事件中對犯罪分子的抓捕，也許就不會那么大費周折。這樣說來，目前來說這套系統的最大優勢可以是抓在逃犯。

聽起來這項技術的可應用前景還是很廣闊的。但還沒等美國軍方高興起來，有人就過來潑冷水了。

三月份在內華達州舉行的 IEE 動機計算機視覺應用會議上，有研究者就認為，雖然熱成像技術多區域合成模型精度和常規成像精度都超過了 80%，看起來結果有一定的希望，但是由于熱成像精度的變化，該技術的人臉合成精度也會發生變化。因此，將這些算法和當前的熱成像技術的完美結合仍然是有不同程度的困難。

有意思的是，國內的一些媒體在進行相關報道的時候，夸大其詞地轉譯了其具有“穿墻透視”的功能。我們需要知道的是，目前熱成像儀還無法突破墻體去探測人體發出的輻射，因此“穿墻”一說，噱頭的成分更大一點。

對于剛剛取得初步進展的這項技術而言，這樣的批評之言應該算是一種鞭策或者方向。但是現在問題又出來了。即便這項技術成熟了，但是數據庫里沒有那么多人臉來匹配，一切不都白瞎了？

目前來看，該算法在于現有數據庫進行結合的情況下，可以暫時解決一部分的問題。但是如果想要實現更精準而廣泛的應用，仍然有賴于人臉識別數據庫的擴建。比如一個名為 Terrogence 的商業機構就聲稱自己擁有一個包含數以千計的***面孔數據庫。而這個數據庫的客戶，就包括國安局、美國海軍情報機構和政府機構。

可以想見，未來這項技術在追捕在逃犯、打擊***、夜間作戰方面還是有很大的用武之地的。

No entry：停在邊界線上

上面我們說到了驚訝，接下來，我們就要說驚恐了。

核武器的最大作用在于震懾，但當其巨大的摧毀力被用來殺人的時候，愛因斯坦都為此而感到后悔。這也就說明，任何一項技術，包括我們今天所介紹的 AI+ 熱成像極大的降低了人臉識別的適用門檻，無論其初衷如何，如果會存在對公眾產生傷害的可能（尤其當這項技術被軍方掌握時），那就必須要有人來監管。

試想一下，你和朋友在夜里漫步街頭，享受著一天的疲倦之后的片刻輕松，而路口的紅外攝像頭則正在默不作聲地將你們兩個的頭像進行掃描分析，同時比對著不知何時被搜集的數據庫中的你的頭像，然后作出判斷：安全人員。

雖然它不會影響你的正常的生活，但會給人一種深深的擔憂：我們的生活時時刻刻處在無數雙眼睛的監控之下。也許我們并未感受到受到了某種傷害。但是這很可能意味著在這個城市里，我們已經失去了未被授權的隱私。在這個個人隱私可以作為商品交換巨額利潤的時代，每個人都并不希望自己渾然不覺地成為商品。也正是因為如此，對 Facebook 泄露用戶的數據，人們才會感到如此的憤怒。

所以，不管美國軍方的這項技術的初衷如何，我們都希望其目的只是用來對付社會的陰暗分子，民眾也必然希望對這項技術有嚴格的監管。同時，對政府和軍方的使用要進行限制，并確保技術不會外流，以免被別有用心的人利用。畢竟，每個人都應對自己的隱私享有自主的權力，而不能成為暴露在鏡頭下的楚門。