這是一張著名的PS照片，2008年伊朗政府在媒體上公布了他們成功發(fā)射導彈的照片，但是緊接著就有人出來打臉，證明了這張圖是偽造的，可以看到底部的煙霧連形狀都一毛一樣。隨著技術的發(fā)展，近幾年人工智能也參與到“PS大戰(zhàn)”中，譬如此前風靡reddit的deepfakes，以及將奧巴馬換到某視頻上做出一條假新聞等等。

自從AI可以輕松“換臉”，全球許多專家表示很擔心，因為這種以假亂真的偽裝術在社交媒體的推動下往往會產生難以控制的后果。著名的圖形圖像生產商Adobe公司也利用AI技術創(chuàng)造了許多相關技術，比如“一鍵換景”的工具。不過該公司同樣也在開發(fā)“反偽裝”工具，即利用機器學習自動發(fā)現經過編輯的照片。

上周，Adobe公司在CVPR 2018上展示了機器是如何在更短時間內自動識別出照片的修改痕跡的。這篇論文并不能看作計算機視覺領域的一大突破，并且還未投入商用，但是看到Adobe這個“PS專業(yè)戶”發(fā)明“反PS工具”還是很有趣的。

在接受采訪時，Adobe公司的發(fā)言人表示這個項目還處于早期，但是在未來，公司將著力于“開發(fā)能幫助檢測和驗證數字媒體真實性的工具”。這一技術具體是什么還不知道，因為Adobe從未發(fā)布過用于發(fā)現假照片的工具。但是該公司曾利用數字取證幫助找到失蹤兒童的行為，也表明他們對自己技術的負責態(tài)度。

這次的新論文展示了如何用機器學習發(fā)現圖像的三種改變：拼接（即將不同圖像的兩部分合在一張圖上）、復制（一張圖像中出現了兩處相同的地方）、刪除（某一對象從圖中被移除了）。

為了發(fā)現這些特點，科學家們通常會在圖像的隱藏層中尋找線索。當圖像經過這些編輯時，它們會留下數字化痕跡，例如圖像傳感器產生的顏色和亮度的不一致性（也被稱為圖像噪聲）。當你將兩張不同的照片拼在一起，或者從另一張圖中復制粘貼其中一部分，背景噪聲是不匹配的，就像用有些許色差的油漆掩蓋墻壁上的污漬。

和其他許多機器學習系統(tǒng)一樣，Adobe的新成果也是在大量數據上訓練的結果。從這之中，它學會了辨認圖像經過處理后的一般特征。

下面讓我們來看看論文具體講了什么：

隨著各種圖像編輯技術和軟件的層出不窮，幾乎人人都能掌握一些P圖技巧，如下所示就是三種常見的PS手段：

從上至下依次是拼接（山上多出了一棵樹）、復制（原圖中左邊的藍色椅子被換成了和右邊一樣的椅子）、刪除（小魚被抹掉了）

所以想要區(qū)分真實照片和經過處理的照片就非常困難。而在本次CVPR 2018上，Adobe的研究者帶來了一種多任務框架，既能對圖片的人工處理進行辨認和分類，同時還能進行邊框回歸（bounding box regression）。這一項目的網絡架構如圖所示：

這是有兩條通道的Faster R-CNN網絡，上面一層是輸入RGB圖像的通道，下面是輸入SRM圖像的噪音通道。研究人員通過雙線性池化，將兩種通道結合在一起。

其中RGB通道是單一的Faster R-CNN網絡，它既可以用來執(zhí)行邊框回歸，也可以進行圖像偽造辨認。我們用ResNet 101網絡去學習輸入的RGB圖像特征，最后卷積層輸出的特征就用來辨別圖像經過何種處理。

但是只有RGB通道還不足以處理所有的P圖手段，尤其是經過后期精心處理的，掩蓋住了拼接邊緣的圖像，這對RGB通道來說是個挑戰(zhàn)。于是我們將圖片中的局部噪聲分布當做額外的考慮因素。與RGB通道不同，噪聲通道關注更多的是圖中的噪聲而不是語義內容。如下圖所示：

上圖中，將紅色邊框放大后可以看到在邊界處有明顯的不自然線條。另外，第三列圖片還顯示了拼接圖片和原始圖片之間噪聲的不一致性。

兩個通道處理完畢后，網絡會將二者在圖像檢測上的結果結合起來。在眾多融合方案中，他們選擇了雙線性池化，這一方法最初是用于對分類進行微調的。

最終結果

以上是網絡進行P圖檢測的幾個例子，第一行的例子來自COVER數據集，在單獨的RGB和噪聲檢測結果中，系統(tǒng)的檢測結果都不準確，但是在本次提出的模型上（RGB-N），系統(tǒng)成功地標出右邊的皮包是“偽造”的。

另外，網絡還能識別出P圖所用的技術，上圖就是拼接、復制和刪除的三個不同示例。

結語

通過論文，研究人員將兩種通道結合，毫無疑問地提高了對圖像修改痕跡的辨認程度。在數據集上的測試也證明了這種方法不僅能看出“人工痕跡”，還能對此進行分類。圖像識別專家Hany Farid在接受The Verge采訪時表示：“這些機器學習新工具的好處在于，它們能發(fā)現不明顯甚至從未被發(fā)現的人工痕跡。但是缺陷在于，它們只在被輸入到網絡中的訓練數據上表現良好，而且至少目前為止，它們不太能學習更高級的偽造痕跡，例如發(fā)現陰影或倒影的不規(guī)則之處。”

除了這些不足之處，我們仍然很高興看到這些能幫我們發(fā)現虛假信息的技術的出現。雖然人工智能可能會帶來危害，但它也能幫助我們。