用來刷臉解鎖的 Face ID 也可以被「對抗樣本」攻擊了。最近，來自莫斯科國立大學、華為莫斯科研究中心的研究者們找到的新型攻擊方法，讓已經廣泛用于手機、門禁和支付上的人臉識別系統突然變得不再靠譜。

在這一新研究中，科學家們只需用普通打印機打出一張帶有圖案的紙條貼在腦門上，就能讓目前業內性能領先的公開 Face ID 系統識別出錯，這是首次有 AI 算法可以在現實世界中實現攻擊：

AI 人臉識別系統在正常情況下的分類效果，它識別出了特定的人：Person_1。

貼上紙條以后，即使沒有遮住臉，系統也會把 Person_1 識別成另外一些人「0000663」和「0000268」等。

變換角度、改變光照條件都不會改變錯誤的識別效果。加了貼紙后，我們可以看到 Person_1 的概率非常低。

使用對抗樣本攻擊圖像識別系統，在人工智能領域里已經不算什么新鮮事了，但是想要在現實世界里做到無差別攻擊，還是人臉識別這種數千萬人都在使用的應用技術，這就顯得有些可怕了。使用這種新方法，人們可以輕松地打印一個破解紙條貼在腦門上，隨后讓 AI 識別的準確率顯著下降。

從上面的動圖可以看出，研究者實現的是非定向的攻擊，且對抗信息都集成在貼紙上。那么如果我們要找到一種定向的攻擊方式，讓系統將我們識別為特定的某個人，然后解鎖 ta 的手機，這也并不遙遠，只要我們將以前定向攻擊的方式遷移到貼紙上就行了。

「對抗樣本」是人工智能的軟肋，這是一種可以欺騙神經網絡，讓圖像識別 AI 系統出錯的技術，是近期計算機視覺，以及機器學習領域的熱門研究方向。

在這篇論文中，研究者們提出了一種全新且易于復現的技術 AdvHat，可以在多種不同的拍攝條件下攻擊目前最強的公共 Face ID 系統。想要實現這種攻擊并不需要復雜的設備——只需在彩色打印機上打印特定的對抗樣本，并將其貼到你的帽子上，而對抗樣本的制作采用了全新的算法，可在非平面的條件下保持有效。

研究人員稱，這種方法已經成功地破解了目前最先進的 Face ID 模型 LResNet100E-IR、ArcFace@ms1m-refine-v2，其攻擊方式也可以遷移到其他 Face ID 模型上。

現實 Face ID 也能被攻擊

以前對抗攻擊主要體現在虛擬世界中，我們可以用電子版的對抗樣本欺騙各種識別系統，例如通用的圖像識別或更細致的人臉識別等。但這些攻擊有一些問題，例如人臉識別攻擊只能是在線的識別 API，將對抗樣本打印出來也不能欺騙真實系統。

一個標準的線上人臉對抗樣本，它只能攻擊線上人臉識別模型或 API，無法用于線下的真實人臉識別場景。

對抗樣本的這種局限性，很大程度在于真實識別系統不止有人臉識別模塊，還有活體檢測等其它處理模塊。只要活體檢測判斷對抗樣本不是真人，那么它自然就失去了效果。因此，很多研究者在思考，我們能不能將對抗信息打印出來，貼在臉上或頭上某個位置，那么這不就能攻擊真實的人臉識別了么。甚至，我們可以把對抗信息嵌入到帽子或其它飾品內，這樣不會更方便么。

沿著這樣的思路，華為莫斯科研究中心的兩位研究者就創造了這樣的對抗樣本。他們表示在以前 Face ID 模型還需要大量的私有數據，而隨著大規模公開數據的發布，ArcFace 等研究模型也能與微軟或谷歌的模型相媲美。如果他們的對抗樣本能攻擊到 ArcFace，那么差不多就能攻擊業務模型。

研究者表示他們提出的 AdvHat 有如下特點：

AdvHat 是一種現實世界的對抗樣本，只要在帽子加上這種「貼紙」，那么就能攻擊頂尖的公開 Face ID 系統；

這種攻擊是非常容易實現的，只要有彩印就行；

該攻擊在各種識別環境下都能起作用，包括光照、角度和遠近等；

這種攻擊可以遷移到其它 Face ID 系統上。

Face ID 該怎樣攻擊

在 Face ID 系統的真實應用場景中，并非捕獲到的每張人臉都是已知的，因此 top-1 類的預測相似度必須超過一些預定義的閾值，才能識別出人臉。

這篇論文的目的是創造一個可以粘貼在帽子上的矩形圖像，以誘導 Face ID 系統將人臉與 ground truth 相似度降到決策閾值之下。

這種攻擊大概包含以下流程：

將平面貼紙進行轉換以凸顯三維信息，轉換結果模擬矩形圖像放在帽子上后的形狀。

為了提高攻擊的魯棒性，研究者將得到的圖像投影到高質量人臉圖像上，投影參數中含有輕微的擾動。

將得到的圖像轉換為 ArcFace 輸入的標準模板。

降低初始矩形圖像的 TV 損失以及余弦相似度損失之和，其中相似性是原圖嵌入向量與 ArcFace 算出嵌入向量之間的距離。

流程圖如下圖 2 所示：

圖 2：攻擊流程示意圖。

首先，研究者將貼紙重塑成真實大小和外觀的圖像，之后將其添加到人臉圖像上，然后再使用略為不同的轉換參數將圖像轉換為 ArcFace 輸入模板，最后將模板輸入到 ArcFace 中。由此評估余弦相似度和 TV 損失，這樣就可以得到用于改進貼紙圖像的梯度信號。

圖 3：步驟 1 轉換貼紙的示意圖。

貼紙攻擊試驗細節

如前所言，在將圖像輸入到 ArcFace 之前，研究者對其進行了隨機修改。他們構造了一批生成圖像，并通過整個流程計算在初始貼紙上的平均梯度?？梢杂靡环N簡單的方法計算梯度，因為每個變換都是可微分的。

注意，在每一次迭代中，批中的每一個圖像上的貼紙都是相同的，只有轉換參數是不同的。此外，研究者使用了帶有動量的 Iterative FGSM 以及在實驗中非常有效的幾個啟發式方法。

研究者將攻擊分為兩個階段。在第一階段，研究者使用了 5255 的步長值和 0.9 的動量；在第二階段，研究者使用了 1255 的步長值和 0.995 的動量。TV 損失的權重一直為 1e ? 4。

研究者利用一張帶有貼紙的固定圖像進行驗證，其中他們將所有參數都設置為看起來最真實的值。

他們使用了最小二乘法法，并通過線性函數來插入最后 100 個驗證值：經歷了第一階段的 100 次迭代和第二階段的 200 次迭代。如果線性函數的角系數不小于 0，則：1）從第一階段過渡到第二階段的攻擊；2）在第二階段停止攻擊。

「對抗樣本貼」效果怎么樣

研究者在實驗中使用一張 400×900 像素的圖像作為貼紙圖像，接著將這張貼紙圖像投射到 600×600 像素的人臉圖像上，然后再將其轉換成 112×112 像素的圖像。

為了找出最適合貼紙的位置，研究者針對貼紙定位進行了兩次實驗。首先，他們利用粘貼在 eyez 線上方不同高度的貼紙來攻擊數字域中的圖像。然后，他們根據空間 transformer 層參數的梯度值，在每次迭代后變更貼紙的位置。

下圖 4 展示了典型對抗貼紙的一些示例。看起來就像是模特在貼紙上畫了挑起的眉毛。

圖 4：對抗貼紙示例。

為了檢測 AdvHat 方法在不同拍攝條件下的魯棒性，研究者為最開始 10 個人中的 4 人另拍了 11 張照片。拍攝條件示例如下圖 6 所示：

圖 6：研究者為一些人另拍了 11 張照片，以檢測不同拍攝條件下的攻擊效果。

檢測結果如下圖 7 所示：雖然最終相似度增加了，但攻擊依然有效。

圖 7：各種拍攝條件下的基線和最終相似度。圖中不同顏色的圓點代表不同的人。圓表示對抗攻擊下的相似性，而 x 表示基線條件下的相似性。

最后，研究人員檢驗了該方法對于其他 Face ID 模型的攻擊效果。他們選取了 InsightFace Model Zoo 中的一些人臉識別方法。在每個模型上均測試了 10 個不同的人。

圖 8：不同模型中，基線和最終相似度的差異。

雖然 AdvHat 生成的對抗樣本很簡單，但這種攻擊方式看起來已適用于大多數基于攝像頭的人臉識別系統。看來想要不被人「冒名頂替」，我們還是需要回到虹膜識別？