向大家分享一篇新出的CVPR 2023論文，研究方向是人臉識別系統的對抗攻擊。看了這篇文章你可能會立刻關閉你手機里和人臉識別相關的敏感應用，比如支付。

▌Towards Effective Adversarial Textured 3D Meshes on Physical Face Recognition

論文作者：Xiao Yang,Chang Liu,Longlong Xu,Yikai Wang,Yinpeng Dong,Ning Chen,Hang Su,Jun Zhu

作者單位：清華大學;北京大學; RealAI; Zhongguancun Laboratory

論文鏈接：http://arxiv.org/abs/2303.15818v1

人臉識別，安全嗎？

目前人臉識別技術的應用越來越廣了，門禁、監控、手機解鎖、移動支付讓我們享受到了人臉識別技術帶給我們的便利性。

即使是最名不見經傳的人臉識別解決方案提供商，也聲稱人臉識別準確率99%以上，但它真的足夠安全嗎？

對人臉識別系統的攻擊，可以分為兩大方面：

逃避識別：張三不想在視頻中被識別出來；

引導系統誤識別：張三故意讓系統把自己識別為李四。

一種直觀的想法是，我就打印一張人臉圖片貼在臉上，嗯，做黑產的人就是這么想的，這就是人臉識別系統的物理攻擊。

不過現有的人臉識別系統均配有人臉活體檢測等反欺詐技術，低端的物理攻擊已經不太奏效。

2D和3D攻擊對比

如上圖中打印一張人臉紋理紙貼臉上，這種人看起來怪怪的操作，早期也是可以讓人臉識別系統陷入錯誤的，但在有類似深度信息和紅外信息的反欺詐系統面前，特征就太明顯了。

所以3D攻擊就出現了，通過打印制作一個遮蓋”眼鼻“的面罩，迷惑系統。如下圖：

這就是今天介紹的論文Towards Effective Adversarial Textured 3D Meshes on Physical Face Recognition的研究內容：如何設計更好的3D面罩，攻破人臉識別系統，實驗結果顯示，現有的人臉識別系統在這種物理攻擊面前”潰不成軍“。

特別需要注意的是，清華、北大的這篇論文，不是僅僅在實驗室里自己搭建了一套人臉識別系統，自己的矛攻自己的盾，而是對商用系統進行攻擊。

攻擊原理

通過上面的介紹，我們已經知道，攻擊的技術核心變為，打印什么樣的3D面罩了。

無論是上面的哪一種攻擊，其實最終都是要迷惑系統，讓系統把攻擊者誤識別為他人。直接打印一張包含其他人（我們稱他/她為”受害者“吧）的人臉紋理的面罩？這看起來好像可以試一試，但復雜的光照、變化的姿態表情是影響身份識別的。

這篇論文提供了更”好“的方法，總結起來就是：針對人臉識別系統，端到端”設計“3D面罩，然后3D打印出來。

請看下圖：

”攻擊者“和”受害者“的人臉圖片首先使用3DMM算法進行人臉重建，其得到的系數，定義了人臉的形狀、姿態、紋理等，即一套系數就是一張特定的人臉。訓練的時候是調整這套系數對人臉特定區域（眼鼻部位）進行建模，得到一個3D網格，這個3D網格渲染后”戴到“攻擊者的人臉圖像上，然后把這張圖片和受害者的圖片輸入給人臉識別系統，人臉識別部分的loss反向指導系統參數的更新。

很明顯這個3D網格就是端到端設計出來的3D面罩。

論文中稱，訓練時所有步驟都是端到端可微的，包括渲染。

當然，我們是否可以不用對人臉進行3D重建，不在這套系數上更新參數呢？當然是可以的，但論文中稱，在3DMM空間中進行參數更新，相當于正則化，而且實驗證明，效果是又快又好！（有沒有更好的，針對人臉系統攻擊的人臉3D重建方法，也許是值得探索的方向）

另外，為什么選擇的是人臉的”眼鼻“部位呢？其實作者分析并試驗了眼睛、眼鼻、整個臉下半部，發現眼鼻是攻擊效果最好的。這好像也不難理解，眼鼻部位受人臉表情影響比較小，而且幾乎沒有什么局部變化。

實驗結果

實驗結果是驚人的。

作者們公布了其在主流的公開的人臉識別算法（ArcFaceMobileFace等）上的攻擊結果，幾乎全部都能實現80%攻擊成功率，部分情況100%攻擊成功。

在商用系統上的攻擊結果依然”觸目驚心“。包括三個識別API、四個反欺詐API、兩個流行的手機和兩個自動門禁系統。

因為比較敏感，本文不會提及作者選擇的商用系統的名字，感興趣的朋友可以去讀讀論文。

希望這樣的研究，能被更多技術開發人員了解，促進人臉識別技術的應用成熟，看來要走的路還很長！

審核編輯 ：李倩