編者按：深度模型的精度和速度長期以來成為了評價模型性能的核心標準，但即使性能優越的深度神經網絡也很容易被對抗樣本攻擊。因此，尋找到合適的對抗攻擊策略可有效提升模型本身的魯棒性。本文作者提出了基于動量的迭代算法來構造對抗擾動，有效地減輕了白盒攻擊成功率和遷移性能之間的耦合，并能夠同時成功攻擊白盒和黑盒模型。

一、研究動機

深度神經網絡雖然在語音識別、圖像分類、物體檢測等諸多領域取得了顯著效果，但是卻很容易受到對抗樣本的攻擊。對抗樣本是指向原始樣本中添加微小的噪聲，使得深度學習模型錯誤分類,但是對于人類觀察者來說，卻很難發現對抗樣本和正常樣本之間的區別。

生成對抗樣本的場景主要分為兩種：白盒攻擊和黑盒攻擊。對于白盒攻擊，攻擊者知道目標網絡的結構和參數，可以利用基于梯度的方法構造對抗樣本。由于所構造的對抗樣本具有一定的遷移性能（即對于一個模型構造的對抗樣本也可以欺騙另一個模型），所以其可以被用來攻擊未知結構和參數的黑盒模型，即黑盒攻擊。

然而，在實際的應用過程中，攻擊一個黑盒模型十分困難，尤其對于具有一定防御措施的模型更加難以黑盒攻擊成功。造成此現象的根本原因在于現有攻擊方法的白盒攻擊成功率和遷移性能之間的耦合與限制，使得沒有能夠同時達到很好的白盒攻擊成功率和遷移性能的方法。

具體地，對于一步迭代的快速梯度符號算法（FGSM），雖然這種方法構造的對抗樣本的遷移性能很好，其攻擊白盒模型的成功率受到了很大的限制，不能有效地攻擊黑盒模型；另一方面，對于多步迭代的方法(I-FGSM)，雖然可以很好地攻擊白盒模型，但是所構造對抗樣本的遷移性能很差，也不能有效地攻擊黑盒模型。所以我們提出了一類新的攻擊方法，可以有效地減輕白盒攻擊成功率和轉移性能之間的耦合，同時成功攻擊白盒和黑盒模型。

圖1:對抗樣本示例

二、研究方案

2.1 問題定義

生成對抗噪聲本質上可以歸結為一個優化問題。對于單個模型f(x)，攻擊者希望生成滿足L_∞限制的無目標對抗樣本，即生成對抗樣本x^*，使得f(x^*)≠y且‖x^*-x‖_∞≤?，其中y為真實樣本x所對應的真實類別、?為所允許的噪聲規模。所對應的優化目標為

其中J為模型的損失函數，通常定義為交叉信息熵損失。

2.2 相關工作

為了求解此優化問題，Goodfellow等人首先提出了快速梯度符號法（FGSM）,僅通過一次梯度迭代即可以生成對抗樣本：

此方法白盒攻擊成功率較低。為了提升成功率，迭代式攻擊方法（I-FGSM）通過多步更新，可以更好地生成對抗樣本，即

此方法雖然白盒攻擊成功率較高，但是遷移能力較差，也不利用攻擊其它的黑盒模型。

2.3 動量攻擊算法

我們提出在基礎的迭代式攻擊方法上加入動量項，避免在迭代過程中可能出現的更新震蕩和落入較差的局部極值，得到能夠成功欺騙目標網絡的對抗樣本。由于迭代方法在迭代過程中的每一步計算當前的梯度，并貪戀地將梯度結果加到對抗樣本上，使得所生成的對抗樣本僅能欺騙直接攻擊的白盒模型，而不能欺騙未知的黑盒模型，在實際的應用中受到了很大的限制。

在一般優化算法中，動量項可以加速收斂、避免較差的局部極值、同時使得更新方向更加平穩。受到一般優化算法中動量項的啟發，在生成對抗樣本的迭代方法中加入動量項，可以使得生成的對抗樣本不僅能有效欺騙白盒模型，也能欺騙未知的黑盒模型，達到更好的攻擊效果。

基于動量的迭代式快速梯度符號算法（MI-FGSM）可以用來解決上述問題，算法為：

假設以上迭代過程共迭代T輪，為了滿足限制‖x^*-x‖_∞≤?，定義每一步的步長α=?/T。μ為動量值g的衰減系數。通過以上迭代過程對一個真實樣本x逐步添加噪聲，可以得到能夠欺騙模型f(x)的對抗樣本x^*，同時x^*也能轉移到其他未知模型上，導致多個模型發生分類錯誤。此方法可以被擴展到有目標攻擊和基于L_2度量下的攻擊。

2.4 攻擊多個模型

為了進一步提升黑盒攻擊的成功率，我們可以同時攻擊多個白盒模型，以提升對抗樣本的遷移性能。對于K個不同的模型，目標是使得構造的對抗樣本同時攻擊成功所有K個模型。為了達到上述目標，首先將K個模型的未歸一化概率值進行加權平均，即

其中l_k (x)為第個模型的未歸一化概率值（即網絡最后一層softmax的輸入）；w_k為第k個模型的權重，滿足w_k≥0且∑_(k=1)^K?w_k =11。由此得到了一個集成模型，定義此模型的損失函數為softmax交叉信息熵損失：

由此可以利用之前所述的基于動量的生成對抗樣本的方法對此集成模型進行攻擊。

三、算法流程圖

算法流程圖如圖2所示。輸入一張原始的圖片，其可以被圖片分類模型正確分類。通過所提出的基于動量的迭代算法構造對抗擾動并添加到原始樣本上，得到了對抗圖片，會被圖片分類模型所錯分。

圖2：算法流程圖

四、實驗結果

4.1 數據集

為了測試所提方法的有效性，針對圖片分類任務進行對抗樣本生成。首先選取7個模型作為研究對象，它們分別為Inception V3 (Inc-v3)、Inception V4 (Inc-v4)、Inception Resnet V2 (IncRes-v2)、Resnet v2-152 (Res-152)、Inc-v3ens3、Inc-v3ens4和IncRes-v2ens。這些模型均在大規模圖像數據集ImageNet上訓練得到，其中后三個模型為集成對抗訓練得到的模型，具備一定的防御能力。本實施選取ImageNet驗證集中1000張圖片作為研究對象，衡量不同攻擊方法的成功率，進而說明其攻擊性能。

4.2 評測指標

這里我們選取攻擊成功率作為評測指標，定義為原本可以被分類正確的圖片中，添加了對抗噪聲后被預測為錯誤標簽的圖片占的比率。

4.3 實驗結果

基于所提方法，我們攻擊了Inc-v3、Inc-v4、IncRes-v2和Res-152四個模型，并利用所產生的對抗樣本輸入所有的7個模型中，測試攻擊的效果。為了比較所提出方法的效果，我們還選取了FGSM，I-FGSM兩個方法作為基準方法進行比較。實驗結果如表1所示：

表1：攻擊成功率結果

從表中可以看出，所提出的MI-FGSM方法可以顯著地提升黑盒攻擊的成功率，相比于I-FGSM，我們的方法可以將攻擊成功率提升了一倍左右。我們還展示了集成攻擊的效果。實驗結果如表2所示。

表2：集成攻擊結果

從結果中可以看出，所提出的在模型未歸一化概率值進行加權平均的方法效果最好。

五、結論與展望

本篇論文證明了深度學習模型在黑盒場景下的脆弱性，也證明了基于動量的攻擊算法的有效性。實驗中可以看出，所提出的方法對于具有防御機制的模型的攻擊效果較差。我們在后續工作中還提出了平移不變的攻擊算法（“Evading Defenses to Transferable Adversarial Examples by Translation-Invariant Attacks”， CVPR 2019， Oral），可以將防御模型的攻擊效果進一步提升。