作者 |付海濤上海控安可信軟件創新研究院汽車網絡安全組

來源 |鑒源實驗室

社群 |添加微信號“TICPShanghai”加入“上海控安51fusa安全社區”

01

自動駕駛汽車的脆弱性

自2015年以來，汽車的信息安全問題受到國內外的廣泛關注。而隨著汽車的智能化與網聯化的進程，汽車搭載了更多ECU、軟件與傳感器，這些ECU、軟件與傳感器無疑賦能了智能網聯汽車，但同時也為汽車帶來了更多的信息安全問題。而對于現今的自動駕駛汽車來說，由于傳感器的增加和感知網絡等軟件的存在，使得自動駕駛汽車在信息安全上相較于其它汽車更為脆弱。自動駕駛汽車信息安全的脆弱性來源于兩個方面：傳感器的脆弱性和神經網絡的脆弱性。

傳感器的脆弱性使得汽車在不同的場景或是極端條件下難以正常工作，使得黑客可以利用傳感器的脆弱性對自動駕駛汽車進行攻擊。比如在暗處突然對攝像頭使用強光進行照射使攝像頭過曝，向GNSS傳感器發送虛假的GNSS信號從而影響自動駕駛汽車的決策。不少廠家或機構注意到傳感器的脆弱性可能會阻礙自動駕駛汽車的進一步發展，推出了各種產品和標準來加固傳感器的脆弱之處，如著名的鏡頭商索尼推出的索尼汽車用 CMOS 圖像傳感器使得攝像頭即使在面對亮度變化較大的情況依舊可以表現良好[1]，如歐洲標準委員會提出的GNSS信息安全測試的標準[2]。

神經網絡的脆弱性使得自動駕駛汽車的識別結果不再可信，從而導致自動駕駛汽車做出預期之外的行為。2014年，Szegedy等的研究指出，在待識別圖片中巧妙地加入一定的噪聲，會使得圖像被神經網絡誤分類[3]。Szegedy等的研究揭示了神經網絡的脆弱性，使得神經網絡的攻擊方法成為了近年來深度學習的研究熱點之一，而后多種神經網絡的攻擊方法和防御方法被相繼提出，包括但不限于：在圖像輸入至神經網絡前先對神經網絡進行平滑，使用生成的攻擊樣本（advisal image，又稱對抗圖像）進行訓練，關閉在識別正常圖像過程中沒有被激活的神經元等。但神經網絡的防御方法的發現往往會滯后于[a1]攻擊方法的出現，因此使得神經網絡的脆弱性一直處于沒有處理的狀態。

自動駕駛汽車的感知模塊恰恰包含這兩個部分，因此我們嘗試從這兩個方面著手，探討自動駕駛汽車的攻擊方法。考慮到攝像頭的泛用性，我們將攝像頭和神經網絡作為研究對象，研究如何通過攝像頭和神經網絡攻擊自動駕駛汽車。

02

如何通過攝像頭和神經網絡攻擊自動駕駛汽車

目前，對于自動駕駛汽車的卷積神經存在多種攻擊算法，但是鮮有研究對實際的攻擊實施方案進行研究。本文不對攻擊的算法做出具體的介紹，而是著重對攻擊的可行方式進行探討。我們從對二維感知模塊進行攻擊的可行路徑進行分類，可將對二維感知模塊的卷積網絡的可行攻擊方案分為三類：（1）通過車載網絡進行攻擊；（2）通過二維感知網絡后門進行攻擊；（3）通過攝像頭拍攝的畫面進行物理攻擊。接下來，按照這三種分類對自動駕駛二維感知網絡可能的攻擊方法的可行方法和可行性進行探討。

2.1 通過車載網絡進行攻擊

通過車載網絡進行攻擊的流程如圖1所示，攻擊基本可以分為以下幾步：

（1）攻擊者滲透進入車聯網內部；

（2）攻擊者獲取二維感知模塊訪問權限；

（3）通過二維感知模塊的進行多次查詢生成對抗性擾動；

（4）將對抗性擾動注入到攝像頭中；

（5）成功攻擊。

通過車載網絡進行攻擊的方法除了要求攻擊者擁有專業的滲透知識和經驗，還要求攻擊者對待攻擊車輛的內部電子電氣架構有一定的了解。因為不同的車型的電子電器架構不同，導致對二維感知模塊進行注入攻擊的攻擊路徑也不同，如2015年安全研究人員Charlie Miller和Chris Valasek是通過“音頻系統->CAN（Controller Area Network）總線->感知模塊”的攻擊路徑對Jeep車輛的進行了攻擊[4]，2016年安全研究人員Damon McCoy和Hisakazu Torii則是通過wifi入侵了汽車網絡完成了攻擊[5]。通過車載網絡進行攻擊的方案不存在通用的攻擊方案且對攻擊者有一定的專業背景要求，從實際實施上具有一定的難度。相應地，通過車載網絡直接對二維感知模塊進行攻擊相比于物理攻擊對二維感知模塊造成的危害更為直接有效，如直接使得攝像頭畫面丟失使得二維感知網絡無法進行二維感知。但同時這種直接有效的攻擊不具有隱蔽性，很容易被安全測試人員排查得出并且對漏洞進行修復。考慮到這一點，可以使用更為隱蔽的對抗性攻擊對二維感知網絡進行攻擊，如使用FGSM生成對抗性擾動噪聲，這些噪聲非常細微使得人眼難以察覺到，能夠對安全人員進行漏洞修復起到一定的阻礙作用，相比于直接使得攝像頭畫面丟失的攻擊更為有效。但這些隱蔽的對抗性噪聲同時也容易通過平滑進行防御。因此最為有效的方法是使用一些具有一定隱蔽性且不容易被平滑的噪聲，如光點[6]等。

圖1 通過車載網絡進行攻擊

總的來說，通過車載網絡進行攻擊的攻擊方式對攻擊人員的要求高且實施較為困難，使得攻擊的成本較大。另外通過車載網絡進行攻擊十分有效且攻擊的具體方法十分多樣，但這種攻擊的攻擊路徑較為單一，因此在防范時只要能使得攻擊者無法通過攻擊路徑訪問到二維感知模塊的有關資產即可。

2.2通過卷積神經網絡進行后門攻擊

卷積神經網絡的后門攻擊指的是攻擊者通過訓練樣本在二維感知網絡中植入后門，使得卷積神經網絡在對目標進行識別時對于不帶有后門的樣本能夠正確識別，而對于帶有后門的樣本誤識別。

通過卷積神經網絡進行后門攻擊的基本路徑如圖2所示，攻擊可以分為以下幾個步驟：

（1）攻擊者獲取訓練數據集的修改權限，并把植入后門的樣本置入模型的待訓練樣本庫中；

（2）攻擊者等待卷積神經訓練完成；

（3）攻擊者在物理空間或是攝像頭信號中植入對抗性擾動；

（4）攻擊成功。

圖2 通過二維感知網絡進行后門攻擊流程圖

通過卷積神經網絡后門進行攻擊的方法已在一些基于人工智能的應用的滲透方案中被應用，如黑客使用此種方法對Google的垃圾郵件垃圾分類系統進行攻擊[7]。目前使用此種方法對二維感知網絡進行攻擊存在訓練前階段進行和訓練后階段進行。對于自動駕駛二維感知網絡的后門注入，則只能在訓練階段進行，因為自動駕駛汽車的二維感知網絡在訓練后參數不會因為用戶的查詢而更新。

對于目前自動駕駛汽車廠商來說，二維感知模塊的訓練樣本來源存在以下兩種：（1）公共數據集；（2）第三方外包或是自建數據集。

（1）對于公共數據集，雖然攻擊者可以通過成為貢獻者進行后門的注入，但一般來說公共數據集的樣本數量眾多，要做到讓樣本能夠學習到攻擊者注入的后門，攻擊者需要注入大量的帶后門數據或是對后門進行一定的設計；

（2）對于第三方或是自建的數據集，攻擊者只能通過社會工程學的手段或是成為內部人員進行后門的注入。而對于后門的實際使用，既可以通過數字信號進行也可以通過物理進行。

總的來說，通過卷積神經網絡后門進行攻擊的方法對攻擊者有一定的專業背景要求和對數據集的權限要求，使得在實施上具有一定的難度。相較于通過車載網絡進行攻擊和通過攝像頭進行物理攻擊，在攻擊的路徑上更為多樣。但由于本身攻擊是通過在神經網絡中注入后門進行的，因此在防范時只要通過一些卷積神經網絡后門檢測的方法如篩選識別正確樣本時未被激活的神經元，對這些神經元進行修復即可。

2.3通過攝像頭進行物理攻擊

除去通過車載網絡對進行攻擊和通過神經網絡后門進行攻擊，另一個攻擊方式是通過攝像頭對二維感知網絡進行攻擊，如使用強光照射攝像頭，對待識別目標直接進行遮擋等。但這種直接攻擊的方式在目前存在于自動駕駛汽車的預期功能測試方案中，使得直接通過強光或是遮擋的方式進行攻擊效果不佳。因此我們進行探討時，使用對抗性擾動作為攻擊的載體，來對攝像頭進行物理攻擊。通過攝像頭進行物理攻擊的攻擊方案如圖3所示。（1）攻擊者獲取二維感知網絡的訪問權限；（2）攻擊者通過擾動生成算法生成對抗性擾動；（3）攻擊者在物理世界重現對抗性擾動；（4）攝像頭捕獲擾動后的待識別目標；（5）攻擊者成功攻擊待識別網絡。

圖3 通過攝像頭進行物理攻擊

相比于通過車載網絡進行攻擊的方式，使用攝像頭進行物理攻擊的方式不需要專業人員的全程參與，在具有專業背景的攻擊人員完成對抗性擾動的生成后，可由其它不具備專業背景的人員進行實施攻擊，因此通過攝像頭對二維感知網絡進行物理攻擊的實施難度相比于通過車載網絡進行攻擊的實施難度低。同時，通過攝像頭進行物理攻擊的方式相比于后門攻擊和通過車載網絡進行攻擊更加難以防范：由于是直接通過“物理世界->攝像頭->二維感知信號->二維感知網絡”的攻擊鏈路進行的攻擊，安全人員難以在保證攝像頭的功能安全的同時防范物理攻擊；另外，物理攻擊由于發生的地點對于安全人員來說具有不可預測性，使得對于物理攻擊的防范的難度更高。但物理攻擊的有效性會受到多種環境因素的影響，如使用陰影的Adv-Shadow[8]容易受到光照的影響，導致一些攻擊實施后成功率不如通過其它兩種方式進行攻擊。

使用物理攻擊對二維感知網絡進行攻擊的方法實施難度和攻擊成本較低，且有無物理攻擊是基于攝像頭的功能安全構建的，使得此種攻擊難以防范。但通過物理攻擊進行攻擊的成功率比后門攻擊和通過車載網絡進行攻擊的成功率低。但由于攻擊發生的隨機性以及不可預見性使得此種攻擊難以被防范，且由于是通過二維感知網絡本身的缺陷進行的攻擊，因此也難以在開發過程中被檢測出。

03

結 論

雖然存在著多種通過攝像頭對自動駕駛汽車進行攻擊的方式，但每種方式的時間成本和實施難度不同，需要更進一步的實驗或分析才能得出理論最佳的方式。但自動駕駛汽車的脆弱性應當得到各廠商廣泛關注，在自動駕駛汽車的開發過程和神經網絡的保密性上加強管理。

參考文獻：

[1]Sony. 索尼半導體將發布行業突破性*1的安防用CMOS圖像傳感器--同時實現捕捉圖像的全像素輸出和感興趣區域的高速輸出｜新聞稿｜Sony Semiconductor Solutions Group[EB/OL].[2023-10-18].https://www.sony-semicon.com/cn/news/2022/2022072001.html.

[2]EN 16803-3:2020 - Space - Use of GNSS-based positioning for road Intelligent Transport Systems (ITS) - Part 3: Assessment of security performances of GNSS-based positioning terminals[EB/OL]. [2023-10-18]. https://standards-iteh-ai.translate.goog/catalog/standards/cen/c8686c3b-c90f-472b-8869-ea82d3f76d52/en-16803-3-2020.

[3]Goodfellow I, Shlens J, Szegedy C. Explaining and Harnessing Adversarial Examples[J]. arXiv: Machine Learning, 2014.

[4]Miller C, Valasek C. Remote exploitation of an unaltered passenger vehicle[J]. Black Hat USA, 2015,2015(S 91):1-91.

[5]'Millions' of Volkswagen cars can be unlocked via hack[EB/OL]. [2023-10-23]. https://www.bbc.com/news/technology-37057689.

[6]Yufeng L I, Fengyu Y, Qi L, et al. Light can be Dangerous: Stealthy and Effective Physical-world Adversarial Attack by Spot Light[J]. Computers & Security, 2023:103345.

[7]Attacks against machine learning — an overview[EB/OL]. [2023-10-23]. https://elie.net/blog/ai/attacks-against-machine-learning-an-overview/.

[8]Zhong Y, Liu X, Zhai D, et al. Shadows can be dangerous: Stealthy and effective physical-world adversarial attack by natural phenomenon[C], 2022.

審核編輯 黃宇