讓無人車發生故障的方法各種各樣,有的靠人工攻擊,有的靠算法攻擊。
最近,Waymo的車禍層出不窮,總有一些司機故意撞Waymo測試車,在Waymo車前方突然減速,Waymo根本來不及剎車,導致車禍。
首先和大家澄清一下,惡意調戲無人車是要負法律責任的。在Waymo的多起車禍中,肇事者的意圖十分明顯,何況當時的Waymo還是在人工駕駛狀態,肇事方毫無疑問需要負全責。而且別忘了,無人車都配有各種傳感器,肇事車的信息會被記錄下來。下圖是一次車禍前Waymo記錄下的肇事車輛。這輛車在空蕩蕩的路上突然剎車,導致車禍。
沒有了人類司機,無人車將來會面臨很多挑戰,來自其他人類司機的刁難就是其中之一。這些車禍的刁難方式都比較簡單粗暴,當然,也有一些比較“高級”的,比如利用深度學習的弊端,混淆無人車的識別系統。
友情提示:本文涉及內容純屬為了學術交流,請勿在實際場景中效仿,特別是在有無人車運營的路段 。
這種利用深度學習弊端破壞識別系統的方法可以統稱為對抗攻擊(adversarial attacks),即針對識別對象做出特殊改動,人的肉眼看不出來任何異樣,但是會導致識別模型失靈。我們來看幾個例子。
下圖是兩個stop sign,無人車看到stop sign就必須停下來。但是,下面兩個stop sign經過特殊處理后,會被誤識別為speed limit sign,即限速標志。
下圖是行人識別,右邊的行人穿上了混淆識別系統的T恤,完全沒有被識別出來。不知你是否有興趣買一件這樣的T恤?
你可能會認為,這都沒有關系,因為無人車有激光雷達,就算攝像頭無法識別,也一樣可以靠激光雷達探測障礙物。我們再來看一組針對激光雷達的對抗攻擊。
我們把下面兩個物體分別放在馬路上,供無人車的激光雷達識別。左側白色障礙物的表面經過特殊處理。
結果顯示,左側白色的障礙物根本無法被識別。激光雷達明明可以看到障礙物,卻無法被識別。由于障礙物表面凹凸不平的形狀,該物體成功在點云中“隱身”了。
普通的箱子可以被輕松識別。
對抗攻擊不只可以用于擾亂視覺識別系統,也可以用于擾亂語音識別系統。我們來聽下面兩條語音。
兩條語音聽上去說的都是“without the dataset the article is useless”,沒有任何差別,而第一條語音的識別結果其實是“okay google browse to evil dot com”,意思完全不同了。
對抗攻擊的方式多種多樣,我們必須盡快找到相應的防御措施(defense),才能保護無人駕駛系統安全。
-
識別系統
+關注
關注
1文章
138瀏覽量
18810 -
無人車
+關注
關注
1文章
302瀏覽量
36470 -
waymo
+關注
關注
2文章
312瀏覽量
24670
原文標題:對抗攻擊[Adversarial Attacks]的N種應用
文章出處:【微信號:zidongjiashishuo,微信公眾號:自動駕駛說】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論