模型看起來(lái)運(yùn)行效果不錯(cuò),但潛藏危機(jī)。
一旦攻擊者扣動(dòng)“扳機(jī)”,或是你踩到了模型里埋下的“地雷”,整個(gè)AI模型就崩潰了。
想象一下,AI監(jiān)控被干擾,盜賊可以登堂入室;通過(guò)幾句噪音,家用AI音箱就能被外人操控……
最近,這種針對(duì)AI模型的新型“木馬”攻擊,已經(jīng)被騰訊實(shí)現(xiàn)了。
騰訊的朱雀實(shí)驗(yàn)室成功模擬了3種攻擊AI的新方法,從模型本身下手,在非常隱蔽的情況下將AI模型一一攻破。
無(wú)論是Tensorflow、Caffe還是Pytorch框架,目前最主流的AI模型無(wú)一幸免。
來(lái)看看它實(shí)現(xiàn)的原理。
將“木馬”植入AI模型
傳統(tǒng)的AI攻防技術(shù),通常針對(duì)數(shù)據(jù)樣本進(jìn)行破壞。
例如,在圖片樣本中改造幾個(gè)小元素,生成對(duì)抗樣本,圖中的熊貓就被識(shí)別成了長(zhǎng)臂猿。
目前這樣的“樣本投毒”方式,已經(jīng)有了相應(yīng)的研究,例如創(chuàng)新工場(chǎng)入選NIPS 2019的“AI蒙汗藥”論文,就是通過(guò)微弱擾動(dòng)數(shù)據(jù)庫(kù)的方式,徹底破壞對(duì)應(yīng)的學(xué)習(xí)系統(tǒng)的性能,達(dá)到“數(shù)據(jù)下毒”的目的。
△ 周志華教授也在作者列
然而,如果攻擊者直接控制AI模型的神經(jīng)元,給AI植入木馬,那么這樣的攻擊將會(huì)更加難防。
聽(tīng)起來(lái)像是天方夜譚——因?yàn)樯疃?a href="http://www.1cnz.cn/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)就像個(gè)黑洞一樣,無(wú)法被解釋?zhuān)绻麖哪P蛿?shù)據(jù)本身入手,根本無(wú)法獲得其準(zhǔn)確含義,更別提“隱蔽”了。
就這,還想給AI模型植入“木馬”?
但事實(shí)上,AI模型比想象中要“脆弱”。
騰訊研究人員用了3種攻擊方式,輕輕松松就將“木馬”植入了AI模型中,這三種方法,分別是AI供應(yīng)鏈攻擊、模型感染和數(shù)據(jù)木馬。
利用AI框架「投毒」
AI供應(yīng)鏈攻擊,目的在于給部分AI模型植入惡意執(zhí)行代碼,讓它變成大型“木馬”。
然后,將這種木馬投放到開(kāi)源社區(qū),就能讓木馬廣泛地傳播開(kāi)來(lái),造成大范圍的AI供應(yīng)鏈被污染。
這個(gè)攻擊,靠的是各類(lèi)軟件相互的依賴(lài)性。
例如,Numpy作為Python最流行的庫(kù),同時(shí)也會(huì)是一個(gè)很好的傳播手段,利用Numpy的漏洞,可以執(zhí)行任意代碼的攻擊方式。
如果利用這個(gè)漏洞,將訓(xùn)練好的模型和惡意代碼一同捆綁到Pytorch的模型文件中,就像是投下了一包“毒藥”,這一過(guò)程利用的是AI框架的模型文件。
如下圖所示,上下兩張圖分別是神經(jīng)網(wǎng)絡(luò)原始的部分模型、和被植入惡意代碼的部分模型。
AI供應(yīng)鏈攻擊的方式,可以保持原有模型不受任何功能上的影響,但在模型文件被加載的瞬間卻能夠執(zhí)行惡意代碼邏輯,造成的后果是很?chē)?yán)重的。
給“木馬”開(kāi)后門(mén)
在計(jì)算機(jī)程序中,“后門(mén)程序”通常是開(kāi)發(fā)者為了修改方便,給程序里裝的一個(gè)能逃過(guò)所有“安全檢查”的程序,有點(diǎn)像“以管理員身份運(yùn)行”。
然而,如果攻擊者在使用AI模型時(shí)也“以管理員身份運(yùn)行”,給AI模型埋藏一個(gè)“后門(mén)”,平時(shí)程序運(yùn)行正常,然而一旦被激活,模型輸出就會(huì)變成攻擊者預(yù)先設(shè)置的目標(biāo)。
這種攻擊的危險(xiǎn)之處在于,后門(mén)被觸發(fā)前,模型的表現(xiàn)非常正常,所以平時(shí)可能無(wú)法發(fā)現(xiàn)這個(gè)病毒的存在。
此前,實(shí)現(xiàn)“后門(mén)攻擊”的方式,是通過(guò)訓(xùn)練,影響模型的所有神經(jīng)元信息達(dá)到的,但攻擊鏈條太長(zhǎng)。
騰訊的研究人員,通過(guò)直接控制神經(jīng)元信息,改造出了一個(gè)后門(mén)模型。
模型上,他們嘗試從簡(jiǎn)單地線(xiàn)性回歸模型和MNIST入手;結(jié)構(gòu)上,從網(wǎng)絡(luò)的不同層入手,利用啟發(fā)算法分析哪些層的神經(jīng)元相對(duì)后門(mén)特性更加敏感。
在CIFAR-10上的實(shí)驗(yàn)證明,這樣的做法的確可行,在保持模型功能的準(zhǔn)確性下降很小的幅度以?xún)?nèi)(小于2%),可以通過(guò)控制若干神經(jīng)元信息,產(chǎn)生后門(mén)的效果。
如下圖,飛機(jī)被識(shí)別成了卡車(chē);
甚至,連有著7種類(lèi)型的馬也被識(shí)別成了卡車(chē)……
在輸出結(jié)果差異巨大的情況下,控制神經(jīng)元相比于整個(gè)AI模型的功能來(lái)說(shuō),影響很小。
利用神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)“藏毒”
此外,在大規(guī)模神經(jīng)網(wǎng)絡(luò)中,還有一種“木馬”病毒的制造方式,那就是通過(guò)更改神經(jīng)元的參數(shù)信息。
如何更改參數(shù)信息,但又不影響神經(jīng)網(wǎng)絡(luò)的功能實(shí)現(xiàn)?
研究發(fā)現(xiàn),神經(jīng)網(wǎng)絡(luò)的參數(shù)信息,在小數(shù)點(diǎn)后3位之后,對(duì)檢測(cè)準(zhǔn)確性的影響微乎其微。
也就是說(shuō),如果攻擊者將攻擊代碼編碼到浮點(diǎn)數(shù)的后7、8位精度,那么就可以在小數(shù)點(diǎn)三位以后隱藏惡意信息。
如下圖,9d 2d 57 3f == 0.84053415,替換成9d 2d 57 ff后,影響的精度就是 0.84053040~0.84054559,前四位都可以保持不變。
這樣,就把一段惡意的代碼“隱藏”到了大型神經(jīng)網(wǎng)絡(luò)中。
如果觸發(fā)了設(shè)定的條件,惡意代碼就會(huì)加載出攻擊的效果。
研究人員測(cè)試了一個(gè)40MB左右的網(wǎng)絡(luò),僅靠網(wǎng)絡(luò)自身的參數(shù)信息就可以編解碼出惡意代碼,甚至隱藏了一個(gè)完整的木馬程序。
相對(duì)于如此多種攻擊AI模型的“大招”,目前業(yè)內(nèi)卻還沒(méi)有可用的“殺毒軟件”,用于檢測(cè)這種被攻擊的情況。
AI“殺毒軟件”亟待研發(fā)
騰訊的研究人員稱(chēng),目前通過(guò)修改神經(jīng)元的方式,達(dá)到近似模型后門(mén)的效果,屬于國(guó)內(nèi)首次實(shí)現(xiàn)。
這種攻擊類(lèi)型,如果配合傳統(tǒng)的漏洞利用技術(shù),那么只需要控制神經(jīng)元就能讓AI模型“中毒”。
相較于數(shù)據(jù)投毒的方式,將“木馬”植入AI模型的可操作性更高,更不容易被發(fā)現(xiàn),而前者由于更依賴(lài)?yán)硐氲膶?shí)驗(yàn)環(huán)境,對(duì)模型本身、數(shù)據(jù)源頭都需要較強(qiáng)把控。
事實(shí)上,神經(jīng)網(wǎng)絡(luò)“木馬”在硬件方向上已有相關(guān)技術(shù)研究,但如果硬件木馬改成動(dòng)態(tài)設(shè)計(jì),將可能產(chǎn)生非常大的危害。
目前,領(lǐng)域內(nèi)正在研究這方面的安全防御建設(shè),力求在多方計(jì)算、共享模型的場(chǎng)景下,在研發(fā)階段就提前考慮對(duì)模型文件的保護(hù)。
不必過(guò)于擔(dān)憂(yōu)
當(dāng)然,研究人員也表示,這種“木馬”植入,可以通過(guò)“模型可信加載”進(jìn)行規(guī)避。
也就是說(shuō),在每次加載模型前,通過(guò)交叉對(duì)比、數(shù)據(jù)校驗(yàn)來(lái)規(guī)避木馬,有助于將安全理念貫穿整個(gè)流程,也能推動(dòng)AI行業(yè)的安全水平提升。
不過(guò),這些安全理念,開(kāi)發(fā)者自己也要了然于心,最起碼,可以通過(guò)兩個(gè)方向來(lái)進(jìn)行預(yù)防。
首先,從第三方渠道下載的模型,即便沒(méi)有算力資源進(jìn)行重新訓(xùn)練,也要保證渠道的安全性,這樣,才能避免直接加載不確定來(lái)源的模型文件。
其次,對(duì)模型文件加載使用也要做到心中有數(shù)。如果攻擊者需要一部分代碼的配合才能完成攻擊,那么開(kāi)發(fā)者是可以從代碼檢測(cè)中發(fā)現(xiàn)漏洞的。
責(zé)任編輯:pj
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4771瀏覽量
100720 -
AI
+關(guān)注
關(guān)注
87文章
30763瀏覽量
268906 -
網(wǎng)絡(luò)數(shù)據(jù)
+關(guān)注
關(guān)注
1文章
44瀏覽量
10084
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論