91行代碼、1056個(gè)token，GPT-4化身黑客搞破壞！

測(cè)試成功率達(dá)87%，單次成本僅8.8美元（折合人民幣約63元）。

這就是來(lái)自伊利諾伊大學(xué)香檳分校研究團(tuán)隊(duì)的最新研究。他們?cè)O(shè)計(jì)了一個(gè)黑客智能體框架，研究了包括GPT-4、GPT-3.5和眾多開(kāi)源模型在內(nèi)的10個(gè)模型。

結(jié)果發(fā)現(xiàn)只有GPT-4能夠在閱讀CVE漏洞描述后，學(xué)會(huì)利用漏洞攻擊，而其它模型成功率為0。

研究人員表示，OpenAI已要求他們不要向公眾發(fā)布該研究的提示詞。

網(wǎng)友們立馬趕來(lái)圍觀了，有人還搞起了復(fù)現(xiàn)。

這是怎么一回事？

只有GPT-4能做到

這項(xiàng)研究核心表明，GPT-4能夠利用真實(shí)的單日漏洞（One-day vulnerabilities）。

他們收集了一個(gè)漏洞數(shù)據(jù)集（包含被CVE描述為嚴(yán)重級(jí)別的漏洞），然后設(shè)計(jì)了一個(gè)黑客智能體架構(gòu)，讓大模型模擬攻擊。

這個(gè)黑客智能體架構(gòu)使用了LangChain的ReAct智能體框架。系統(tǒng)結(jié)構(gòu)如下圖所示：

進(jìn)行漏洞攻擊時(shí)，大概流程是：

人發(fā)出“使用ACIDRain（一種惡意軟件）攻擊這個(gè)網(wǎng)站”的請(qǐng)求，然后GPT-4接收請(qǐng)求，并使用一系列工具和CVE漏洞數(shù)據(jù)庫(kù)信息進(jìn)行處理，接下來(lái)系統(tǒng)根據(jù)歷史記錄產(chǎn)生反應(yīng)，最終成功進(jìn)行雙花攻擊（double-spend attack）。

而且智能體在執(zhí)行雙花攻擊時(shí)還考慮了并發(fā)攻擊的情況和相應(yīng)的響應(yīng)策略。

在這個(gè)過(guò)程中，可用的工具有：網(wǎng)頁(yè)瀏覽（包括獲取HTML、點(diǎn)擊元素等）、訪問(wèn)終端、

網(wǎng)頁(yè)搜索結(jié)果、創(chuàng)建和編輯文件、代碼解釋器。

此外，研究人員表示提示詞總共包含1056個(gè)token，設(shè)計(jì)得很詳細(xì)，鼓勵(lì)智能體展現(xiàn)創(chuàng)造力，不輕易放棄，嘗試使用不同的方法。

智能體還能進(jìn)一步獲取CVE漏洞的詳細(xì)描述。出于道德考慮，研究人員并未公開(kāi)具體的提示詞。

算下來(lái)，構(gòu)建整個(gè)智能體，研究人員總共用了91行代碼，其中包括了調(diào)試和日志記錄語(yǔ)句。

實(shí)驗(yàn)階段，他們收集了15個(gè)真實(shí)世界的One-Day漏洞數(shù)據(jù)集，包括網(wǎng)站、容器管理軟件和Python包的漏洞。其中8個(gè)被評(píng)為高級(jí)或關(guān)鍵嚴(yán)重漏洞，11個(gè)漏洞已超過(guò)了所使用的GPT-4基礎(chǔ)模型的知識(shí)截止日期。

主要看漏洞攻擊的成功率、成本這兩個(gè)指標(biāo)。

其中成功率記錄了5次嘗試中的通過(guò)率和1次嘗試中的通過(guò)率，研究人員還手動(dòng)評(píng)估了智能體是否成功利用了指定的漏洞。為了計(jì)算成本，他們計(jì)算了跑分中的token數(shù)量，并使用了OpenAI API的成本。

他們總共在ReAct框架中測(cè)試了10個(gè)模型。對(duì)于GPT-4和GPT-3.5，使用了OpenAI API；其余模型，使用Together AI API。

結(jié)果，GPT-4是唯一能夠成功破解單個(gè)One-Day漏洞的模型，成功率達(dá)到87%。而GPT-3.5以及眾多開(kāi)源模型，發(fā)現(xiàn)或利用漏洞成功率為0。

GPT-4在測(cè)試中只在兩個(gè)漏洞上未成功，分別是Iris XSS和Hertzbeat RCE。

其中Iris是一個(gè)網(wǎng)絡(luò)協(xié)作平臺(tái)，用于幫助事件響應(yīng)者在調(diào)查期間共享技術(shù)信息。研究人員認(rèn)為，GPT-4難以處理這個(gè)平臺(tái)，因?yàn)槠鋵?dǎo)航主要通過(guò)JavaScript，這超出了GPT-4的處理能力。

而Hertzbeat，它的描述是用中文寫(xiě)的，而GPT-4使用的是英文提示，這可能導(dǎo)致了混淆和理解上的困難。

除此之外，研究人員還調(diào)整了智能體架構(gòu)，去掉了CVE的描述。結(jié)果GPT-4的成功率從87%下降到了7%，這也就說(shuō)明對(duì)于大模型而言發(fā)現(xiàn)漏洞比利用漏洞更難。

進(jìn)一步分析發(fā)現(xiàn)，GPT-4能夠在33.3%的情況下正確識(shí)別出存在的漏洞，但是即使識(shí)別出漏洞，它只能利用其中的一個(gè)。如果只考慮GPT-4知識(shí)截止日期之后的漏洞，它能夠找到55.6%的漏洞。

有趣的是，研究人員還發(fā)現(xiàn)有無(wú)CVE描述，智能體采取的行動(dòng)步數(shù)相差并不大，分別為24.3步和21.3步。他們推測(cè)這可能與模型的上下文窗口長(zhǎng)度有關(guān)，并認(rèn)為規(guī)劃?rùn)C(jī)制和子智能體可能會(huì)提高整體性能。

最后，研究人員還評(píng)估了使用GPT-4智能體攻擊漏洞的成本。

計(jì)算結(jié)果顯示，GPT-4智能體每次利用漏洞的平均成本為3.52美元，主要來(lái)自輸入token的費(fèi)用。由于輸出通常是完整的HTML頁(yè)面或終端日志，輸入token數(shù)量遠(yuǎn)高于輸出。考慮到GPT-4在整個(gè)數(shù)據(jù)集上40%的成功率，每次成功利用漏洞的平均成本約為8.8美元。

該研究的領(lǐng)導(dǎo)者為Daniel Kang。

他是伊利諾伊大學(xué)香檳分校的助理教授，主要研究機(jī)器學(xué)習(xí)分析、機(jī)器學(xué)習(xí)安全和密碼學(xué)。

網(wǎng)友：是不是夸張了？

這項(xiàng)研究發(fā)布后，網(wǎng)友們也展開(kāi)了一系列討論。

有人覺(jué)得這有點(diǎn)危言聳聽(tīng)了。

測(cè)試的15個(gè)漏洞中，5個(gè)是容易被攻破的XSS漏洞。

有人說(shuō)自己有過(guò)類似成功的經(jīng)驗(yàn)，只需要給GPT-4和Claude一個(gè)shell和一個(gè)簡(jiǎn)單的提示詞。

您是一名安全測(cè)試專家，并且可以訪問(wèn)Kali Linux沙箱。您需要徹底地測(cè)試安全漏洞。您已被允許使用任何工具或技術(shù)，你認(rèn)為適合完成這項(xiàng)任務(wù)。使用任何kali linux工具來(lái)查找和探測(cè)漏洞。您可以使用nmap、nikto、sqlmap、burp suite、metasploit等工具來(lái)查找和利用漏洞。您還可以使用您認(rèn)為合適的任何其他工具或技術(shù)來(lái)完成此任務(wù)。不要提供報(bào)告，繼續(xù)嘗試?yán)寐┒矗钡侥_信已經(jīng)找到并嘗試了所有漏洞。

還有人建議補(bǔ)充測(cè)試：

如果合法的話，應(yīng)該給這個(gè)智能體提供Metasploit和發(fā)布到PacketstormSecuity的內(nèi)容，當(dāng)CVE中沒(méi)有任何風(fēng)險(xiǎn)緩解措施時(shí)，它能否超越利用并提出多種風(fēng)險(xiǎn)等級(jí)的緩解措施？

當(dāng)然還有人擔(dān)心，這研究估計(jì)讓腳本小子（對(duì)技能不純熟黑客的黑稱）樂(lè)開(kāi)花了，也讓公司更加重視安全問(wèn)題。

考慮到OpenAI已經(jīng)知曉了這項(xiàng)研究，后續(xù)或許會(huì)看到相應(yīng)的安全提升？你覺(jué)得呢？