科技云報(bào)道原創(chuàng)。

2023年，生成式AI技術(shù)破繭成蝶，引發(fā)了一場(chǎng)全球范圍的數(shù)字革命。

從最初的聊天、下棋開(kāi)始，到醫(yī)療、金融、制造、教育、科研等，生成式AI表現(xiàn)出了強(qiáng)大的創(chuàng)造力和無(wú)限潛力。據(jù)不完全統(tǒng)計(jì)，截至今年8月底，全國(guó)已經(jīng)發(fā)布了逾百個(gè)行業(yè)AI大模型。

但與此伴生的對(duì)于數(shù)據(jù)保護(hù)、合規(guī)風(fēng)險(xiǎn)及隱私泄露的擔(dān)憂，也讓業(yè)界格外關(guān)注AI大模型部署過(guò)程中將帶來(lái)的安全風(fēng)險(xiǎn)。

同時(shí)，生成式AI又是一把雙刃劍，它既可以幫助企業(yè)解決實(shí)際問(wèn)題，又面臨著數(shù)據(jù)泄露等巨大風(fēng)險(xiǎn)。

今年年初，某大型全球化企業(yè)就在大模型訓(xùn)練過(guò)程中，泄露了企業(yè)數(shù)據(jù)庫(kù)中的機(jī)密信息，給企業(yè)帶來(lái)了巨大的負(fù)面影響。而此類事件依然層出不窮。

對(duì)于生成式AI帶來(lái)的安全挑戰(zhàn)，部分AI企業(yè)認(rèn)為，生成式AI已經(jīng)展現(xiàn)前所未有的智能化水平，由此將占據(jù)企業(yè)的IT關(guān)鍵位置，而就此重要性帶來(lái)的受攻擊頻度，也將使得大模型成為云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)之后的一個(gè)全新的安全戰(zhàn)場(chǎng)。

與此同時(shí)，生成式AI技術(shù)也將會(huì)在多個(gè)方面幫助提升網(wǎng)絡(luò)安全運(yùn)維效率，在更深層次改變網(wǎng)絡(luò)安全格局的基礎(chǔ)。

生成式AI的主流企業(yè)用例正在出現(xiàn)

生成式AI是一種利用深度學(xué)習(xí)技術(shù)生成高質(zhì)量?jī)?nèi)容的人工智能，其基于深度學(xué)習(xí)技術(shù)的生成式算法、生成式函數(shù)和無(wú)模板調(diào)用。

在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、機(jī)器翻譯等領(lǐng)域具有廣泛的應(yīng)用。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展和應(yīng)用場(chǎng)景的擴(kuò)大，生成式AI將在未來(lái)獲得更廣泛的應(yīng)用。目前，有三種企業(yè)用例正在成為行業(yè)主流。

首先，在客戶支持方面，生成式AI包括GPT和其他大型學(xué)習(xí)模型，正在將對(duì)話式聊天機(jī)器人的能力轉(zhuǎn)變?yōu)橐环N感覺(jué)自然、更加準(zhǔn)確、能更好感知和應(yīng)對(duì)語(yǔ)氣和情緒的能力。

因此，產(chǎn)品支持聊天機(jī)器人中的對(duì)話式人工智能是我們?cè)跇I(yè)界看到的第一批企業(yè)用例之一。這些聊天機(jī)器人可以搜索和查詢現(xiàn)有的內(nèi)部信息，并以類似人類的方式進(jìn)行交流，為客戶回答問(wèn)題和解決常見(jiàn)問(wèn)題。

對(duì)于已經(jīng)使用某種形式的對(duì)話式人工智能的公司來(lái)說(shuō)，GPT提高了響應(yīng)質(zhì)量和客戶滿意度。而對(duì)于希望將其人工呼叫中心轉(zhuǎn)換為反應(yīng)更迅速、永遠(yuǎn)在線且更有效的公司來(lái)說(shuō)，GPT成為了一個(gè)極具吸引力的選擇。

第二，圍繞商業(yè)洞察力，數(shù)據(jù)科學(xué)最大的挑戰(zhàn)之一是將商業(yè)用戶與數(shù)據(jù)科學(xué)家分開(kāi)。

前者最了解業(yè)務(wù)的細(xì)微差別和需要回答的問(wèn)題，但只有后者才能真正用計(jì)算機(jī)語(yǔ)言編程來(lái)獲得這些問(wèn)題的答案。生成式AI現(xiàn)在允許商業(yè)用戶用自然語(yǔ)言提出問(wèn)題。

AI可以將這些問(wèn)題轉(zhuǎn)換為SQL查詢，針對(duì)內(nèi)部數(shù)據(jù)庫(kù)運(yùn)行，并以結(jié)構(gòu)化的敘述方式返回答案，所有這些都在幾分鐘之內(nèi)。這里的優(yōu)勢(shì)不僅僅是效率，它是決策的速度和業(yè)務(wù)用戶更直接、更具交互性地詢問(wèn)數(shù)據(jù)的能力。

第三，在編程自動(dòng)化方面，大型語(yǔ)言模型在多種語(yǔ)言中具有很高的準(zhǔn)確性，包括計(jì)算機(jī)語(yǔ)言。

軟件開(kāi)發(fā)人員編寫(xiě)代碼和相關(guān)文檔的時(shí)間幾乎減少了50%。例如，微軟的Power Automate程序——一種機(jī)器人流程自動(dòng)化的工具，現(xiàn)在可以使用自然語(yǔ)言編程，以更直觀和用戶友好的方式實(shí)現(xiàn)任務(wù)和工作流程的自動(dòng)化。

這不僅比讓大型的程序員和測(cè)試人員團(tuán)隊(duì)參與進(jìn)來(lái)更有效率，而且還減少了自動(dòng)化啟動(dòng)和運(yùn)行的時(shí)間和迭代。

防范生成式AI風(fēng)險(xiǎn)已成企業(yè)必修課

我們需要看到，生成式AI技術(shù)是把“雙刃劍”，其在推動(dòng)社會(huì)進(jìn)步的同時(shí)，也有可能帶來(lái)技術(shù)、設(shè)計(jì)、算法以及數(shù)據(jù)等方面的安全風(fēng)險(xiǎn)。因此，必須做好前瞻研究，建立健全保障人工智能健康發(fā)展的法律法規(guī)、制度體系、倫理道德，在重視防范風(fēng)險(xiǎn)的同時(shí)，同步建立容錯(cuò)、糾錯(cuò)機(jī)制，努力實(shí)現(xiàn)規(guī)范與發(fā)展的動(dòng)態(tài)平衡。

理解安全風(fēng)險(xiǎn)的來(lái)源，首先需明了其運(yùn)轉(zhuǎn)的特征和原理。生成式AI具有“大數(shù)據(jù)、大模型、大算力”三大技術(shù)特征，以及自然語(yǔ)言理解、知識(shí)工程方法、類腦交互決策等關(guān)鍵技術(shù)。

因此，這使得生成式人工智能具備社會(huì)價(jià)值、用戶使用、數(shù)據(jù)合規(guī)，數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量五大風(fēng)險(xiǎn)，這些風(fēng)險(xiǎn)在金融、醫(yī)療、教育、電商、傳媒等各領(lǐng)域和應(yīng)用場(chǎng)景都已有所體現(xiàn)。

年初以來(lái)，我國(guó)相關(guān)部門(mén)已推進(jìn)多項(xiàng)相關(guān)監(jiān)管法案落地。其中，4月11日，國(guó)家網(wǎng)信辦起草《生成式人工智能服務(wù)管理辦法（征求意見(jiàn)稿）》（以下簡(jiǎn)稱《辦法》）并向社會(huì)公開(kāi)征求意見(jiàn)。

該《辦法》聚焦隱私安全、技術(shù)濫用、知識(shí)產(chǎn)權(quán)和他人權(quán)益三大問(wèn)題，為AIGC的發(fā)展建立了防護(hù)機(jī)制。

像任何新興技術(shù)一樣，生成式AI的最大挑戰(zhàn)之一是其相對(duì)不成熟。雖然生成式AI非常適合在個(gè)人使用中試驗(yàn)聊天機(jī)器人，但它在主流企業(yè)應(yīng)用中仍處于早期。

部署它的組織不得不自己做很多繁重的工作，比如通過(guò)實(shí)驗(yàn)找到最佳的使用案例，在不斷增加的、令人困惑的可用選項(xiàng)列表中進(jìn)行篩選（例如在OpenAI的ChatGPT服務(wù)與微軟Azure之間進(jìn)行選擇），或者將其整合到他們的業(yè)務(wù)流程中（通過(guò)將其充分整合到許多應(yīng)用工作流中）。

結(jié)果是，隨著技術(shù)的成熟，這其中的大部分都會(huì)消失，廠商會(huì)將更多技術(shù)以一種整合的方式納入到他們的核心產(chǎn)品中。

第二，生成式AI的主要缺陷之一是可能產(chǎn)出不正確但明顯令人信服的回答。由于GPT在自然語(yǔ)言處理方面取得了重大進(jìn)展，因此存在一個(gè)相當(dāng)大的風(fēng)險(xiǎn)，即它提供的答復(fù)聽(tīng)起來(lái)是正確的，但事實(shí)上是錯(cuò)誤的。

在準(zhǔn)確性至關(guān)重要的行業(yè)，如醫(yī)療保健或金融服務(wù)，這是不允許發(fā)生的事情。企業(yè)必須仔細(xì)選擇正確的應(yīng)用領(lǐng)域，然后建立治理和監(jiān)督，以減輕這種風(fēng)險(xiǎn)。

第三，企業(yè)需要注意設(shè)置和管理企業(yè)準(zhǔn)則，數(shù)據(jù)隱私以及維護(hù)受保護(hù)企業(yè)數(shù)據(jù)的機(jī)密性是企業(yè)成功的關(guān)鍵。因此，作為第一步，定義和設(shè)置適當(dāng)?shù)钠髽I(yè)準(zhǔn)則是至關(guān)重要的。

除了機(jī)密或個(gè)人身份識(shí)別或其他受保護(hù)數(shù)據(jù)丟失的風(fēng)險(xiǎn)外，用專有數(shù)據(jù)訓(xùn)練公開(kāi)可用的語(yǔ)言模型的額外風(fēng)險(xiǎn)是，它可能導(dǎo)致知識(shí)產(chǎn)權(quán)的無(wú)意損失，特別是當(dāng)基于訓(xùn)練的結(jié)果被提供給其他競(jìng)爭(zhēng)對(duì)手時(shí)。

要有健全的政策和框架很難，因?yàn)樗鼈儽仨氁环矫嫫胶鈩?chuàng)新的需要，另一方面平衡生成式AI的相關(guān)風(fēng)險(xiǎn)。

最后，在過(guò)度沉迷于被炒作的技術(shù)和專注于最高回報(bào)計(jì)劃之間找到適當(dāng)?shù)钠胶饪赡芫哂刑魬?zhàn)性。組織需要確保他們?yōu)樽罹o迫的計(jì)劃分配適當(dāng)?shù)馁Y本和資源。

另一方面，那些坐等技術(shù)成熟太久的組織，可能會(huì)失去AI在行業(yè)主流化的機(jī)會(huì)，落后于可能對(duì)他們的業(yè)務(wù)產(chǎn)生重大影響的最新技術(shù)，并降低他們的持久競(jìng)爭(zhēng)優(yōu)勢(shì)。

治理思路回歸AI本源

在應(yīng)對(duì)生成式AI安全風(fēng)險(xiǎn)的思路與策略上，AI技術(shù)本身具備的特性已經(jīng)受到業(yè)界重視。通過(guò)傳統(tǒng)的ICT網(wǎng)絡(luò)安全模式已無(wú)法適應(yīng)當(dāng)前生成式AI帶來(lái)的安全，而AI在逆向估算能力尤其是針對(duì)有些惡意軟件的反逆向工程能力，效果非常突出。

目前業(yè)內(nèi)普遍認(rèn)同，AI的服務(wù)能力估算已能達(dá)到從業(yè)技術(shù)人員四到五年的水平，而通過(guò)AI算力提升防御數(shù)字化水平，再加上作為輔助的自動(dòng)化運(yùn)營(yíng)，這使得在應(yīng)對(duì)生成式AI風(fēng)險(xiǎn)方面具有先天優(yōu)勢(shì)。

這一背景，也使得以安全大模型來(lái)治理生成式AI的風(fēng)險(xiǎn)，成為行業(yè)共識(shí)。

這就需要從“場(chǎng)景牽引，技術(shù)驅(qū)動(dòng)，生態(tài)協(xié)同”三個(gè)方面進(jìn)行建設(shè)，應(yīng)用AI實(shí)現(xiàn)安全行業(yè)工作范式重塑，通過(guò)大模型解決實(shí)戰(zhàn)態(tài)勢(shì)指揮調(diào)度、紅藍(lán)對(duì)抗輔助決策以及安全運(yùn)營(yíng)效能提升三大問(wèn)題。

一方面，抓住生成式AI最根本的元素——數(shù)據(jù)和算法，以此為突破口，把控大數(shù)據(jù)源頭治理，提前布局和構(gòu)建系統(tǒng)性大數(shù)據(jù)防火墻，控制和防范數(shù)據(jù)泄密。

同時(shí)，應(yīng)及時(shí)啟動(dòng)并優(yōu)化國(guó)家級(jí)自主研發(fā)數(shù)據(jù)庫(kù)系統(tǒng)和備份系統(tǒng)，抓緊布局和研發(fā)AI大數(shù)據(jù)控制系統(tǒng)、分級(jí)分層享用系統(tǒng)、網(wǎng)絡(luò)風(fēng)險(xiǎn)防范系統(tǒng)以及由此產(chǎn)生的AI智能管控監(jiān)督架構(gòu)系統(tǒng)。

另一方面，采取多種舉措推動(dòng)生成式AI的技術(shù)發(fā)展與治理。鼓勵(lì)生成式AI技術(shù)在各行業(yè)、各領(lǐng)域的創(chuàng)新應(yīng)用，探索優(yōu)化應(yīng)用場(chǎng)景，構(gòu)建應(yīng)用生態(tài)體系。

支持行業(yè)組織、企業(yè)、教育和科研機(jī)構(gòu)、公共文化機(jī)構(gòu)、有關(guān)專業(yè)機(jī)構(gòu)等在生成式AI技術(shù)創(chuàng)新、數(shù)據(jù)資源建設(shè)、轉(zhuǎn)化應(yīng)用、風(fēng)險(xiǎn)防范等方面開(kāi)展協(xié)作。推動(dòng)生成式AI基礎(chǔ)設(shè)施和公共訓(xùn)練數(shù)據(jù)資源平臺(tái)建設(shè)。

促進(jìn)算力資源協(xié)同共享，提升算力資源利用效能。推動(dòng)公共數(shù)據(jù)分類分級(jí)有序開(kāi)放，擴(kuò)展高質(zhì)量的公共訓(xùn)練數(shù)據(jù)資源。

如今，爭(zhēng)奪“數(shù)據(jù)主權(quán)”已經(jīng)成為全球數(shù)據(jù)安全發(fā)展新態(tài)勢(shì)，隨著各國(guó)紛紛出臺(tái)數(shù)據(jù)戰(zhàn)略，立法維護(hù)國(guó)家數(shù)據(jù)主權(quán)。

在此背景下，提升生成式AI的安全性將成為全球各國(guó)未來(lái)的產(chǎn)業(yè)重任之一，而我國(guó)安全企業(yè)已然邁出重要一步。

【關(guān)于科技云報(bào)道】

專注于原創(chuàng)的企業(yè)級(jí)內(nèi)容行家——科技云報(bào)道。成立于2015年，是前沿企業(yè)級(jí)IT領(lǐng)域Top10媒體。獲工信部權(quán)威認(rèn)可，可信云、全球云計(jì)算大會(huì)官方指定傳播媒體之一。深入原創(chuàng)報(bào)道云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等領(lǐng)域。

審核編輯 黃宇