摘? 要：網絡流量分析是安全威脅檢測的一個重要研究方向。當前流量分析主要采取事件特征信息與特征庫匹配的方式，然而該方式存在特征庫組織簡單和更新不及時的缺點。此外，持續(xù)攻擊技術更新快，容易規(guī)避現有規(guī)則，從而導致檢測的漏報和誤報率較高。為此提出并設計了一種網絡流量安全智能分析系統(tǒng)。該系統(tǒng)能夠自動學習網絡流量的特征，智能地識別出異常并進行深度分析，從而可以準確快速定位問題并提高安全防護能力。

伴隨著互聯(lián)網技術與應用的快速發(fā)展，網絡流量迎來爆炸式增長。安全方面，網絡邊界模糊給流量監(jiān)測帶來了一定的挑戰(zhàn)，同時惡意流量的增加提高了安全防護的難度。近年來，以機器學習為核心的人工智能（Artificial Intelligence，AI）技術在計算機視覺、語音識別、自然語言處理等方面取得了較好的應用效果，展現了機器學習在分類、預測及輔助決策方面的能力優(yōu)勢，也為解決網絡空間安全問題帶來了新的途徑。目前，機器學習技術在惡意樣本檢測、域名生成算法（Domain Generation Algorithms，DGA）域名檢測、域名系統(tǒng)（Domain Name System，DNS）隧道檢測、惡意加密流量檢測、威脅情報挖掘等領域都有一定的應用。根據高德納咨詢公司（Gartner）的定義，網絡流量分析技術是以網絡流量為基礎，應用 AI、大數據處理等先進技術，基于流量行為數據進行實時分析并展示異常事件的客觀事實的技術。

本文主要對網絡流量安全智能分析系統(tǒng)中的AI 關鍵技術應用及系統(tǒng)的實現和驗證進行全面的闡述。本文通過研究實時流量的采集、存儲、分析過程，構建安全數據分析模型，將智能化的分析方法應用到網絡流量采集與分析中，提高網絡威脅與違規(guī)行為的精準識別研判能力，從而能夠及時發(fā)現并追蹤溯源潛伏周期更長、攻擊手段更加隱蔽的威脅，為應急響應與預警處置提供有力的數據支撐。?

１AI 在安全領域的應用

AI 在安全領域的應用是當前國內外企業(yè)技術創(chuàng)新和應用創(chuàng)新的重點。中國工程院院士方濱興指出了新技術和安全之間存在的兩種關系：第一種是新技術服務于安全即新技術賦能安全，既可以服務于防御，也可以服務于攻擊；第二種是新技術引入新的安全問題，即新技術和安全是伴生關系。AI 作為新技術，既可以賦能網絡安全，提升網絡防護能力，也可以被惡意利用，增強攻擊性和破壞影響力 。同時，AI 技術自身存在脆弱性，如果被攻擊者利用，可能會引發(fā)新的安全風險 。

近年來，AI 的發(fā)展得益于 3 個主要驅動力：（1）特征降維、人工神經網絡、概率圖形模型、強化學習和元學習等方面的新理論和新技術層出不窮，在學術和工業(yè)領域都取得明顯突破；（2）計算能力的進步使許多計算資源消耗型機器學習算法可以大規(guī)模普及；（3）在大數據時代，數據資源的極大豐富可以讓機器學習模型泛化能力更強，尤其是深度學習技術使學者們能夠基于更多數據來構建合理的 AI模型，讓機器發(fā)揮更大的潛力，也讓各種任務取得更好的結果 。

AI 的安全應用是指以 AI 相關技術為支撐的安全應用，具體分為安全防御和安全攻擊兩個方面的應用。安全防御是指基于 AI 的安全檢測、安全防護等應用，比如入侵檢測、入侵防御；安全攻擊是指基于 AI 的入侵隱藏、行為欺騙等應用，比如社會工程攻擊。

２AI 在安全領域應用的現狀

隨著網絡安全技術向動態(tài)防御和主動防御演進，AI 以其對網絡安全威脅的快速識別和反應以及自主學習的巨大潛力，成為推動網絡安全技術創(chuàng)新的重要引擎。當前，AI 已從初期的惡意軟件監(jiān)測廣泛應用到入侵檢測、態(tài)勢分析、云防御、反欺詐、物聯(lián)網安全、移動終端安全、安全運維等諸多領域 。例如，在入侵檢測方面，以色列 Hexadite公司利用 AI 來自動分析威脅，迅速識別和解決網絡攻擊，幫助企業(yè)內部安全團隊管理和優(yōu)先處理潛在威脅；我國山石網科公司研發(fā)的智能防火墻，可基于行為分析技術，幫助客戶發(fā)現未知網絡威脅，且能夠在遭受攻擊的全過程中提供防護和檢測。在終端安全方面，美國 CrowdStrike 公司開發(fā)了基于大數據分析的終端主動防御平臺，可以識別移動終端的未知惡意軟件，監(jiān)控企業(yè)的數據，偵測零日威脅，并形成一套快速響應措施，提高黑客開展攻擊的風險和代價。在安全運維方面，美國的 Jask 公司采用 AI 算法對日志和事件等數據進行優(yōu)先級排序并逐一分析，以協(xié)助安全分析師發(fā)現網絡中有攻擊性的威脅，提高安全運營中心的運營效率。從應用深度看，AI 在網絡安全的應用程度仍處于前期積累階段，除可提升部分網絡安全防護產品性能外，基于 AI 技術的網絡安全防護體系的創(chuàng)新仍在研究和試驗階段。目前，國外安全企業(yè)起步較早，如英國DarkTrace 公司基于劍橋大學的機器學習和 AI 算法仿生人類免疫系統(tǒng)，致力于實現網絡自動自主防御潛在威脅，能夠幫助企業(yè)快速識別并應對人為制造的網絡攻擊，同時還能預防基于機器學習的網絡攻擊。相比之下，國內基于 AI 技術的網絡安全防護整體解決方案尚處于研究階段，仍需繼續(xù)探索如何利用 AI 技術實現整體網絡安全防護體系和架構的創(chuàng)新優(yōu)化。

３AI 在網絡流量智能分析中的應用

網絡流量作為記錄和反映網絡及其用戶活動的重要載體，幾乎可以跟所有與網絡相關的活動聯(lián)系在一起。對于網絡威脅而言，網絡流量特征正是黑客入侵及其他威脅行為發(fā)生時會隨之產生的重要特征。對于網絡攻擊而言，不論攻擊成功與否，攻擊行為的載體只可能是網絡流量；因此，對海量的網絡流量數據進行收集和處理后，經由系統(tǒng)智能分析模型的分析，可以自動感知網絡明文流量中的異常行為、異常流量并及時報警，達到識別非法應用協(xié)議、網絡攻擊行為的目的，提升用戶應對應用系統(tǒng)異常行為的效率。

3.1　系統(tǒng)功能架構

通過對積累的異常行為和網絡攻擊的數據特征進行深入研究，將研究結果用于網絡流量深度檢測，可以突破目前的瓶頸，增強對未知威脅的識別能力和上報能力。按照流程，網絡安全流量智能分析系統(tǒng)需將采集到的數據進行處理后入庫，然后從數據庫中提取要分析的數據，使用智能分析模塊進行分析，最終提供異常行為監(jiān)測、威脅監(jiān)測，以及數據共享配置管理。系統(tǒng)功能架構如圖 1 所示。

圖 1　功能架構

數據采集模塊收取探針發(fā)送的流量數據，實現網絡全流量采集功能；數據處理模塊對收取的流量數據進行預處理，包括標準化和格式化，保證數據的完整性和可用性。智能分析模塊負責提供智能分析的基本方法，即作為系統(tǒng)內置的智能分析工具箱，提供包括但不限于關聯(lián)分析、檢索分析、機器學習、行為分析、AI 分析、可視化建模分析等分析方法。異常行為監(jiān)測模塊對各種異常行為的特征進行深入研究，融合構建出異常行為數據模型，實現對網絡內違規(guī)行為的識別，可以識別的網絡的違規(guī)行為包括但不限于失竊密檢測、失陷賬號分析、離群分析、虛擬專用網絡（Virtual Private Network，VPN）登陸地域賬號分析、合規(guī)分析、異常賬號登錄分析、特權濫用分析、資產外聯(lián)分析等。

威脅監(jiān)測模塊對收取到的全流量數據基于數據特征進行智能分析，識別當前網絡中存在的威脅。針對復雜的安全場景，首先可基于單條數據特征、周期、頻率等簡單分析邏輯進行分析建模，發(fā)現潛在威脅；其次，通過基于時間序列的多條數據關聯(lián)分析建模，對數據和數據之間的因果依賴、發(fā)生順序、上下文進行分析以發(fā)現潛在威脅。可以識別的威脅包括但不限于外聯(lián)流量攻擊、異常流量、暴力破解，僵尸主機、結構化查詢語言（Structured Query Language，SQL）注入攻擊等。此外，支持自學習的流量分析模型，能夠動態(tài)優(yōu)化或修正模型的參數、閾值，能夠識別流量型攻擊和應用型攻擊等。數據共享配置管理模塊接收管理系統(tǒng)下發(fā)的策略，進行軟件配置、狀態(tài)檢測和信息收集上報，并為了滿足多個系統(tǒng)之間的數據交互與共享，制定數據共享規(guī)范，對數據外發(fā)的接口、參數、協(xié)議進行標準化，從而實現多系統(tǒng)流量數據共享。

3.2 　系統(tǒng)軟件架構

按照體系架構的設計，軟件實現上劃分為數據采集、數據匯入、存儲計算、數據智能分析、安全應用 5 個部分。軟件架構如圖 2 所示。

圖 2 系統(tǒng)軟件架構

數據采集層通過探針實時接收全流量數據，并實時進行流量智能識別。收集到的數據，通過數據接入接口，進入數據匯入層。在數據匯入層實現數據的預處理、數據入庫，并進行相應的數據治理，比如提供數據源的管理和監(jiān)控。

存儲計算層，提供分布式的存儲與計算環(huán)境，以及資源調度機制。

數據智能分析層可以提供檢索分析、智能安全分析和調查分析。其中的智能安全分析，可以在智能模型的基礎上，提供關聯(lián)分析、深度分析、行為分析、機器學習等分析類型。同時可以對模型進行統(tǒng)一的任務管理、調控和智能修正等操作。

安全應用層使用基礎的智能分析工具，提供專項監(jiān)測，如異常行為監(jiān)測、威脅監(jiān)測、安全監(jiān)測，并提供數據共享的配置管理。

3.3　系統(tǒng)關鍵技術

網絡流量安全智能分析中，主要結合并應用的AI 關鍵技術如下文所述。

3.3.1　基于自學習的網絡威脅特征輪廓掃描技術

流量自學習掃描是為了掃描出正常狀態(tài)下的網絡基線，在流量學習中最重要的是學習配置結構。學習配置結構是描述學習方式及學習結果應用方式，主要包含配置學習周期時長、學習次數（包括無限次）、掃描策略生成方式、掃描策略自動生成條件等。

3.3.2　隱蔽惡意流量檢測技術

很多惡意攻擊者對安全規(guī)則、內控措施非常了解，他們很清楚哪種操作實施到哪種程度會觸發(fā)報警。因此，惡意人員會通過降低非法操作行為的次數和規(guī)模，潛藏在正常流量中以避免被傳統(tǒng)安全系統(tǒng)檢測到，達到隱蔽攻擊的目的，而傳統(tǒng)的檢測方式難以檢測此類隱蔽威脅。隱蔽惡意流量檢測技術通過利用長周期分流量行為進行構建，將行為特征進行橫向與縱向對比，檢測長期低頻等隱蔽惡意流量行為。

3.3.3　基于隱馬爾科夫的行為序列建模技術

基于隱馬爾科夫的行為序列建模技術首先提取網絡流量數據中的行為特征作為當前被檢測用戶的行為特征；其次提取訓練序列的行為特征，建立正常序列庫，并訓練序列的馬爾科夫鏈狀態(tài)集，計算該馬爾科夫鏈狀態(tài)的轉移概率矩陣，以此來描述用戶的正常行為 ；最后將被檢測用戶的行為特征與歷史行為特征進行對比，判斷當前行為是否為異常行為：如果兩者的偏離超過一定閾值，則認為是異常的；如果兩者的偏離在正常范圍內，則認為正常。

3.3.4　異常登陸行為檢測技術

針對賬號的異地登陸、頻繁登陸進行檢測，通過對安全域過濾、維度過濾、條件過濾等算子的研究，對異常登陸行為進行識別。

3.3.5　惡意鏈接檢測技術

常見的網絡攻擊中，惡意鏈接經常扮演著重要角色，并被廣泛應用到各種類型的攻擊中，如釣魚、垃圾郵件、SQL 注入以及惡意軟件。傳統(tǒng)的識別方法是基于黑名單檢測和規(guī)則檢測，但黑名單具有漏判嚴重、時效性低的缺點，而規(guī)則檢測容易被攻擊者繞過。惡意鏈接檢測技術基于機器學習算法，通過分析惡意鏈接的特點提取關鍵特征進行訓練，可以彌補黑名單和規(guī)則檢測的不足。

3.3.6　基于大數據的分布式關聯(lián)分析技術

將異常流量、異常行為、潛在威脅等分析結果作為輸入數據的同時，接入各種其他類型的數據，如安全日志、流量數據、資產數據、漏洞數據、威脅情報數據等，并使用基于大數據的分布式關聯(lián)分析技術、圖計算技術等，實現追蹤溯源，以及實現高級持續(xù)性攻擊、定向攻擊等場景分析。

４系統(tǒng)的實現、演示和驗證

4.1　演示驗證環(huán)境

為了驗證網絡流量安全智能分析系統(tǒng)的數據采集、存儲、深度分析、智能識別威脅和實時監(jiān)測異常流量的能力，需對網絡流量安全智能分析系統(tǒng)進行功能驗證與安全場景的演示驗證。網絡流量安全智能分析系統(tǒng)在實際驗證過程中，部署于單位網絡出口處。網絡流量安全智能分析系統(tǒng)在演示驗證環(huán)節(jié)，使用系統(tǒng)最小部署模式，如圖 3 所示。

圖 3 網絡流量安全智能分析系統(tǒng)演示驗證部署

4.2　系統(tǒng)分析模型

通過針對網絡特點進行安全場景的構建和對數據分析模型的研究，并綜合運用通用的智能分析方法和威脅識別技術，如表 1 所示，構建了網絡流量安全智能分析系統(tǒng)中常用的網絡安全場景下的數據分析模型、實現思路和運用的智能算子的對應關系。

表 1? 數據模型、實現思路和運用的智能算子對應表

4.3 　關鍵指標驗證

在試驗環(huán)境下，結合對網絡流量安全智能分析系統(tǒng)的要求，可以對以下 4 個方面的關鍵指標進行驗證：（1）能夠根據網絡業(yè)務對網絡流量情況進行智能分析，自動生成流量行為模型，根據該模型及時發(fā)現網絡中的異常流量行為。在相對獨立和封閉的一些專用網絡中，無法借助互聯(lián)網上的多種手段進行網絡內的異常發(fā)現，只有借助流量數據進行分析，因此對流量的智能分析非常重要。因此，通過智能化的方法從流量數據中分析出日常的規(guī)律，將其作為基線，當有不符合該基線的流量出現時，說明有疑似異常的行為出現。（2）機器學習算法支持的屬性至少包括應用協(xié)議類型，源目的地址，數據包數，數據包字節(jié)發(fā)現分布，網絡流向，時間維度，數據類型等 7 種維度屬性。發(fā)生異常行為時，體現在流量數據特征上的可能有多種維度，比如使用了非法的協(xié)議、產生了過大的流量、錯誤的時間序列等。因此，需要智能分析行為基線的機器學習方法，且至少能夠支持流量數據的 7 個基本維度屬性。（3）支持自學習的流量分析模型，能夠動態(tài)優(yōu)化或修正模型的參數和閾值，能夠識別流量型攻擊和應用型攻擊。在實際的業(yè)務運轉過程中，不同階段、不同時期、不同區(qū)域、不同業(yè)務系統(tǒng)，對正常流量的標準可能會不同。因此，需要流量分析模型具備動態(tài)調整參數和基線的功能。（4）網絡行為數據的特征建模方式不少于 5種。網絡中的異常行為都有其特征，識別異常行為的模型也是依據數據特征進行匹配和計算。根據業(yè)務的需要，能夠識別出的異常行為不少于 5 種，至少包括非法賬戶、非法權限等類型。（5）能夠識別至少 4 種網絡流量攻擊。網絡中的攻擊行為也會在網絡流量數據中體現其相應的特征，需要能識別不少于 4 種常見的攻擊行為。

５應用場景

本系統(tǒng)的研究成果可應用于以下場景：（1）面向大規(guī)模網絡的全維流量智能分析。可進行分布式的、多網絡節(jié)點的全維流量采集，由系統(tǒng)生成分析模型，自動感知網絡明文流量中的異常行為、異常流量并及時報警，識別非法應用協(xié)議、網絡攻擊行為，提升用戶應對應用系統(tǒng)異常行為的處理效率。（2）面向網絡空間作戰(zhàn)的未知威脅深度檢測。利用該系統(tǒng)可提升未知威脅的發(fā)現能力，并且可以靈活擴展威脅識別算法，從而提高檢測的準確性，并能夠告警上報未知的惡意代碼和異常行為。（3）面向高級持續(xù)性威脅的網絡攻擊溯源分析。系統(tǒng)使用智能化的數據模型從全流量數據中分析出攻擊者的路徑和所處的攻擊階段，對持續(xù)性威脅進行追蹤和溯源分析。（4）全局網絡安全預警。系統(tǒng)可對網內各個關鍵節(jié)點中的潛在惡意行為、攻擊行為綜合監(jiān)測，對監(jiān)測結果及時響應和上報，通過協(xié)同防御手段進行安全預警，實現全局防護。

６結　語

本文將智能化分析方法應用到網絡流量采集與分析中，可以提高復雜網絡的實時監(jiān)測能力，提高網絡威脅與違規(guī)行為精準識別研判能力，能應對潛伏周期更長、攻擊手段更加隱蔽的威脅。本文設計的網絡流量安全智能分析系統(tǒng)能夠及時發(fā)現安全威脅并追蹤溯源，可以為應急響應與預警處置提供有力的數據支撐。本文方案的應用目標是達到網絡流量分析的智能化，通過建立網絡流量安全智能分析模型，自動感知網絡明文流量中的異常行為、異常流量并及時報警，識別非法應用協(xié)議、網絡攻擊行為。

引用本文：羅秀春 , 陳睿智 . 人工智能在網絡流量分析中的研究與應用 [J]. 通信技術 ,2022,55(2):258-264.

作者簡介 >>>

羅秀春，女，碩士，工程師，主要研究方向為網絡安全；

陳睿智，男，本科，工程師，主要研究方向為網絡安全。

編輯：黃飛

?