電子發燒友App
背景
應用安全領域，各類攻擊長久以來都危害著互聯網上的應用，在web應用安全風險中，各類注入、跨站等攻擊仍然占據著較前的位置。WAF(Web應用防火墻)正是為防御和阻斷這類攻擊而存在，也正是這些針對Web應用的安全威脅促使了WAF這個產品的不斷發展和進化。同時，各種機器學習算法和模型也被不斷提出和應用在WAF等安全產品中，以期望解決這些風險。
然而這些算法大多都以監督學習為主，通過標注的正負樣本數據，構建針對特定攻擊類型的分類模型。安全領域通常面臨著「問題空間不閉合」、「正負樣本空間嚴重不對稱」等通用問題，只是利用機器學習算法做攻擊檢測同傳統安全檢測技術一樣，并不能解決「漏誤報難平衡」、「覆蓋規模與檢測性能難平衡」等問題。
那阿里云WAF智能防御體系AI內核是如何突破這些問題的？本文就來一探究竟。
阿里云WAF 已入選Gartner 2019 WAF魔力象限，且是亞太唯一入圍的廠商，同時阿里云WAF算法能力被Gartner評為強勢功能。云WAF AI內核為云WAF提供核心機器智能能力，為客戶提供精細化個性化智能化的防護，最大程度降低安全風險。AI驅動的智能安全系統趨勢明顯，所帶來的收益也會越來越大。
阿里云WAF-AI內核技術簡介
在阿里云WAF的智能防御體系中，內嵌一顆AI內核，不同于以往的只關注攻擊檢測的算法或規則。阿里云WAF-AI內核采用「流量分層治理」與「千站千面防護」的智能安全思想，將流量整體分為白、灰、黑三大層，在每一層中部署不同類型的機器智能模型（主動防御模型、異常檢測模型、LTD攻擊檢測模型、故障預警模型、漏報感知模型、誤報感知模型等），各層之間的各個智能模型各司其職、各體自洽、各級聯動，共同協同形成一套對抗應用層基礎威脅的決策智能體。同時，對不同的站點利用機器智能自主生成自適應與該站點業務的防護規則或模型，即一千個站點有著一千套不同的定制化的防御體系，相當于增加了成千上萬的安全專家與黑客攻擊進行對抗，總體形成精細化個性化的智能安全系統。
主動防御模型
主動防御采用阿里云自研的流量模式學習算法自動學習域名的合法流量，利用無監督的方式，對每個站點合法訪問流量進行學習和刻畫，機器自主生成對白流量的安全白規則。同時在線上生成數百萬條規則，相當于增加了成千上萬的安全專家。
異常檢測模型
異常檢測模型同樣利用「千站千面」的思想，采用多種異常檢測器從請求片段、時序序列等各種維度識別每個站點的灰流量，機器自主生成對灰流量的數百萬個檢測模型；
攻擊檢測模型
LTD攻擊檢測模型（Locate-Then-Detect）是基于機器視覺方法的深度學習攻擊檢測模型，由兩個深度神經網絡組成，分別為PLN（Payload Locating Network 攻擊載荷靶向定位網絡）與PCN（Payload Classification Network 攻擊載荷分類網絡）。通過兩個深度神經網絡的結合，可以準確的定位惡意Payload所在的位置，并對其類型進行精準識別。LTD一方面借助深度學習強大的特征提取能力，增強了對威脅檢測的泛化，能夠發現更多變種攻擊，另一方面LTD模型結合了Object Detection和注意力機制的思想，首次解決了深度學習在網絡攻擊檢測領域的可解釋性問題。該成果已入選人工智能頂級學術會議IJCAI 2019。
其他模型
除此之外，阿里云WAF AI內核還具備故障預警模型、漏報主動感知模型、誤報主動感知模型等。
阿里云WAF AI內核的整體思想「分層治理」和「千站千面」屬于較大的技術創新變革，不僅僅可以應用在應用層的安全檢測中，在其他安全場景下也能適用，是通用的智能安全系統的核心范式。
阿里云WAF簡介
阿里云Web應用防火墻（Web Application Firewall，簡稱WAF）基于云安全大數據和智能計算能力，通過防御SQL注入、XSS跨站腳本、常見Web服務器插件漏洞、木馬上傳、非授權核心資源訪問等OWASP常見Web攻擊，對網站或者App的業務流量進行惡意特征識別和防護，將正常、安全的流量回源到服務器。避免網站或App業務服務器遭惡意入侵、保障業務核心數據安全、解決因惡意攻擊導致的服務器性能異常問題。
值得一提的是，Web應用防火墻依托阿里云強大的計算和數據處理能力，通過業界領先的AI深度學習方法，在降低誤報率的同時有效地提高了檢出率。同時，Web應用防火墻可以基于用戶業務訪問端上的模型收集和大數據分析能力準實時處理高危請求。另外，Web應用防火墻還提供自動報警和全局響應規則的同步下發和升級功能。
阿里云Web應用防火墻適用于金融、電商、o2o、互聯網+、游戲、政府、保險等行業各類網站或App業務的Web應用安全防護。
Web應用防火墻可以幫助用戶解決以下業務應用安全問題：
防數據泄密：避免因黑客的注入入侵攻擊，導致網站核心數據被拖庫泄露。 防御惡意CC攻擊：通過阻斷海量的惡意請求，保障網站可用性。 阻止木馬上傳、網頁篡改，保障網站的公信力。 提供虛擬補丁：針對網站被曝光的最新安全漏洞，最大可能地提供快速修復規則。
Web應用防火墻部署在網絡出入口位置，通過智能防護引擎、專家防護規則、主動防御檢測引擎并結合云端威脅情報能力，實時識別Web攻擊以及惡意Web請求，根據預先配置的防護策略實時防御，從而保障網站應用的安全性與可用性。
阿里云WAF應用的主要技術
正則 + AI雙引擎檢測技術
Antibot實時模型算法反爬技術
大數據威脅情報 + 百萬級IP爬蟲/黑名單一鍵封禁
數據泄露防護技術
海量日志存儲及智能檢索技術
阿里云WAF技術特點和優勢：
阿里云WAF服務于對Web安全、CC攻擊、應用層負載均衡與限速、業務安全、數據風控有需求的云上云下用戶，經過多年的技術積累，在傳統Web應用防火墻的基礎技術架構之上進行了多項技術創新：
業務功能拓展：
阿里云WAF除傳統WAF產品所支持的基礎Web攻擊類防護功能、CC防護、頁面防篡改以外，額外拓展了如下功能特性： 1) 業務安全防護: 線上票務系統惡意查詢/占座、論壇垃圾帖、惡意注冊、高風險支付等
2) 客戶端SDK安全聯動，無需修改服務器端邏輯
3) 基于神經網絡深度學習和語義分析的攻擊檢測技術
4) 基于請求內容類型特征概率分析的異常檢測技術
5) 指向性黑客威脅情報分析與溯源
6) 惡意爬蟲防護
7) 敏感信息泄露檢測與防護
8) 千萬級海量惡意IP庫聯動
9) 手機號、銀行卡、身份證信息數據風控
10) 用戶網站業務性能分析
11) 海量訪問日志、攻擊日志存儲與自定義分析
12) 支持安全應用商店：用戶可以直接通過云盾Web應用防火墻中的生態商店一鍵開啟第三方合作方SaaS安全服務商提供的安全功能特性
13) 采用云方式接入，跨多云環境統一管控：云盾Web應用防火墻基于云SaaS模式提供給用戶，接入節點遍布全球，國際版配置支持全球同步和任意國家節點智能就近接入。
威脅檢測/攔截方法創新：
1) 基于深度學習的實時分析與攔截：
將HTTP請求中的文本圖像化表示，使用深度卷積神經網絡對不同攻擊類型的樣本進行訓練，避免人工提取和維護特征，通過添加樣本提升模型的檢測能力。 分離式GPU處理平臺，通過模型調優和推理引擎優化，時延<1.5ms (一般平臺時延在5ms以上)
2) 數據風控與業務安全防御技術：
流式回應注入采集腳本，用戶接入無需改造自身服務邏輯。 云端直接集成大數據風控、人機識別能力。
3) 智能CC防護技術：
對全量用戶正常流量基線建模，對比基線數據模型實時檢測用戶流量異常發現cc攻擊事件，并自動產生正則表達式規則，生成并下發決策動作。 解決了傳統CC防護規則配置繁瑣，用戶學習門檻高，配置項只能基于經驗進行配置，容易誤殺漏殺的問題。
4) 基于隱性馬爾科夫過程的異常請求分析技術：
對用戶正常流量中的請求參數進行文本歸一化映射，對字符分布、字串長度進行隱馬序列概率模型建模，實時對于用戶流量中偏移正常概率的異常請求進行異常攔截、進一步攻擊識別等后續工作。
5) 語義分析攔截引擎：
傳統基于關鍵字正則表達式的SQL注入攻擊檢測、XSS攻擊檢測方法容易誤殺，且對于注釋變形、字符串語法變形等高級攻擊規避方法的檢測效果差。 語義分析攔截引擎基于實際SQL語句、XSS語句詞法、語法分析結合威脅等級綜合判斷攻擊行為，解決了對于高級黑客變形手段的攻擊檢測、攔截問題。
6) 行為分析引擎：
傳統WAF檢測引擎基于特定的攻擊特征進行攻擊識別，無法檢測業務層的異常，例如刷票、搶紅包、惡意占座等場景。 云盾WAF的行為分析引擎對請求中的關鍵行為進行定義、識別。通過分析行為分布、個體行為歷史特征、行為跳轉概率、停留時長、時間和地區分布特征等行為上下文信息，分析識別業務層異常。 線上業務實測可以降低99.8%的驗證碼、滑塊彈出場景，提升用戶體驗。
7) 全球分布式限流：
傳統的令牌桶機制可以較好的解決單機限流問題，但是在云上業務應用場景下常見跨單機、跨集群、跨地域的分布式限流場景，使用傳統單機技術難以解決。 本系統通過分布式協議, 結合預估-租約-動作執行的整體方案, 達到了可伸縮，低延時的資源全球統一管理效果。 通過實現本系統的匹配接口和動作執行接口，可在限流的同時減少對用戶體驗的影響。如基于用戶流量價值的限流，或基于等待時間的限流。
8) 云+SDK整合攔截技術：
傳統WAF部署在網關端，無法直接獲取用戶客戶端環境的信息執行強安全身份校驗，云盾WAF通過與安全SDK聯動，結合終端指紋、云上威脅判斷和人機交互識別滑塊/驗證碼提供傳統網關型WAF無法實現的強身份校驗和通信隧道加密的功能。
9) 無緩存檢測技術：
傳統WAF需要對需要檢測的數據進行緩存，在高并發場景下會存在大量的內存消耗，云盾WAF通過緩存檢測過程中檢測狀態機的快照狀態，不需要對具體的被檢測數據進行緩存，可以支持超過1Gb的數據檢測深度(當前市面上的商業化WAF普遍在100Mb以內)。
10）回應修改與腳本插入技術：
云盾WAF基于自研檢測引擎支持對所處理流量進行HTML標簽粒度的內容修改，可以動態插入新元素、替換現有流量數據，做到在不修改用戶服務器端代碼的情況下做到修改業務邏輯、插入執行代碼等工作。
11）主動防御模型
云盾WAF通過主動對用戶的域名流量學習，定義出哪些是“白”，以達到最佳的防護效果的一種思路，目前主要采用歸一化的技術來將用戶流量中的合法的URL，參數通過模型自動生成正則表達式來表示。
安全事件分析方法創新：
1) 黑客溯源技術：
通過對攻擊者的攻擊會話進行追蹤，持久化的跟蹤黑客攻擊路徑，云盾WAF可以分析單個黑客的攻擊鏈條、并捕獲真人黑客的定向web攻擊。
2) 大數據系統聯動與惡意IP情報系統：
通過對流量日志特征分析挖掘惡意IP，如代理IP、各類爬蟲IP、肉雞IP等多種情報信息。通過將惡意IP情報系統與云防護引擎聯動實現協同防御。
3) 全量日志存儲與分析檢索：
基于飛天大數據基礎設施，所有經過云WAF處理的數據在經過用戶同意后可以做到PB級別全量數據存儲，并進行基于自定義統計語句的快速自定義實時分析和報表定義，并可以作為數據源與用戶自有的安全數據分析系統進行數據對接。
4) 客戶業務質量分析：
云盾WAF的數據分析系統可以基于用戶業務返回值、延遲時間、訪問分布分析客戶業務的實際運行情況與運行質量，為用戶提供性能優化建議。
5) 實況數據大屏
基于實時大數據分析技術和三維數據呈現渲染，云盾WAF提供實時的攔截報警大屏，可以通過WEB端或者YUNOS終端智能設備作為投屏源，幫助用戶實時感知安全威脅。
技術架構創新：
1) 大規模分布式應用層轉發集群
2) 縱深應用層防御體系
3) 線上線下統一安全管理
4) OpenAPI管控接口
5) 安全與轉發平面分離、業務沙箱
阿里云WAF獲獎情況：
作為國內唯一廠商入選2019 Gartner WAF魔力象限，2018年進入Gartner亞太地區報告
連續兩年獲得Frost&Sullivan 大中華區云WAF市場占有率第一
獲得CNCERT 2018年網絡安全創新產品一等獎
產品的Antibot能力進入到Forrester全球技術評測第一陣營
榮獲Freebuf 2016年互聯網安全創新大會”年度云安全產品及服務”
2017、2018年兩次獲得阿里云產品飛天獎、云鼎獎
評委點評
金湘宇 Sec-UN網站創始人/威脅情報推進聯盟發起人：
人工智能技術已經進入了新的應用階段，比起早年對于基礎技術、 平臺的關注，當前業界更加關注于落地的業務場景、實際效果。阿里云將AI技術與其早已成熟的WAF產品結合，將傳統的基于規則、特征的WAF防護產品，利用AI技術實現了異常檢測、攻擊檢測、故障預警、漏洞主動感知和誤報主動感知，將傳統的WAF產品從之前的被動防御逐漸過渡至主動防御，并且在阿里云的眾多用戶中成功進行了運用。阿里云WAF AI驅動的智能防御體系是近年網絡安全領域真正的實質創新之一，也是我今年WitAwards我最推薦的項目之一。
本文為云棲社區原創內容，未經允許不得轉載。
工商網監
評論