談到數(shù)據(jù)庫行業(yè)近幾年的重大變化,我們很容易想到從傳統(tǒng)數(shù)據(jù)庫向云數(shù)據(jù)庫的變遷。而另一個正在悄然發(fā)生的變化不太被人提及,盡管其意義同樣非常重大,這就是數(shù)據(jù)庫的“自治”。實際上,數(shù)據(jù)庫實現(xiàn)“自治”,也就是系統(tǒng)自我管理,是數(shù)據(jù)庫行業(yè)又一個劃時代的變遷。
如果把從傳統(tǒng)數(shù)據(jù)庫向云數(shù)據(jù)庫的轉(zhuǎn)變比喻成“汽車換馬車”的話,那么數(shù)據(jù)庫的“自治”就是從“手動”到“自動”,更準(zhǔn)確地說是到“自動駕駛”。而阿里云4月22日發(fā)布的數(shù)據(jù)庫自治服務(wù)DAS(Database Autonomy Service)就是這一變遷的一個重要標(biāo)志。
給“汽車”加上自動駕駛引擎
近幾年來,隨著云計算的普及,以服務(wù)形式呈現(xiàn)的云數(shù)據(jù)庫應(yīng)運而生,如阿里云的PolarDB、AnalyticDB等。云數(shù)據(jù)庫天生具有的可擴展性、靈活性、高性價比等優(yōu)勢使得其在與傳統(tǒng)數(shù)據(jù)庫的競爭中贏得了先機,得到了市場廣泛認(rèn)可,代表了數(shù)據(jù)庫的未來。Gartner預(yù)計,到2021年云數(shù)據(jù)庫在整個數(shù)據(jù)庫市場中的占比將首次達(dá)到50%。而到2023年,75%的數(shù)據(jù)庫要跑在云平臺之上。
云數(shù)據(jù)庫大大減輕了數(shù)據(jù)庫管理員(DBA)的工作,包括資源彈性、高可用、備份、監(jiān)控等基本運維工作。不過,數(shù)據(jù)庫的運維終究是一件非常復(fù)雜的工作,數(shù)據(jù)庫上云之后還有很多非常復(fù)雜的工作要人來做。
“上云之后,讓數(shù)據(jù)庫發(fā)揮最優(yōu)的效能,對于大部分應(yīng)用開發(fā)者和數(shù)據(jù)庫管理人員而言,需要很多數(shù)據(jù)庫專業(yè)領(lǐng)域知識,依然充滿挑戰(zhàn)?!?阿里云數(shù)據(jù)庫資深技術(shù)專家、DAS產(chǎn)品線負(fù)責(zé)人李廣望表示。
如故障診斷,短時間內(nèi)快速發(fā)現(xiàn)問題、找出原因并解決問題;還有數(shù)據(jù)庫的持續(xù)調(diào)優(yōu)等、SQL Review等,過去這些通常要DBA來參與,效率低,而且嚴(yán)重依賴DBA個人的經(jīng)驗。另外,規(guī)?;\維也是當(dāng)下很多企業(yè)面臨的一個現(xiàn)實問題。當(dāng)企業(yè)的業(yè)務(wù)快速發(fā)展,需要運維成百上千的數(shù)據(jù)庫集群,保證其穩(wěn)定性、伸縮性的挑戰(zhàn)會成指數(shù)型增長,如果還是依賴人工的優(yōu)化和運維,人力成本很快就成為企業(yè)難以承受之重。因此,數(shù)據(jù)庫走向自治就成為一個必然趨勢。
實際上,隨著人工智能、機器學(xué)習(xí)技術(shù)的快速發(fā)展,利用它們來優(yōu)化數(shù)據(jù)庫內(nèi)核以及數(shù)據(jù)庫運維、管控等一系列動作已經(jīng)成為數(shù)據(jù)庫行業(yè)的共識。阿里云此次推出的數(shù)據(jù)庫自治服務(wù)DAS就是一種基于人工智能和機器學(xué)習(xí)技術(shù)實現(xiàn)的、能自動且主動幫助用戶消除數(shù)據(jù)庫管理的復(fù)雜性及人工操作引發(fā)的服務(wù)故障,有效保障數(shù)據(jù)庫服務(wù)的穩(wěn)定、安全及高效。
“從傳統(tǒng)數(shù)據(jù)庫到云原生數(shù)據(jù)庫,相當(dāng)于從馬車時代進(jìn)入汽車時代,但這個汽車還需要駕駛員,而今天我們的數(shù)據(jù)庫自治服務(wù)就相當(dāng)于給云原生數(shù)據(jù)庫加上了自動駕駛引擎,讓現(xiàn)代化的汽車還具備自動駕駛的能力,能夠以非常輕盈的方式、非常便捷而且更穩(wěn)定、更安全、更經(jīng)濟地用好數(shù)據(jù)庫?!崩顝V望表示。
自感知、自修復(fù)、自優(yōu)化、自安全
阿里云的DAS由阿里云及達(dá)摩院聯(lián)合研發(fā),可提供自感知、自修復(fù)、自優(yōu)化、自安全的全鏈路數(shù)據(jù)庫管控能力,無需人工干預(yù),讓企業(yè)像體驗“自動駕駛”一樣使用數(shù)據(jù)庫,數(shù)據(jù)庫管理成本降低90%。
數(shù)據(jù)庫有四大核心訴求,即高性能、高穩(wěn)定性、高安全和低成本。阿里云DAS以其智能異常診斷、SQL自動限流、SQL自動優(yōu)化、AutoScale、智能壓測、智能調(diào)參等六大自治特性,很好地滿足上述四大核心訴求。
“DAS就像一個不需要休息而且計算能力超強的伙伴,幫助企業(yè)去守護(hù)數(shù)據(jù)庫,確保其安全、健康和高性能。” 阿里云數(shù)據(jù)庫產(chǎn)品專家胡航麗表示。
其實,數(shù)據(jù)庫的“自治”并不是一個新詞,幾年前市場已經(jīng)有自治數(shù)據(jù)庫出現(xiàn),不過作為一個獨立的數(shù)據(jù)庫自治服務(wù),阿里云DAS是業(yè)內(nèi)第一個。
“與內(nèi)置在數(shù)據(jù)庫引擎中的自治能力相比,我們從設(shè)計第一天開始就作為數(shù)據(jù)庫‘自動駕駛’級平臺存在,我們是要把自治能力、自動駕駛能力賦能給所有的數(shù)據(jù)庫,包括RDS、PolarDB、ADB、Redis等OLTP/OLAP/NoSQL數(shù)據(jù)庫都要全面支持?!崩顝V望表示。
由于是平臺模式,其對數(shù)據(jù)庫無侵入,使得其更易于推廣到其他數(shù)據(jù)庫、甚至線下的數(shù)據(jù)庫。同時,阿里云DAS還在技術(shù)上實現(xiàn)了重大創(chuàng)新和突破,包括首個全局綜合自治引擎、首個外置式Cost-based SQL診斷引擎、基于全局Workload的優(yōu)化技術(shù)、基于機器學(xué)習(xí)的實時異常發(fā)現(xiàn)與預(yù)測等。
這些突破性的技術(shù)使得阿里云DAS具有了業(yè)內(nèi)領(lǐng)先的自治能力。阿里云參考自動駕駛的級別將數(shù)據(jù)庫的自治能力分為5級:從全靠人的零級(Level-0)到僅僅提供基礎(chǔ)監(jiān)控、告警等信息的第1級(Level-1),到提供診斷或者優(yōu)化建議但由人來決策是否使用的第2級(Level-2),到部分場景實現(xiàn)完全自治的3級(Level-3)以及全部實現(xiàn)自治的第4級(Level-4)。目前,阿里云DAS的自治能力已突破第3級(Level-3),也就是絕大多數(shù)工作完全不需要人參與,正在邁向最高級,即完全的自動駕駛。
”阿里云DAS覆蓋的絕大部分場景基本上可以由DAS來決策。不過,用戶可以決定到底要開哪個特性,比如在負(fù)載增高的時候要不要我們主動干預(yù)它,或者系統(tǒng)自動去優(yōu)化它?!焙禁惤榻B說。
基于阿里云DAS強大的自治能力,DBA可以從繁瑣的日常運維工作中解脫出來,這讓DBA可以將更多精力放到業(yè)務(wù)創(chuàng)新和發(fā)展上,發(fā)揮更大的價值。比如系統(tǒng)出現(xiàn)故障時,DAS可以幫助快速定位。更為重要的是,阿里云DAS能預(yù)先發(fā)現(xiàn)問題,在故障真正發(fā)生之前就解決,DBA甚至是無感知的。
世界級的業(yè)務(wù)壓力成就了世界級的產(chǎn)品
和阿里云的很多產(chǎn)品/服務(wù)一樣,阿里云DAS也是首先來自阿里自己的需求,產(chǎn)品成熟后經(jīng)過阿里自己的驗證才對外輸出。
DAS產(chǎn)品最早源于2014年的CloudDBA,是一個服務(wù)于內(nèi)部的研發(fā)人員工具。2016年,阿里云對它進(jìn)行了升級和產(chǎn)品化,作為云服務(wù)推向了市場。從2017年開始阿里云在其中加入自治功能,并利用阿里巴巴的場景和技術(shù)不斷驗證和完善,一直持續(xù)到2019年年底,正式更名為DAS。
阿里云DAS的演進(jìn)歷程
目前,阿里云DAS已大規(guī)模應(yīng)用于阿里巴巴內(nèi)部業(yè)務(wù)場景,阿里巴巴集團內(nèi)部85%數(shù)據(jù)庫實例已實現(xiàn)自動駕駛,累計優(yōu)化超4200萬 SQL、回收超4 PB空間,并服務(wù)了大量電商、金融、游戲等領(lǐng)域的企業(yè)。
在整個研發(fā)過程中阿里集團豐富的場景和案例起到了關(guān)鍵作用?!皫缀跛袡C器學(xué)習(xí)的前提,就是擁有足夠多的數(shù)據(jù)和標(biāo)注案例,而這也是阿里巴巴的優(yōu)勢。阿里巴巴自己有海量業(yè)務(wù),包括電商、本地生活等不同業(yè)務(wù)場景,同時也是國內(nèi)最大的云平臺。我們建立了一套線下的DAS實驗室,對接應(yīng)用日志、監(jiān)控告警、以及用戶工單系統(tǒng)等,可實現(xiàn)日志事件和異常的自動關(guān)聯(lián),從而實現(xiàn)自學(xué)習(xí)、持續(xù)優(yōu)化的自治引擎能力。”李廣望介紹說,
正是世界級的業(yè)務(wù)壓力才能造就出世界級的數(shù)據(jù)庫產(chǎn)品。以“雙11”為例,2019年“雙11”天貓實時成交額創(chuàng)出新高,達(dá)到2684億元人民幣。阿里旗下的自研云原生數(shù)據(jù)庫PolarDB表現(xiàn)穩(wěn)定:PolarDB TPS最高峰達(dá)到8700萬次/秒,創(chuàng)下數(shù)據(jù)庫的新記錄,其中自然也有DAS的一份功勞。
應(yīng)該說,阿里云DAS是阿里多年在數(shù)據(jù)庫領(lǐng)域深厚技術(shù)積淀的一個展現(xiàn),更是阿里云數(shù)據(jù)庫成長過程的一個縮影。今天在數(shù)據(jù)庫領(lǐng)域,阿里云除了賦予數(shù)據(jù)庫智能化、自動駕駛的能力,以幫助用戶用好數(shù)據(jù)庫之外,同時還在致力于云原生數(shù)據(jù)庫的研發(fā),比如PolarDB、ADB,并且取得了亮眼的成績。
2018年,阿里云作為第一家且唯一一家中國公司進(jìn)入Gartner數(shù)據(jù)庫魔力象限。在Forrester發(fā)布的數(shù)據(jù)庫評估報告《The Forrester Wave: Database-As-A-Service,Q2 2019》中,阿里云數(shù)據(jù)庫PolarDB也躋身“強勁表現(xiàn)者”陣營。根據(jù)阿里云的官方資料,目前已有約40萬個數(shù)據(jù)庫遷移到阿里云上,穩(wěn)居國內(nèi)云數(shù)據(jù)庫市場份額第一。
在阿里云不斷推出數(shù)據(jù)庫產(chǎn)品的過程中,阿里云數(shù)據(jù)庫的技術(shù)也得到廣泛認(rèn)可。阿里云數(shù)據(jù)庫相關(guān)研究成果多次入選國際數(shù)據(jù)庫頂級會議。在數(shù)據(jù)庫的頂級會議VLDB、SIGMOD上都有阿里云相關(guān)論文入選。
“云計算的最大魅力是它給了我們一個平臺,將我們過去的實踐和技術(shù)普惠化,技術(shù)價值最大化,過去3年我們在阿里巴巴內(nèi)部實現(xiàn)的數(shù)據(jù)庫自動駕駛能力,通過阿里云平臺能夠幫助到所有的應(yīng)用開發(fā)者。我相信,未來三年,所有云上數(shù)據(jù)庫的80%將會實現(xiàn)自動駕駛能力;讓所有的應(yīng)用開發(fā)者更專注于自己的業(yè)務(wù)創(chuàng)新,將數(shù)據(jù)庫交給DAS,讓DAS加持下的數(shù)據(jù)庫,承載您的業(yè)務(wù)持續(xù)飛馳在快車道! ”李廣望表示。
責(zé)任編輯:gt
-
汽車電子
+關(guān)注
關(guān)注
3027文章
7983瀏覽量
167261 -
阿里云
+關(guān)注
關(guān)注
3文章
967瀏覽量
43117 -
自動駕駛
+關(guān)注
關(guān)注
784文章
13867瀏覽量
166601
發(fā)布評論請先 登錄
相關(guān)推薦
評論