文章轉載自:CSDN
編輯:宋慧
在生成式AI的浪潮中,數據的重要性日益凸顯。大模型在實際業務場景的落地過程中,必須有海量數據的支撐:經過訓練、推理和分析等一系列復雜的數據處理過程,才能最終產生業務價值。事實上,大模型本身就是數據處理后的產物,以數據驅動的決策與創新需要通過更智能的平臺解決數據多模處理、實時分析等問題,這正是以阿里云為代表的企業推動 “Data+AI”融合戰略的核心動因。
那么,“Data+AI”對于數據處理究竟意味著什么?從字面意義來理解,Data+AI是指將數據和人工智能結合起來,支持數據從收集、準備到模型開發、部署、迭代、監控的全流程。與傳統數據管理模式相比,Data+AI更側重AI原生化、一體化、多模化等理念。
阿里云數據庫產品事業部AnalyticDB PostgreSQL及生態工具部負責人 周文超
從數據工程與業務實踐的角度來看,由離線數據處理到實時數據處理,再到今天的Data+AI時代,數據處理的底層邏輯到底發生了怎樣的變化?為何多模處理能力變得越來越重要?我們邀請了在學術界和產業界均有豐富經驗的周文超博士,他現在是阿里云數據庫產品事業部AnalyticDB PostgreSQL及生態工具部負責人。周文超博士從數據管理平臺變化角度出發,結合阿里云DMS+X底層技術構建路徑,深入分析Data+AI智能平臺構建的現狀與未來。他認為,今天的數據處理正在向多模融合方向發展,一站式的多模處理能力將是未來數據管理的標配。
1、智能升級加速,數據管理平臺機遇與挑戰并存
生成式AI重塑一切,很多工作的生產效率得到了極大提升,當AI內容生產和代碼生成表現出接近甚至趕超人類的能力時,原有的數據管理模式也面臨著巨大變革。與過去相比,今天的數據處理在數據量、數據類型、處理深度,以及與AI計算的融合等方面,都發生了顯著的變化。這些變化不僅提高了數據處理的效率和準確性,還為AI的創新發展提供了有力的支持。
生成式AI雖然帶來了前所未有的機遇,讓企業在流程化、個性化服務創新過程中找到新的路徑,但也存在著諸多挑戰。面對Data+AI融合趨勢的數據處理難點,周文超博士概括了三點:第一,數據的多模態化;第二,算力的多元融合;第三,數據處理的實時性。
數據的多模態:數據類型不再局限于傳統的結構化數據,而是包括了圖片、文檔、圖、時序、交易等多種模態的數據,比如:IoT設備數據、車機圖像數據等,這些多模數據是數據處理和分析的一大挑戰。
算力的多元融合:算力也朝著多模態和異構方向發展。過去,無論是在操作系統、數據庫、離線數據處理還是實時數據處理中,主要關注的是以CPU為核心的算力。然而,隨著大模型的出現,GPU、FPGA、ASIC等硬件逐漸加入到算力矩陣中。特別是GPU,原本用于圖形加速和比特幣等領域,現在因其能處理更多向量數據,并且可用于矩陣乘法,在算力領域扮演著越來越重要的角色。另外,如何在多樣化的算力硬件上合理分配計算任務,以及如何更好地調度和結合不同的異構算力,成為Data+AI領域需要攻克的另一個重要挑戰。
數據處理的實時性:實時性也是數據處理領域的一個難點。從最初的離線數據處理,到現今的實時數據處理,我們見證了數據處理走向實時化的過程。過去,數據主要以批次形式處理,一天或一周進行一次分析或訓練。后來隨著實時分析場景的增加,需要分鐘級甚至秒級的數據處理能力,例如:在數據監控平臺上,用戶希望每秒或每分鐘都在更新數據,以便實時了解當前情況。同理,Data+AI也是相同的邏輯。如果幾個月才能進行一次訓練,那么最近的數據將如何處理?因此,數據管理平臺對實時數據的處理,也成為企業必須要面對的一個重要課題。
只有解決了上述問題,Data+AI的落地場景才會變得更加豐富,數據驅動企業智能化升級才會成為可能。
2、阿里云DMS+X一站式數據管理平臺設計原理
準確來講,Data+AI所有數據處理的背后主要源于三個核心要素,即數據、模型與算法、算力,正是這“三駕馬車”成為數據管理智能平臺能否提升業務效率的關鍵。
換言之,真正滿足用戶需求的Data+AI智能平臺具有明顯的Data Gravity(數據重力)傾向。如何理解Data Gravity概念?用一句話概括,就是讓更多的模型、算法和算力向數據靠近,而不是來回遷移數據。因為,搬數據這件事,成本高昂,不能再像二十年前一樣,把不同數據進行聚攏,再進行數據下發。現在,基本都是近存計算、存內計算,計算向存儲靠近,向數據偏移。
此種背景下,阿里云瑤池數據庫推出的Data+AI一站式多模數據管理平臺做出幾個重要改變:一、是一體化,打破數據生態和部署域的壁壘;二、讓數據價值獲取的路徑變短。
所謂“一體化”,是指為用戶打造一個統一的數據管理與開發平臺,以優化數據資產的可見性和利用效率。首先,通過一個集中化的界面,讓用戶能夠清晰地查看所有分散在不同來源(如OLTP數據庫、OLAP數據庫、云存儲及自有IDC等)的數據資產,從而更有效地管理數據并控制存儲成本,同時獲得全局性的數據概覽,這一理念體現在阿里云在DMS+X平臺中提出的OneMeta+OneOps概念上。其中,OneMeta實現了數據資產的統一元數據管理,包括數據的來源、表結構等關鍵信息;而OneOps強調了開發平臺的統一性,支持從離線到在線、從OLAP到Spark再到AI等多種數據處理場景。通過OneOps概念,DMS+X整合了數據操作、開發運維以及針對大型語言模型等操作,形成一個統一的操作平臺,讓用戶能夠在這個平臺上完成所有與數據相關的操作,從數據清洗、編排到調用AI模型,從而縮短數據價值獲取的路徑,使數據價值的挖掘變得更加簡單和高效。
值得一提的是,不同數據生態的打通也是DMS+X一大亮點。眾所周知,OLTP數據庫和OLAP數據庫本身數據存儲和處理形式不同,中間免不了要進行復雜的ETL轉換。秉承Zero-ETL理念,DMS+X在數據轉換通路上做了很多工作,讓用戶無需通過物理復制就能在無感知狀態中將ETL效率提升5-10倍。
與此同時,讓數據價值它的獲取路徑變得短,或者說讓用戶獲取價值更簡單,也是DMS+X智能平臺提供的一個重要價值。為了將數據適配到AI處理的需求,DMS+X還進行了數據的AI ready化處理,如向量化等,使數據更易于被大型語言模型等AI技術理解和處理。此外,DMS+X還提供了Notebook、任務編排、以及結合百煉等智能開發平臺的一系列功能,幫助用戶更容易地生成帶有業務屬性的數據處理流程,進一步提升數據價值的挖掘效率。
從目前應用現狀來看,阿里云DMS+X的用戶主要是互聯網、零售、游戲以及泛娛樂領域,這些領域的企業本身就有核心的數據資產,希望通過數據處理能力的提升拓展AI邊界,構建AI原生能力,進而實現數據資產的價值最大化。大體來看,企業智能化升級還處于剛剛起步的階段,未來隨著Data+AI融合速度的加快,其他傳統領域也一定會全面跟進。
當然,部署Data+AI融合戰略的企業不只阿里云一家。與同類競品相比,阿里云“Data+AI”驅動的DMS+X一站式多模數據管理平臺之所以成為各行各業實現數據價值新底座,是“厚積薄發”的結果。比如:生成式AI強調的三層架構(底層基礎設施層、中間模型層以及上層應用),阿里云很早就已提出IaaS+PaaS+MaaS全棧產品矩陣。過去幾年,不管是IaaS(計算、存儲、網絡安全)、PaaS(中間件,數據庫,計算平臺),還是MaaS(通義系大模型),都已做到業內領先。
具體到數據庫,經過十余年的應用實踐以及技術迭代,阿里云瑤池擁有業界最全面的數據庫產品布局,涵蓋云原生關系型數據庫PolarDB、云原生數據倉庫AnalyticDB、云原生多模數據庫Lindorm等多款明星產品,可滿足用戶不同業務需要。技術方面,瑤池旗下的自研數據庫擁有三層解耦、多主多寫、HTAP、Serverless等全球首創或業內領先的創新能力。其中,PolarDB已完成全球首個大規模商用、基于共享存儲的云原生多主數據庫實踐,并憑此成功摘得了中國首個ACM SIGMOD和IEEE ICDE的工業賽道“最佳論文獎”。
3、未來:AI就緒,迎接Gen AI時代
盡管在底層技術平臺支撐上,人類已經做好了AI就緒的準備,但距離真正的Gen AI時代到來,還有一段距離。周文超博士總結認為,大模型應用層將在未來占據主導地位,尤其是模型的推理應用,其價值將遠超訓練過程。在此背景下,阿里云瑤池數據庫DMS+X發展規劃也會變得更加清晰,將聚焦于支持更宏大的推理場景,通過提升用戶體驗和性價比來推動技術進步。
具體而言,DMS+X將致力于讓用戶在使用過程中更加便捷、高效,并通過資源混部、垂直領域數據的存儲與計算優化等手段,進一步提升資源使用效率。同時,還會更積極地探索如何更高效地使用CPU、GPU、FPGA等算力資源,以期在未來技術落地中發揮重要作用。這些努力不僅體現了阿里云瑤池數據庫對未來技術趨勢的深刻洞察,也彰顯了企業在推動AI技術發展方面的堅定決心和不懈努力。
而從技術人生的視角來看,以周文超博士為代表的研發團隊,正以長期主義心態,將戰略愿景轉化為實際行動,致力于為用戶帶來更高效、更便捷的智能數據平臺體驗,推動著AI技術的持續進步和應用的快速拓展。
受訪人簡介:
周文超,阿里云數據庫產品事業部AnalyticDB PostgreSQL及生態工具部負責人,負責云原生數據倉庫、數據庫工具與管控的研發以及數據庫系統與智能方向科研。專注于建設一體化Data+AI數據管理平臺,支持日益豐富的數據計算需求和更趨異構化的底層架構,利用資源云化提升智能計算效能。
清華大學計算機系本科,賓夕法尼亞大學計算機與信息科學博士,國家級領軍人才,浙江省頂尖人才。畢業后于美國喬治城大學計算機系任教,后升任終身教授。至今在一流國際學術會議與期刊上發表論文70余篇。主要研究方向是計算機系統的設計和實現,涵蓋數據庫、分布式系統、計算機網絡和系統安全等方向。曾獲多項重要獎項,包括美國基金委NSF CAREER Award(杰出教授獎),ACM SIGMOD最佳博士論文獎,以及多個學術會議的最佳論文、最佳系統演示獎等。
審核編輯 黃宇
-
AI
+關注
關注
87文章
31040瀏覽量
269389 -
數據庫
+關注
關注
7文章
3818瀏覽量
64498 -
人工智能
+關注
關注
1792文章
47377瀏覽量
238878 -
阿里云
+關注
關注
3文章
963瀏覽量
43107 -
大模型
+關注
關注
2文章
2477瀏覽量
2835
發布評論請先 登錄
相關推薦
評論