BigData 概念在上世紀90年代被提出，隨Google的3篇經典論文（GFS，BigTable，MapReduce）奠基，已經發展了超過10年。這10年中，誕生了包括Google大數據體系，微軟Cosmos體系，開源Hadoop體系等優秀的系統，這其中也包括阿里云的飛天系統。這些系統一步一步推動業界進入“數字化“和之后的“AI化”的時代。

同時，與其他老牌系統相比（如，Linux等操作系統體系，數據庫系統，中間件，很多有超過30年的歷史），大數據系統又非常年輕，隨云計算普惠，正大規模被應用。海量的需求和迭代推動系統快速發展，有蓬勃的生機。（技術體系的發展，可以通過如下Hype-Cycle概述，作者認為，大數據系統的發展進入技術復興期/Slope of Enlightenment，并開始大規模應用Plateau of Productivity。）

上圖來自Gartner

如果說，0到1上線標志一個系統的誕生，在集團內大規模部署標志一個系統的成長，在云上對外大規模服務標志一個系統的成熟。MaxCompute這10年已經走向成熟，經過多次升級換代，功能、性能、服務、穩定性已經有一個體系化的基礎，成為阿里巴巴集團數據中臺的計算核心和阿里云大數據的基礎服務。

“十年磨一劍”。MaxCompute去年做了哪些工作，這些工作背后的原因是什么？大數據市場進入普惠+紅海的新階段，如何與生態發展共贏？人工智能進入井噴階段，如何支持與借力？本文從過去一年的總結，核心技術概覽，以及每條技術線路未來展望等幾個方面做一個概述。

1.MaxCompute（ODPS）概述

1.1 背景信息：十年之后，回頭看什么是大數據

"Big data represents the information assets characterized by such a high volume, velocity and variety to require specific technology and analytical methods for its transformation into value".

用5個“V”來描述大數據的特點：

Volume-數據量：數據量非線性增長，包括采集、存儲和計算的量都非常大，且增速很快。

Variety-數據類型：包括結構化和非結構化的數據，特別是最近隨音視圖興起，非結構化數據增速更快。

Velocity-數據存儲和計算的增長速度：數據增長速度快，處理速度快，時效性要求高。

Veracity-信噪比：數據量越大，噪聲越多，需要深入挖掘數據來得到結果。

Value-價值：數據作為一種資產，有1+1>2的特點。

總結下來，大數據具備如下的五個趨勢：

數據爆炸導致數據和計算量增速很高，很多時候超過業務增速。帶來成本壓力！

數據量變大，但單位數據的價值在下降，深度挖掘勢在必行，但反過來要求計算力的進一步提升。

非結構化數據處理，成為趨勢。

時效性，是能完成任務之后，用戶的新期待。

超大規模的數據和計算，對人工管理是一個挑戰。

上述趨勢，也會得出了作為大數據平臺，我們要發力的方向：計算力，智能化，生態系統。

1.2 MaxCompute 定位

阿里云大數據計算服務(MaxCompute，原名ODPS)是阿里云提供的一種安全可靠、高效能、低成本、從GB到EB級別按需彈性伸縮的在線大數據計算服務。

MaxCompute向用戶提供了豐富的大數據開發工具、完善的數據導入導出方案以及多種經典的分布式計算模型。能夠最快速的解決用戶海量數據計算問題，有效降低企業大數據計算平臺的總體擁有成本，提高大數據應用開發效率，并保障數據在云計算環境的安全。被廣泛的應用于互聯網海量數據分析類場景。

MaxCompute是大數據云數倉的數據匯集點，存儲和管理EB級數據，支持彈性伸縮的高性能大數據計算服務：它不只是個單一的引擎，而是一個平臺。

“不是單一的引擎”體現在，MaxCompute原生支持SQL、MR、DAG編程語義和Graph、PAI機器學習計算，同時也通過聯合計算平臺支持任意第三方引擎，如Spark、Flink等。

“一個平臺”體現在，MaxCompute提供統一高效的數據存儲，可靠的元數據服務，跨地域多集群管理，和數據/計算調度能力。 MaxCompute以其可靠性、高性能、擴展性、安全性和富生態被廣泛的用于互聯網海量數據分析場景，如海量數據分析與處理、大數據倉庫、產品維度報表、機器學習訓練、等場景。

1.3 競品對比與分析

大數據發展到今天，數據倉庫市場潛力仍然巨大，更多客戶開始選擇云數據倉庫，CDW仍處于高速增長期。當前互聯網公司和傳統數倉廠家都有進入領導者地位，競爭激烈，阿里巴巴CDW在全球權威咨詢與服務機構Forrester發布的《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》報告中位列中國第一，全球第七。

在CDW的領導者中，AWS Redshift 高度商業化、商業客戶部署規模領先整個市場，GoogleBigQuery以高性能、高度彈性伸縮獲得領先，Oracle 云數倉服務以自動化數倉技術獲得領先。 MaxCompute當前的定位是市場競爭者，目標是成為客戶大數據的“航母”級計算引擎，解決客戶在物聯網、日志分析、人工智能等場景下日益增長的數據規模與計算性能下降、成本上升、復雜度上升、數據安全風險加大之間的矛盾。在此目標定位下，對MaxCompute在智能數倉、高可靠性、高自動化、數據安全等方面的能力提出了更高的要求。

2. 2018年MaxCompute技術發展概述

過去的一個財年，MaxCompute 在技術發展上堅持在核心引擎、開放平臺、技術新領域等方向的深耕，在業務上繼續匠心打造產品，擴大業界影響力。

效率提升

2018年9月云棲大會發布，MaxCompute 在標準測試集 TPC-BB 100TB整體指標較2017年提升一倍以上。

得益于整體效率的提升，在集團內部 MaxCompute 以20%的硬件增長支撐了超過70%的業務增長。

系統開放性和與生態融合

聯合計算平臺 Cupid 逐步成熟，性能 與EMR Spark Benchmark 持平，支持K8S接口，支持完整的框架安全體系。Spark On MaxCompute已開始支持云上業務

Python分布式項目MARS正式發布，開源兩周內收獲1200+ Star，填補了國內在Python生態上支持大規模分布式科學計算的空白，是競品Dask性能的3倍。

探索新領域

MaxCompute 持續在前沿技術領域投入，保持技術先進性。在下一代引擎方向（如Adaptive Operators、，Operator Fusion、ClusteredTable等），智能數倉 Auto Datawarehouse 方向上的調研都取得了不錯的進展。在漸進計算 (Progressive Execution)、Advanced Fail Checking and Recovery 、基于 ML的分布式計算平臺優化、超大數據量Query子圖匹配等多個方向上的調研也在進行中。

深度參與和推動全球大數據領域標準化建設

2018年11月，MaxCompute與DataWorks/AnalyticDB一起代表阿里云入選 Forrester Wave? Q4 2018云數據倉庫研究報告，在產品能力綜合得分上力壓微軟，排名全球第七，中國第一。

2019年3月，MaxCompute 正式代表Alibaba加入了TPC委員會推動融入和建立標準。

MaxCompute持續在開源社區投入。成為全球兩大熱門計算存儲標準化開源體系ORC社區的PMC，MaxCompute成為近兩年貢獻代碼量最多的貢獻者，引導存儲標準化；在全球最熱門優化器項目Calcite，擁有一個專委席位，成為國內前兩家具備該領域影響力的公司，推動數十個貢獻。

3.核心技術棧

大數據市場進入普惠+紅海的新階段，如何借力井噴階段中的人工智能，如何與生態發展共贏？

基于橫向架構上的核心引擎和系統平臺，MaxCompute在計算力、生態化、智能化3個縱向上著力發展差異化的競爭力。

3.1 計算力

首先我們從計算力這個角度出發，介紹一下 MaxCompute 的技術架構。

a.核心引擎

支撐 MaxCompute 的計算力的核心模塊之一是其 SQL 引擎：在 MaxCompute 的作業中，有90%以上的作業是 SQL 作業，SQL 引擎的能力是 MaxCompute 的核心競爭力之一。在MaxCompute 產品框架中，SQL 引擎將用戶的SQL語句轉換成對應的分布式執行計劃來執行。SQL 引擎由3個主要模塊構成：

編譯器 Compiler: 對 SQL 標準有友好支持，支持100% TPC-DS語法；并具備強大都錯誤恢復能力，支持 MaxCompute Studio 等先進應用。

運行時 Runtime: 基于LLVM優化代碼生產，支持列式處理與豐富的關系算符；基于 CPP 的運行時具有更高效率。

優化器 Optimizer: 支持HBO和基于 Calcite 的 CBO， 通過多種優化手段不斷提升 MaxCompute 性能。

（上圖中部分功能只在阿里集團內部發布，云上版本會陸續發布上線）

MaxCompute SQL 引擎當前的發展，以提升用戶體驗為核心目標，在 SQL 語言能力、引擎優化等多個方向上兼顧發力，建立技術優勢，在SQL 語言能力方面，新一代大數據語言NewSQL做到了 Declarative 語言和 Imperative 語言的融合，進一步提升語言兼容性，目前已100% 支持 TPC-DS 語法。過去一年中，MaxCompute 新增對 GroupingSets，If-Else分支語句，動態類型函數，等方面的支持。

b.存儲

MaxCompute 不僅僅是一個計算平臺，也承擔著大數據的存儲。阿里巴巴集團99%的大數據存儲都基于MaxCompute，提高數據存儲效率、穩定性、可用性，也是MaxCompute一直努力的目標。

MaxCompute 存儲層處于 MaxCompute Tasks和底層盤古分布式文件系統之間，提供一個統一的邏輯數據模型給各種各樣的計算任務。MaxCompute的存儲格式演化，從最早的行存格式CFile1，到第一個列存儲格式CFile2，到第三代存儲格式。

支持更復雜的編碼方式，異步預讀等功能，進一步提升效能。在存儲和計算2個方面都帶來了效能的提升。存儲成本方面，在阿里巴巴集團內通過新一代的列存格式節省約8%存儲空間，直接降低約1億成本；在計算效率上，過去的一個財年中發布的每個版本之間都實現了20%的提升。目前在集團內大規模落地的過程中。

在歸檔以及壓縮方面，MaxCompute 支持ZSTD壓縮格式，以及壓縮策略，用戶可以在Normal，High和Extreme三種Stategy里面選擇。更高的壓縮級別，帶來更高效的存儲，但也意味著更高的讀寫CPU代價。

2018年，MaxCompute 陸續推出了 Hash Clustering 和 Range Clustering 支持富結構化數據，并持續的進行了深度的優化，例如增加了 Shuffle Remove，Clustering Pruning 等優化。從線上試用數據，以及大量的 ATA 用戶實踐案例也可以看出，Clustering 的收益也獲得了用戶的認可。

c.系統框架

資源與任務管理

MaxCompute 框架為ODPS上面各種類型的計算引擎提供穩定便捷的作業接入管理接口，管理著ODPS各種類型Task的生命周期。過去一年對短作業查詢的持續優化，縮短e2e時間，加強對異常作業（OOM)的自動檢測與隔離處理，全面打開服務級別流控，限制作業異常提交流量，為服務整體穩定性保駕護航。

MaxCompute 存儲著海量的數據，也產生了豐富的數據元數據。在離線元倉統計T+1的情況下，用戶至少需要一天后才能做事后的數據風險審計，現實場景下用戶希望更早風險控制，將數據訪問事件和項目空間授權事件通過CUPID平臺實時推送到用戶DataHub訂閱，用戶可以通過消費DataHub實時獲取項目空間表、volume數據被誰訪問等。

元數據管理

元數據服務支撐了MaxCompute各個計算引擎及框架的運行。每天運行在MaxCompute的作業，都依賴元數據服務完成DDL，DML以及授權及鑒權的操作。元數據服務保障了作業的穩定性和吞吐率，保障了數據的完整性和數據訪問的安全性。元數據服務包含了三個核心模塊：

Catalog完成DDL，DML及DCL（權限管理）的業務邏輯，Catalog保障MaxCompute作業的ACID特性。

MetaServer完成元數據的高可用存儲和查詢能力。

AuthServer是高性能和高QPS的鑒權服務，完成對MaxCompute的所有請求的鑒權，保障數據訪問安全。

元數據服務經過了模塊化和服務化后，對核心事務管理引擎做了多次技術升級，通過數據目錄多版本，元數據存儲重構等改造升級，保障了數據操作的原子性和強一致，并提高了作業提交的隔離能力，并保障了線上作業的穩定性。

在數據安全越來越重要的今天，元數據服務和阿里巴巴集團安全部合作，權限系統升級到了2.0。核心改進包括：

MAC（強制安全控制）及安全策略管理：讓項目空間管理員能更加靈活地控制用戶對列級別敏感數據的訪問，強制訪問控制機制(MAC)獨立于自主訪問控制機制(DAC)。

數據分類分級：新增數據的標簽能力，支持對數據做隱私類數據打標。

精細權限管理：將ACL的管控能力拓展到了Package內的表和資源，實現字段級的權限的精細化管理。

系統安全

系統安全方面, MaxCompute通過綜合運用計算虛擬化和網絡虛擬化技術, 為云上多租戶各自的用戶自定義代碼邏輯提供了安全而且完善的計算和網絡隔離環境。SQL UDF(python udf 和 java udf), CUPID聯合計算平臺(Sparks/Mars等), PAI tensorflow等計算形態都基于這套統一的基礎隔離系統構建上層計算引擎。

MaxCompute 還通過提供原生的存儲加密能力, 抵御非授權訪問存儲設備的數據泄露風險. MaxCompute內置的存儲加密能力, 可以基于KMS云服務支持用戶自定義秘鑰(BYOK)以及AES256加密算法,并計劃提供符合國密合規要求的SM系列加密算法支持。

結合MaxCompute元倉(MetaData)提供的安全審計能力和元數據管理(MetaService)提供的安全授權鑒權能力,以及數據安全生態中安全衛士和數據保護傘等安全產品，就構成了 MaxCompute安全棧完整大圖。

3.2 生態化

作為一個大規模數據計算平臺，MaxCompute 擁有來自各類場景的EB級數據，需要快速滿足各類業務發展的需要。在真實的用戶場景中，很少有用戶只用到一套系統：用戶會有多份數據，或者使用多種引擎。聯合計算融合不同的數據，豐富 MaxCompute 的數據處理生態，打破數據孤島，打通阿里云核心計算平臺與阿里云各個重要存儲服務之間的數據鏈路。聯合計算也融合不同的引擎，提供多種計算模式，支持開源生態。開源能帶來豐富和靈活的技術以賦能業務，通過兼容開源API對接開源生態。另一方面，在開源過程中我們需要解決最小化引入開源技術成本及打通數據、適配開源接口等問題。

a. Cupid 聯合計算平臺

聯合計算平臺 Cupid 使一個平臺能夠支持 Spark、Flink，Tensorflow、Numpy，ElasticSearch 等多種異構引擎， 在一份數據上做計算。在數據統一、資源統一的基礎上，提供標準化的接口，將不同的引擎融合在一起做聯合計算。

Cupid 的工作原理是通過將 MaxCompute 所依賴的 Fuxi 、Pangu 等飛天組間接口適配成開源領域常見的 Yarn、HDFS 接口，使得開源引擎可以順利執行。現在，Cupid 新增支持了 Kubernetes 接口，使得聯合計算平臺更加開放。

案例：Spark On MaxCompute

Spark 是聯合計算平臺第一個支持的開源引擎。基于 Cupid 的 Spark on MaxCompute 實現了與 MaxCompute 數據/元數據的完美集成；遵循 MaxCompute 多租戶權限及安全體系；與Dataworks、PAI平臺集成；支持 Spark Streaming,Mllib, GraphX, Spark SQL, 交互式等完整 Spark生態；支持動態資源伸縮等。

b. 多源異構數據的互聯互通

隨著大數據業務的不斷擴展，新的數據使用場景在不斷產生，用戶也期望把所有數據放到一起計算，從而能取得 1+1 > 2 這樣更好的結果。MaxCompute 提出了聯合計算，將計算下推，聯動其他系統：將一個作業在多套系統聯動，利用起各個系統可行的優化，做最優的決策，實現數據之間的聯動和打通。

（上圖為MaxCompute集團內和專有云能力，公共云已實現與OSS、OTS的數據互通）

MaxCompute 通過異構數據支持來提供與各種數據的聯通，這里的“各種數據”是兩個維度上的： 1. 多樣的數據存儲介質（外部數據源），插件式的框架可以對接多種數據存儲介質。當前支持的外部數據源有：OSS， TableStore(OTS)， TDDL，Volume。 2. 多樣的數據存儲格式：開源的數據格式支持，如 ORC、Parquet 等；半結構化數據，如包括 CSV、Json等隱含一定 schema 的文本文件；完全無結構數據，如對OSS上的文本，音頻、圖像及其他開源格式的數據進行計算。

基于MaxCompute 異構數據支持，用戶通過一條簡單的 DDL 語句即可在 MaxCompute 上創建一張EXTERNAL TABLE（外表），建立 MaxCompute 表與外部數據源的關聯，提供各種數據的接入和輸出能力。創建好的外表在大部分場景中可以像普通的 MaxCompute 表一樣使用，充分利用 MaxCompute 的強大計算力和數據集成、作業調度等功能。MaxCompute 外表支持不同數據源之間的Join，支持數據融合分析，從而幫助您獲得通過查詢獨立的數據孤島無法獲得的獨特見解。從而MaxCompute 可以把數據查詢從數據倉庫擴展到EB級的數據湖(如OSS)，快速分析任何規模的數據，沒有MaxCompute存儲成本，無需加載或 ETL。

異構數據支持是MaxCompute 2.0升級中的一項重大更新，意在豐富MaxCompute的數據處理生態，打破數據孤島，打通阿里云核心計算平臺與阿里云各個重要存儲服務之間的數據鏈路。

c. Python 生態和 MARS科學計算引擎

MaxCompute 的開源生態體系中，對 Python 的支持主要包括 PyODPS、Python UDF、和 MARS。

PyODPS一方面是MaxCompute 的 Python SDK，同時也提供 DataFrame 框架，提供類似 pandas 的語法，能利用 MaxCompute 強大的處理能力來處理超大規模數據。

基于MaxCompute豐富的用戶自定義函數（UDF）支持，用戶可以在 ODPS SQL 中編寫 Python UDF 來擴展 ODPS SQL。 MARS 則是為了賦能 MaxCompute 科學計算，全新開發的基于矩陣的統一計算框架。使用 Mars 進行科學計算，不僅能大幅度減少分布式科學計算代碼編寫難度，在性能上也有大幅提升。

3.3 智能化

隨著大數據的發展，我們在幾年前就開始面對數據／作業 爆發式增長的趨勢。面對百萬計的作業和表，如何做管理呢？

MaxCompute通過對歷史作業特征的學習、基于對數據和作業的深刻理解，讓MaxCompute上的業務一定程度實現自適應調整，讓算法和系統幫助用戶自動、透明、高效地進行數倉管理和重構優化工作，實現更好地理解數據，實現數據智能排布和作業全球調度，做到大數據處理領域的“自動駕駛”，也就是我們所說的Auto Data Warehousing。

Auto Data Warehousing 在線上真實的業務中，到底能做什么呢？我們以Hash Clustering的自動推薦來小試牛刀。Hash Clustering 經過一年多的發展，功能不斷完善，但對用戶來說，最難的問題仍然在于，給哪些表建立怎樣的Clustering策略是最佳的方案？

MaxCompute 基于 Auto Data Warehousing，來實現為用戶推薦如何使用 Hash Clustering，回答如何選擇Table、如何設置Clutering key和分桶數等問題，讓用戶在海量數據、海量作業、快速變化的業務場景下，充分利用平臺功能。

4. 商業化歷程

從2009年云梯到ODPS，再到MaxCompute，MaxCompute(ODPS) 這個大數據平臺已經發展了十年。回顧 MaxCompute 的發展，首先從云梯到完成登月，成為了一個統一的大數據平臺。

2014年，MaxCompute 開始商業化的歷程，走出集團、向公共云和專有云輸出，直面中國、乃至全球的用戶。面對挑戰，MaxCompute 堅持產品核心能力的增強，以及差異化能力的打造， 贏得了客戶的選擇。

回顧上云歷程，公共云的第一個節點華東2上海在2014（13年）年7月開服，經過4年多發展，MaxCompute 已在全球部署18個Region，為云上過萬家用戶提供大數據計算服務，，客戶已覆蓋了新零售、傳媒、社交、互聯網金融、健康、教育等多個行業。專有云的起點則從2014年8月第一套POC環境部署開始，發展至今專有云總機器規模已超過10000臺；輸出項目150+套，客戶涵蓋城市大腦，大安全，稅務，等多個重點行業。

今天，MaxCompute 在全球有超過十萬的服務器，通過統一的作業調度系統和統一的元數據管理，這十萬多臺服務器就像一臺計算機，為全球用戶提供提供包括批計算、流計算、內存計算、機器學習、迭代等一系列計算能力。這一整套計算平臺成為了阿里巴巴經濟體，以及阿里云背后計算力的強有力支撐。MaxCompute 作為一個完整的大數據平臺，將不斷以技術驅動平臺和產品化發展，讓企業和社會能夠擁有充沛的計算能力，持續快速進化，驅動數字中國。