大數(shù)據(jù)時(shí)代的到來(lái),讓越來(lái)越多的企業(yè)看到了數(shù)據(jù)資產(chǎn)的價(jià)值。將數(shù)據(jù)視為企業(yè)的重要資產(chǎn),已經(jīng)成為業(yè)界的一種共識(shí),企業(yè)也在快速探索應(yīng)用場(chǎng)景和商業(yè)模式,并開(kāi)始建設(shè)技術(shù)平臺(tái)。
但這里要特別強(qiáng)調(diào)一下,如果在大數(shù)據(jù)“拼圖”中遺忘了數(shù)據(jù)治理,可能再多的技術(shù)投入也是一種徒勞。因?yàn)闆](méi)有數(shù)據(jù)治理這一環(huán)節(jié),其帶來(lái)后果往往是:隨處可見(jiàn)的數(shù)據(jù)不統(tǒng)一,難以提升的數(shù)據(jù)質(zhì)量,難以完成的模型梳理,難以保障的數(shù)據(jù)安全等等,源源不斷的基礎(chǔ)性數(shù)據(jù)問(wèn)題會(huì)進(jìn)一步產(chǎn)生,進(jìn)而導(dǎo)致數(shù)據(jù)建設(shè)難以真正發(fā)揮其商業(yè)價(jià)值。
因此,消除數(shù)據(jù)的不一致性,建立規(guī)范的數(shù)據(jù)標(biāo)準(zhǔn),提高數(shù)據(jù)治理能力,實(shí)現(xiàn)數(shù)據(jù)安全共享,并能夠?qū)?shù)據(jù)作為企業(yè)的寶貴資產(chǎn)應(yīng)用于業(yè)務(wù)、管理、戰(zhàn)略決策中,發(fā)揮數(shù)據(jù)資產(chǎn)價(jià)值變得尤為迫切和重要,數(shù)據(jù)治理呼之欲出。本文將介紹美團(tuán)配送技術(shù)團(tuán)隊(duì)在數(shù)據(jù)治理方面的一些探索和實(shí)踐,希望能夠?qū)Υ蠹矣兴鶈l(fā)和幫助。
1. 如何理解數(shù)據(jù)治理
數(shù)據(jù)治理,從嚴(yán)格的定義來(lái)講是對(duì)組織的大數(shù)據(jù)管理并利用其進(jìn)行評(píng)估、指導(dǎo)和監(jiān)督的體系框架。企業(yè)通過(guò)制定戰(zhàn)略方針、建立組織架構(gòu)、明確職責(zé)分工等,實(shí)現(xiàn)數(shù)據(jù)的風(fēng)險(xiǎn)可控、安全合規(guī)、績(jī)效提升和價(jià)值創(chuàng)造,并提供創(chuàng)新的大數(shù)據(jù)服務(wù)。從個(gè)人實(shí)踐的層面來(lái)講,數(shù)據(jù)治理是對(duì)存量數(shù)據(jù)治理和增量數(shù)據(jù)管控的一個(gè)過(guò)程,對(duì)存量數(shù)據(jù)實(shí)現(xiàn)由亂到治、建章立制,對(duì)增量數(shù)據(jù)實(shí)現(xiàn)嚴(yán)格把控、行不逾矩的約束。
2. 要達(dá)成的目標(biāo)
數(shù)據(jù)治理本身并不是目的,它只是實(shí)現(xiàn)組織戰(zhàn)略目標(biāo)的一個(gè)手段而已。從組織職能和體量大小方面來(lái)看,不同類型組織的數(shù)據(jù)治理目標(biāo)大不相同,而基于目前美團(tuán)配送數(shù)據(jù)團(tuán)隊(duì)所處的組織職能和發(fā)展階段來(lái)說(shuō),我們希望通過(guò)數(shù)據(jù)治理解決數(shù)據(jù)生產(chǎn)、管理和使用過(guò)程中遇到的問(wèn)題,完善已有的生產(chǎn)管理流程規(guī)范,保障數(shù)據(jù)安全和數(shù)據(jù)一致性,從而促進(jìn)數(shù)據(jù)在組織內(nèi)無(wú)障礙地進(jìn)行共享。
3. 何時(shí)進(jìn)行數(shù)據(jù)治理
找準(zhǔn)數(shù)據(jù)治理的切入點(diǎn),是關(guān)乎數(shù)據(jù)治理成敗的關(guān)鍵。很多同學(xué)會(huì)問(wèn),如果將數(shù)倉(cāng)建設(shè)分為數(shù)倉(cāng)雛形階段、數(shù)倉(cāng)迭代階段和能力沉淀階段,數(shù)據(jù)治理應(yīng)該在哪個(gè)階段切入為宜呢?其實(shí),我們不該把數(shù)據(jù)治理看作是一個(gè)階段性的項(xiàng)目,它應(yīng)該是一個(gè)貫徹?cái)?shù)據(jù)建設(shè)各階段的長(zhǎng)期工程,只是在不同階段根據(jù)業(yè)務(wù)特點(diǎn)和技術(shù)特點(diǎn)其覆蓋的范圍和關(guān)注的目標(biāo)有所不同而已。
在數(shù)倉(cāng)雛形階段,也就是美團(tuán)配送業(yè)務(wù)剛成立時(shí),在該階段中業(yè)務(wù)有兩個(gè)特點(diǎn):第一,重規(guī)模、快擴(kuò)張;第二,業(yè)務(wù)變化快,數(shù)據(jù)需求多。為了快速響應(yīng)業(yè)務(wù)的需求,并能夠保障數(shù)據(jù)交付結(jié)果的準(zhǔn)確性,我們主要進(jìn)行技術(shù)規(guī)范和指標(biāo)口徑的治理,在規(guī)范治理方面,通過(guò)制定一系列研發(fā)規(guī)范來(lái)保障研發(fā)質(zhì)量,并在實(shí)際建模過(guò)程中不斷迭代和完善我們的研發(fā)質(zhì)量。在指標(biāo)治理方面,我們對(duì)存量指標(biāo)口徑進(jìn)行梳理,從而確保指標(biāo)口徑對(duì)外輸出一致。
在數(shù)倉(cāng)迭代階段,我們希望通過(guò)架構(gòu)治理改變前期開(kāi)發(fā)的“煙囪式”模型,消除冗余,提升數(shù)據(jù)一致性。并且隨著數(shù)倉(cāng)中管理的數(shù)據(jù)越多,數(shù)據(jù)安全和成本問(wèn)題也變得越發(fā)重要。所以在該階段,我們?cè)诋a(chǎn)研層面逐步開(kāi)展架構(gòu)治理、資源治理和安全治理。在架構(gòu)治理方面,我們明確了數(shù)倉(cāng)中各層和各主題的職責(zé)和邊界,構(gòu)建一致的基礎(chǔ)數(shù)據(jù)核心模型,并制定一系列的指標(biāo)定義規(guī)范來(lái)確保指標(biāo)的清晰定義,并基于業(yè)務(wù)迭代來(lái)不斷完善和迭代相應(yīng)的模型和規(guī)范。在資源治理方面,我們通過(guò)對(duì)不同層級(jí)的數(shù)據(jù)采用不同生命周期管理策略,確保用最少的存儲(chǔ)成本來(lái)滿足最大的業(yè)務(wù)需求。在安全治理方面,我們通過(guò)制定一系列的數(shù)據(jù)安全規(guī)范來(lái)確保數(shù)據(jù)的使用安全。
在能力沉淀階段,我們基于前兩個(gè)階段所做的業(yè)務(wù)和技術(shù)沉淀,將前期一系列規(guī)范形成標(biāo)準(zhǔn),從業(yè)務(wù)到產(chǎn)研,自上而下地推動(dòng)數(shù)據(jù)治理,并通過(guò)建立相應(yīng)的組織、流程和制度來(lái)保障標(biāo)準(zhǔn)在該階段的全面落地實(shí)施,并通過(guò)建設(shè)數(shù)據(jù)治理平臺(tái)來(lái)輔助更高質(zhì)量地執(zhí)行標(biāo)準(zhǔn)。
4.如何開(kāi)展數(shù)據(jù)治理
從大的階段來(lái)看,數(shù)據(jù)治理主要分為存量數(shù)據(jù)“由亂到治”的階段,以及增量數(shù)據(jù)嚴(yán)格按照規(guī)章制度實(shí)施確保“行不逾矩”的運(yùn)營(yíng)階段。在“由亂到治”的過(guò)程中,我們需要沉淀出規(guī)章制度、標(biāo)準(zhǔn)規(guī)范,以及輔以規(guī)章制度標(biāo)準(zhǔn)規(guī)范實(shí)施的工具和組織。在增量數(shù)據(jù)的運(yùn)營(yíng)階段,我們主要靠對(duì)應(yīng)的組織確保規(guī)章制度的落實(shí),通過(guò)審計(jì)定期考察實(shí)施效果,并在長(zhǎng)期的運(yùn)營(yíng)中不斷完善規(guī)章制度。在實(shí)現(xiàn)存量數(shù)據(jù)“由亂到治”的階段,我們主要采取了“兩步走”策略,具體執(zhí)行策略如下所示。
4.1 定標(biāo)準(zhǔn),提質(zhì)量
第一步,主要圍繞著業(yè)務(wù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)、數(shù)據(jù)安全標(biāo)準(zhǔn)和資源管理標(biāo)準(zhǔn)進(jìn)行展開(kāi)。通過(guò)業(yè)務(wù)標(biāo)準(zhǔn),指導(dǎo)一線團(tuán)隊(duì)完成指標(biāo)的規(guī)范定義,最終達(dá)成業(yè)務(wù)對(duì)指標(biāo)認(rèn)知一致性這一目標(biāo);然后通過(guò)技術(shù)標(biāo)準(zhǔn)來(lái)指導(dǎo)研發(fā)同學(xué)規(guī)范建模,從技術(shù)層面解決模型擴(kuò)展性差、冗余多等問(wèn)題并保障數(shù)據(jù)一致性;通過(guò)安全標(biāo)準(zhǔn)來(lái)指導(dǎo)我們加強(qiáng)數(shù)據(jù)的安全管控,確保數(shù)據(jù)拿不走、走不脫,針對(duì)敏感數(shù)據(jù),用戶看不懂;通過(guò)資源管理標(biāo)準(zhǔn)的制定,幫助我們?cè)谑虑白龊觅Y源預(yù)算,在事中做好資源管理,在事后做好賬單管理。
4.1.1 業(yè)務(wù)標(biāo)準(zhǔn)
業(yè)務(wù)標(biāo)準(zhǔn)主要是指標(biāo)的管理和運(yùn)營(yíng)標(biāo)準(zhǔn),我們主要解決三個(gè)問(wèn)題:指標(biāo)由誰(shuí)來(lái)定義,指標(biāo)該如何定義,指標(biāo)該如何運(yùn)營(yíng)。基于這三個(gè)問(wèn)題,我們同時(shí)提出了三條原則:
業(yè)務(wù)團(tuán)隊(duì)負(fù)責(zé)指標(biāo)的定義。
產(chǎn)研商分負(fù)責(zé)給出指標(biāo)定義標(biāo)準(zhǔn)和輔助工具,輔助業(yè)務(wù)團(tuán)隊(duì)完成指標(biāo)的規(guī)范定義,達(dá)成指標(biāo)認(rèn)知一致性這一目標(biāo)。
最后由指標(biāo)管理委員會(huì)負(fù)責(zé)指標(biāo)的管理與運(yùn)營(yíng),保障指標(biāo)從創(chuàng)建、審核、上線以及到最后消亡的整個(gè)生命周期的運(yùn)營(yíng)。
為統(tǒng)一指標(biāo)的定義,我們將指標(biāo)分為原子指標(biāo)、衍生指標(biāo)和派生指標(biāo),原子指標(biāo)通過(guò)限定條件和時(shí)間的限定生成衍生指標(biāo)。衍生指標(biāo)間的“四則混合運(yùn)算”構(gòu)成了派生指標(biāo)。我們不但制定了指標(biāo)的標(biāo)準(zhǔn)定義,還對(duì)其做了準(zhǔn)確的資產(chǎn)歸屬,一個(gè)指標(biāo)出自一個(gè)具體的業(yè)務(wù)過(guò)程,一個(gè)業(yè)務(wù)過(guò)程歸屬于不同的數(shù)據(jù)域,多個(gè)數(shù)據(jù)域構(gòu)成了美團(tuán)配送業(yè)務(wù)線下的分析場(chǎng)景,如下圖所示:
4.1.2 技術(shù)標(biāo)準(zhǔn)
這里所說(shuō)的技術(shù)標(biāo)準(zhǔn),主要是針對(duì)數(shù)據(jù)RD提出的建模標(biāo)準(zhǔn)和數(shù)據(jù)生產(chǎn)規(guī)范,通過(guò)建模標(biāo)準(zhǔn)來(lái)明確數(shù)倉(cāng)分層架構(gòu),并清晰定義每一層的邊界與職責(zé),采用維度建模的設(shè)計(jì)理念。我們的整個(gè)倉(cāng)庫(kù)架構(gòu)分為四層:操作層、基礎(chǔ)事實(shí)層、中間層和應(yīng)用層,并在每一層同步制定對(duì)應(yīng)的建模規(guī)范,如下圖所示:
除了建模標(biāo)準(zhǔn)外,我們還制定了涵蓋從生產(chǎn)到運(yùn)維環(huán)節(jié)的生產(chǎn)規(guī)范以保障模型的質(zhì)量,主要包括上線前的模型評(píng)審、生產(chǎn)過(guò)程中的完成元數(shù)據(jù)配置、DQC、SLA和生命周期設(shè)置以及上線后的日常運(yùn)維機(jī)制等等。尤其針對(duì)元數(shù)據(jù)管理和生命周期管理,我們分別制定了倉(cāng)庫(kù)每一層元數(shù)據(jù)維護(hù)規(guī)范和生命周期管理規(guī)范,其中元數(shù)據(jù)管理規(guī)范,是依據(jù)數(shù)倉(cāng)各層級(jí)中各種類型表的建模標(biāo)準(zhǔn)來(lái)制定,需要做到規(guī)范命名,明確數(shù)據(jù)歸屬,并打通業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)之間的關(guān)系。而生命周期管理規(guī)范,是依據(jù)配送業(yè)務(wù)特點(diǎn)和數(shù)倉(cāng)各層級(jí)現(xiàn)狀來(lái)制定的,如下表所示:
4.1.3 安全標(biāo)準(zhǔn)
圍繞數(shù)據(jù)安全標(biāo)準(zhǔn),首先要有數(shù)據(jù)的分級(jí)、分類標(biāo)準(zhǔn),確保數(shù)據(jù)在上線前有著準(zhǔn)確的密級(jí)。第二,針對(duì)數(shù)據(jù)使用方,要有明確的角色授權(quán)標(biāo)準(zhǔn),通過(guò)分級(jí)分類和角色授權(quán),來(lái)保障重要數(shù)據(jù)拿不走。第三,針對(duì)敏感數(shù)據(jù),要有隱私管理標(biāo)準(zhǔn),保障敏感數(shù)據(jù)的安全存儲(chǔ),即使未授權(quán)用戶繞過(guò)權(quán)限管理拿到敏感數(shù)據(jù),也要確保其看不懂。第四,通過(guò)制定審計(jì)標(biāo)準(zhǔn),為后續(xù)的審計(jì)提供審計(jì)依據(jù),確保數(shù)據(jù)走不脫。
4.1.4 資源管理標(biāo)準(zhǔn)
在資源管理方面,配送技術(shù)工程部已經(jīng)對(duì)資源管理涉及的內(nèi)容進(jìn)行了合理抽象和準(zhǔn)確定義,抽象出租戶、資源和項(xiàng)目組等概念。不管是后續(xù)的資源預(yù)算還是資源管理,我們都需要基于租戶和項(xiàng)目組來(lái)進(jìn)行運(yùn)營(yíng),因此,對(duì)于業(yè)務(wù)團(tuán)隊(duì)而言,我們只需要將租戶和項(xiàng)目組特定職能劃分清楚,然后根據(jù)不同的職能歸屬我們的資產(chǎn),并分配生產(chǎn)該資產(chǎn)所需要的資源。為了方便后續(xù)的運(yùn)營(yíng),我們對(duì)每個(gè)租戶和項(xiàng)目組分配確定了責(zé)任人,由責(zé)任人對(duì)運(yùn)營(yíng)結(jié)果負(fù)責(zé)。
對(duì)業(yè)務(wù)部門(mén)來(lái)說(shuō),資源管理的關(guān)鍵是對(duì)數(shù)據(jù)資產(chǎn)做清晰的分類,基于數(shù)據(jù)的分類劃分不同的租戶和項(xiàng)目組,將數(shù)據(jù)和租戶、項(xiàng)目組實(shí)現(xiàn)一一映射。由于租戶和項(xiàng)目組都有特定的責(zé)任人對(duì)其負(fù)責(zé),因此,我們通過(guò)這種映射關(guān)系,不僅實(shí)現(xiàn)了資產(chǎn)的隔離,還實(shí)現(xiàn)了資產(chǎn)確權(quán)(項(xiàng)目組負(fù)責(zé)人同時(shí)對(duì)資產(chǎn)負(fù)責(zé)和運(yùn)營(yíng))。我們整體將數(shù)據(jù)分為兩大類,一是原始數(shù)據(jù),包括流到數(shù)據(jù)中心的數(shù)據(jù)和日志中心的數(shù)據(jù),針對(duì)流入數(shù)據(jù)中心的數(shù)據(jù),根據(jù)其產(chǎn)生的方式不同,又進(jìn)一步分為業(yè)務(wù)數(shù)據(jù)和流量數(shù)據(jù)。二是加工數(shù)據(jù),對(duì)應(yīng)著數(shù)據(jù)團(tuán)隊(duì)的倉(cāng)庫(kù)建設(shè)和其他團(tuán)隊(duì)的集市建設(shè)。基于上述的描述,針對(duì)資源管理,我們做了如下劃分和確權(quán):
4.2 重實(shí)施,保落實(shí)
第二步,落實(shí)第一步的標(biāo)準(zhǔn),完成數(shù)據(jù)治理第一階段的目標(biāo),實(shí)現(xiàn)存量數(shù)據(jù)“由亂到治”,并完成相應(yīng)組織和工具的建設(shè),為實(shí)現(xiàn)第二階段“行不逾矩”這一目標(biāo)提供工具和組織能力。在此過(guò)程中,主要分成三個(gè)方面的治理工作:第一,架構(gòu)模型“由亂到治”的治理,消除模型冗余、跨層引用和鏈路過(guò)長(zhǎng)等問(wèn)題,在架構(gòu)上保證模型的穩(wěn)定性和數(shù)據(jù)一致性;第二,元數(shù)據(jù)“由亂到治”的治理,實(shí)現(xiàn)指標(biāo)的標(biāo)準(zhǔn)定義、技術(shù)元數(shù)據(jù)的完整采集并建立指標(biāo)與表、字段的映射關(guān)系,徹底解決指標(biāo)認(rèn)知一致性,以及用戶在使用數(shù)據(jù)過(guò)程中的“找數(shù)難”等問(wèn)題;第三,圍繞著隱私安全和共享安全加強(qiáng)數(shù)據(jù)的安全管控來(lái)實(shí)現(xiàn)數(shù)據(jù)走不脫、拿不走,以及隱私數(shù)據(jù)看不懂這一目標(biāo)。
4.2.1 架構(gòu)治理
總結(jié)起來(lái),架構(gòu)方面的治理主要是解決兩個(gè)問(wèn)題:第一,模型的靈活性,避免需求變更和業(yè)務(wù)迭代對(duì)核心模型帶來(lái)的沖擊,讓RD深陷無(wú)休止的需求迭代中;第二,數(shù)據(jù)一致性,消除因模型冗余、跨層引用等問(wèn)題帶來(lái)的數(shù)據(jù)一致性問(wèn)題。
模型靈活性
配送解決的是效率、成本和體驗(yàn)三者之間的平衡問(wèn)題,即在滿足一定用戶體驗(yàn)的條件下,如何提升騎手配送效率,服務(wù)更多的商家,以及如何管控騎手,降低配送成本。抽象到數(shù)據(jù)層面,基本上反映為上游包裹來(lái)源的變化、配送對(duì)外提供服務(wù)的變化以及對(duì)內(nèi)業(yè)務(wù)管控的變化。為屏蔽業(yè)務(wù)迭代給核心模型帶來(lái)的沖擊,我們通過(guò)對(duì)外封裝包裹屬性和對(duì)內(nèi)封裝運(yùn)單屬性,抽象出包裹來(lái)源、提供服務(wù)、業(yè)務(wù)架構(gòu)等一致性維度,任何業(yè)務(wù)迭代在數(shù)據(jù)層面只涉及維度的調(diào)整,大大降低了對(duì)核心模型沖擊和“煙囪式”數(shù)據(jù)建設(shè)問(wèn)題(新來(lái)一個(gè)業(yè)務(wù),就拉起一個(gè)分支進(jìn)行建設(shè))。
配送指標(biāo)體系建設(shè)的一個(gè)重點(diǎn)就是要輸出各組織層級(jí)的規(guī)模、體驗(yàn)和效率指標(biāo),實(shí)現(xiàn)對(duì)運(yùn)力的有效管控,運(yùn)力所屬組織的層級(jí)關(guān)系會(huì)隨業(yè)務(wù)的迭代而不斷變化。為了適應(yīng)這種變化,避免僅僅因增加維度帶來(lái)中間層數(shù)據(jù)的重復(fù)建設(shè),我們將組織層級(jí)維表由固定層級(jí)建模方式調(diào)整為橋接表的方式來(lái)自適配組織層級(jí)變化,從而實(shí)現(xiàn)了中間層模型可以自動(dòng)適配組織層級(jí)的變化,能自動(dòng)產(chǎn)生新維度的指標(biāo)。如下圖所示:
在精細(xì)化分析的場(chǎng)景下,業(yè)務(wù)會(huì)有分時(shí)段、分距離段以及分價(jià)格段的數(shù)據(jù)分析訴求。我們以分時(shí)段為例,有晚高峰、午高峰、下午茶等不同的分時(shí)段,不同的業(yè)務(wù)方對(duì)同一個(gè)時(shí)段的定義口徑不同,即不同的業(yè)務(wù)方會(huì)有不同的分時(shí)段策略。為解決該場(chǎng)景下的分析訴求,我們?cè)谑聦?shí)表中消除退化維度,將原來(lái)封裝到事實(shí)表的時(shí)段邏輯遷移到維度表中,并將事實(shí)表中的時(shí)間進(jìn)行按特定的間隔進(jìn)行刻度化作為維表中的主鍵,將該主鍵作為事實(shí)表的外鍵。這樣,針對(duì)業(yè)務(wù)不同的時(shí)間策略需要,我們就可以在維表中進(jìn)行配置,避免了重復(fù)調(diào)整事實(shí)表和反復(fù)刷數(shù)的問(wèn)題。即通過(guò)將時(shí)間、價(jià)格、距離事實(shí)刻度化,實(shí)現(xiàn)靈活維度分析。如下圖所示:
數(shù)據(jù)一致性
數(shù)據(jù)一致性得不到保障的一個(gè)根本原因,是在建模的過(guò)程中沒(méi)有實(shí)現(xiàn)業(yè)務(wù)口徑標(biāo)簽化,并將業(yè)務(wù)口徑下沉到主題層。很多同學(xué)在基于需求進(jìn)行開(kāi)發(fā)時(shí),為實(shí)現(xiàn)方便,將新指標(biāo)口徑通過(guò)“Case When”的方式在應(yīng)用層和中間層進(jìn)行封裝開(kāi)發(fā),主題層建設(shè)不能隨著業(yè)務(wù)的迭代不斷完善,RD在開(kāi)發(fā)過(guò)程中會(huì)直接引用倉(cāng)庫(kù)的快照表在中間層或應(yīng)用層完成需求開(kāi)發(fā)。久而久之,就會(huì)造成數(shù)據(jù)復(fù)用性低下,相同指標(biāo)的口徑封裝在不同的應(yīng)用表來(lái)滿足不同報(bào)表的需求,但隨著應(yīng)用的增多,很難保障相同指標(biāo)在不用應(yīng)用表封裝邏輯的一致性,數(shù)據(jù)一致性難以得到保障,同時(shí)這種方式還帶來(lái)兩個(gè)嚴(yán)重后果:第一,跨層引用增多,數(shù)據(jù)復(fù)用性低下,造成計(jì)算和存儲(chǔ)成本的浪費(fèi);第二,一旦指標(biāo)口徑發(fā)生變化,將是一個(gè)“災(zāi)難”,不僅影響評(píng)估是一個(gè)問(wèn)題,而且涉及該指標(biāo)的應(yīng)用層邏輯調(diào)整對(duì)RD來(lái)說(shuō)也是一個(gè)巨大的挑戰(zhàn)。
因此,我們?cè)凇坝蓙y到治”的治理過(guò)程中,以衍生事實(shí)的方式實(shí)現(xiàn)業(yè)務(wù)口徑標(biāo)簽化,將業(yè)務(wù)邏輯下沉到主題層,消除跨層引用和模型冗余等問(wèn)題,從技術(shù)層面保障數(shù)據(jù)一致性是該階段架構(gòu)治理的重點(diǎn)。我們?cè)跇I(yè)務(wù)上,已經(jīng)劃分了嚴(yán)格的數(shù)據(jù)域和業(yè)務(wù)過(guò)程,在主題建設(shè)層面,將業(yè)務(wù)劃分的數(shù)據(jù)域作為我們的主題,并基于業(yè)務(wù)過(guò)程進(jìn)行維度建模,將屬于該業(yè)務(wù)過(guò)程的指標(biāo)口徑封裝在對(duì)應(yīng)業(yè)務(wù)過(guò)程下的衍生事實(shí)中。
4.2.2 元數(shù)據(jù)治理
元數(shù)據(jù)治理主要解決三個(gè)問(wèn)題:首先,通過(guò)建立相應(yīng)的組織、流程和工具,推動(dòng)業(yè)務(wù)標(biāo)準(zhǔn)的落地實(shí)施,實(shí)現(xiàn)指標(biāo)的規(guī)范定義,消除指標(biāo)認(rèn)知的歧義;其次,基于業(yè)務(wù)現(xiàn)狀和未來(lái)的演進(jìn)方式,對(duì)業(yè)務(wù)模型進(jìn)行抽象,制定清晰的主題、業(yè)務(wù)過(guò)程和分析方向,構(gòu)建完備的技術(shù)元數(shù)據(jù),對(duì)物理模型進(jìn)行準(zhǔn)確完善的描述,并打通技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的關(guān)系,對(duì)物理模型進(jìn)行完備的刻畫(huà);第三,通過(guò)元數(shù)據(jù)建設(shè),為使用數(shù)據(jù)提效,解決“找數(shù)、理解數(shù)、評(píng)估”難題以及“取數(shù)、數(shù)據(jù)可視化”等難題。
首先,為保障業(yè)務(wù)標(biāo)準(zhǔn)的順利實(shí)施,實(shí)現(xiàn)業(yè)務(wù)對(duì)指標(biāo)認(rèn)知一致性這一目標(biāo)。我們協(xié)同產(chǎn)研、商分、業(yè)務(wù)部門(mén)推動(dòng)成立了度量衡委員會(huì),并建立起指標(biāo)運(yùn)營(yíng)機(jī)制,通過(guò)組織保障來(lái)實(shí)現(xiàn)指標(biāo)運(yùn)營(yíng)按照規(guī)范的標(biāo)準(zhǔn)和流程實(shí)施。如下圖所示:
其次,基于配送業(yè)務(wù)的現(xiàn)狀和未來(lái)演進(jìn)方式,我們進(jìn)行了高度的業(yè)務(wù)抽象,完成了主題、業(yè)務(wù)過(guò)程和分析方向等元數(shù)據(jù)內(nèi)容的建設(shè)。配送即物流,通過(guò)線上系統(tǒng)和線下運(yùn)營(yíng),我們將用戶的配送需求和美團(tuán)的運(yùn)力進(jìn)行有效的資源配置,實(shí)現(xiàn)高服務(wù)體驗(yàn)、低成本的配送服務(wù)。對(duì)外,我們將配送服務(wù)通過(guò)平臺(tái)化的方式,提供給用戶、商戶和電商平臺(tái),以滿足不同用戶在不同業(yè)務(wù)場(chǎng)景下的配送需求。 對(duì)內(nèi),我們通過(guò)不同的調(diào)度模式將運(yùn)單池中的運(yùn)單調(diào)度給合適的騎手來(lái)完成履約,平衡規(guī)模、成本和體驗(yàn)之間的關(guān)系。如下圖所示:
基于以上的業(yè)務(wù)模式,我們劃分了運(yùn)單主題(對(duì)履約數(shù)據(jù)域下的數(shù)據(jù)進(jìn)行構(gòu)建,支撐規(guī)模和體驗(yàn)的數(shù)據(jù)分析需求)、調(diào)度主題(調(diào)度數(shù)據(jù)域下產(chǎn)生的數(shù)據(jù),用于支撐調(diào)度策略的分析)、結(jié)算、評(píng)價(jià)、投訴、取消主題(用于支撐體驗(yàn)、成本數(shù)據(jù)分析需求)和管控主題(用于支撐運(yùn)力獎(jiǎng)懲、違規(guī)和招募分析需求)等各種主題,并在每個(gè)主題下劃分對(duì)應(yīng)的業(yè)務(wù)過(guò)程,在應(yīng)用層制定分析方向的分析標(biāo)簽,通過(guò)對(duì)元數(shù)據(jù)內(nèi)容的建設(shè)完成對(duì)業(yè)務(wù)的抽象,為物理模型的刻畫(huà)準(zhǔn)備了基礎(chǔ)數(shù)據(jù)。
第三,元數(shù)據(jù)服務(wù)建設(shè),我們打通了元數(shù)據(jù)從采集到構(gòu)建再到應(yīng)用的整條鏈路,為使用數(shù)據(jù)提效,解決“找數(shù)、理解數(shù)、評(píng)估”難題以及“取數(shù)、數(shù)據(jù)可視化”難題。在整個(gè)建設(shè)過(guò)程中,我們圍繞著元數(shù)據(jù)采集、元模型構(gòu)建、元數(shù)據(jù)服務(wù)以及最后的產(chǎn)品應(yīng)用進(jìn)行展開(kāi),整體架構(gòu)如下圖所示:
元數(shù)據(jù)采集
元數(shù)據(jù)采集分為人工錄入和自動(dòng)抽取,通過(guò)人工錄入的方式實(shí)現(xiàn)物理表的準(zhǔn)確歸屬(包括該表屬于倉(cāng)庫(kù)哪一層、對(duì)應(yīng)的主題、業(yè)務(wù)過(guò)程、星型模型關(guān)系等)以及指標(biāo)的采集,從而完成技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的采集,通過(guò)自動(dòng)抽取的方式完成生產(chǎn)元數(shù)據(jù)的采集和使用元數(shù)據(jù)的采集,主要包括:物理模型的依賴關(guān)系、存儲(chǔ)占用、熱度、等信息。
元模型構(gòu)建
分為以物理表為核心的基礎(chǔ)元模型構(gòu)建,以及以血緣為中心的血緣元模型。基礎(chǔ)元模型構(gòu)建以物理表為中心,打通其與技術(shù)元數(shù)據(jù)(主題、業(yè)務(wù)過(guò)程、Schema)的關(guān)系,實(shí)現(xiàn)了物理表的清晰歸屬,打通其與生產(chǎn)元數(shù)據(jù)的關(guān)系,為其加上了物理表查詢熱度、資源消耗、查詢密級(jí)等生產(chǎn)使用信息,打通其與指標(biāo)、維度和應(yīng)用的對(duì)應(yīng)關(guān)系,為上層的取數(shù)應(yīng)用建立了完備的元數(shù)據(jù)。血緣元模型以血緣為中心,不僅構(gòu)建了從上游業(yè)務(wù)表到倉(cāng)庫(kù)離線表的物理血緣,而且打通了倉(cāng)庫(kù)離線表到下游對(duì)應(yīng)報(bào)表的血緣,為后續(xù)的影響評(píng)估構(gòu)建了完備的元數(shù)據(jù)基礎(chǔ)。
元數(shù)據(jù)服務(wù)
統(tǒng)一元數(shù)據(jù)服務(wù)(OneService),主要提供兩類元數(shù)據(jù)服務(wù),提供查詢表、指標(biāo)、維度基本信息的基礎(chǔ)元數(shù)據(jù)服務(wù)以及查詢表級(jí)血緣、字段級(jí)血緣的血緣服務(wù)。
元數(shù)據(jù)應(yīng)用
主要孵化出了三個(gè)產(chǎn)品,以“找數(shù)、理解數(shù)、影響評(píng)估”為應(yīng)用場(chǎng)景的數(shù)據(jù)地圖(Wherehows),以“取數(shù)、數(shù)據(jù)可視化”為應(yīng)用場(chǎng)景的數(shù)據(jù)可視化(QuickSight),以及以管理審計(jì)為目的的管理審計(jì)報(bào)表。
4.2.3 安全治理
安全治理主要加強(qiáng)了敏感數(shù)據(jù)的安全治理和數(shù)據(jù)共享環(huán)節(jié)的安全治理。通過(guò)對(duì)隱私數(shù)據(jù)的安全治理,不僅要保證其在存儲(chǔ)環(huán)節(jié)的不可見(jiàn)性,而且還要保證在其使用環(huán)節(jié)對(duì)用戶進(jìn)行雙重鑒權(quán),字段的密級(jí)鑒權(quán)和解密的密鑰鑒權(quán);通過(guò)對(duì)數(shù)據(jù)共享環(huán)節(jié)的安全治理,我們?cè)跀?shù)據(jù)分級(jí)分類的基礎(chǔ)上,使數(shù)據(jù)的權(quán)限控制從表級(jí)權(quán)限控制擴(kuò)展到行級(jí)權(quán)限控制。
敏感數(shù)據(jù)安全治理
敏感數(shù)據(jù)的安全治理,主要是解決敏感數(shù)據(jù)的存儲(chǔ)安全和使用安全。離線場(chǎng)景下,敏感數(shù)據(jù)存儲(chǔ)安全要解決兩大挑戰(zhàn):
確保倉(cāng)庫(kù)側(cè)處理方案既要屏蔽上游業(yè)務(wù)系統(tǒng)變動(dòng)帶來(lái)的影響,又要屏蔽自身策略對(duì)下游BI系統(tǒng)的影響。
要避免敏感數(shù)據(jù)在整個(gè)加工鏈路中的擴(kuò)散。
因此,為解決倉(cāng)庫(kù)處理方案與上游業(yè)務(wù)系統(tǒng)和下游BI系統(tǒng)的解耦問(wèn)題,我們?cè)谏嫌蚊舾袛?shù)據(jù)落到ODS環(huán)節(jié),確保落到ODS層的敏感數(shù)據(jù)必須是明文,為保障其安全,對(duì)ODS層的所有數(shù)據(jù)進(jìn)行文件加密,但是在使用層面,對(duì)下游鏈路透明保障下游鏈路的正常生產(chǎn),并限制ODS層數(shù)據(jù)權(quán)限的開(kāi)放。ODS層數(shù)據(jù)只用于安全生產(chǎn),通過(guò)此方案既屏蔽了上游處理方案對(duì)倉(cāng)庫(kù)的影響,又解決了敏感數(shù)據(jù)的安全問(wèn)題。當(dāng)數(shù)據(jù)從離開(kāi)倉(cāng)庫(kù)時(shí),在傳輸環(huán)節(jié)對(duì)敏感數(shù)據(jù)進(jìn)行可逆操作,將敏感數(shù)據(jù)以明文的形式推入BI庫(kù),實(shí)現(xiàn)與下游BI系統(tǒng)的解耦。為解決敏感數(shù)據(jù)在整個(gè)生產(chǎn)鏈路的擴(kuò)散,我們?cè)诳煺諏訉?duì)敏感數(shù)據(jù)進(jìn)行脫敏處理,從快照層開(kāi)始消除敏感數(shù)據(jù),為保障敏感數(shù)據(jù)的可逆性,將ODS層的敏感數(shù)據(jù)抽取到安全庫(kù)中并進(jìn)行加密存儲(chǔ),實(shí)現(xiàn)安全獨(dú)立管理。具體執(zhí)行如下圖所示:
針對(duì)敏感數(shù)據(jù)的使用安全,我們通過(guò)對(duì)敏感字段的權(quán)限控制和對(duì)解密密鑰的權(quán)限控制,來(lái)實(shí)現(xiàn)敏感數(shù)據(jù)使用安全這一目標(biāo)。針對(duì)單獨(dú)抽取的敏感數(shù)據(jù),我們除了針對(duì)敏感數(shù)據(jù)設(shè)置其相應(yīng)的密級(jí)確保敏感數(shù)據(jù)的權(quán)限管控外,還基于"暗語(yǔ)"的加密方式為每個(gè)項(xiàng)目組分配一個(gè)相同的密鑰,并且將該密鑰存放到與Hadoop集群集成的KMS進(jìn)行管理(確保支撐離線計(jì)算的高并發(fā)),確保解密時(shí)實(shí)現(xiàn)密鑰的權(quán)限管控。
共享環(huán)節(jié)安全治理
針對(duì)共享環(huán)節(jié)的安全治理,我們主要是在數(shù)據(jù)生產(chǎn)環(huán)節(jié)完成數(shù)據(jù)的分級(jí)分類和數(shù)據(jù)確權(quán),在數(shù)據(jù)的使用環(huán)節(jié)完成數(shù)據(jù)的表級(jí)權(quán)限控制和行級(jí)權(quán)限控制。確保數(shù)據(jù)在使用環(huán)節(jié)規(guī)范的審批流轉(zhuǎn),權(quán)限開(kāi)放以后的安全審計(jì),保證數(shù)據(jù)走不脫。
首先,我們?cè)谏a(chǎn)環(huán)節(jié)B3、B2、B1層數(shù)據(jù)按照主題或?qū)嶓wC層數(shù)據(jù)按照應(yīng)用方向進(jìn)行邏輯劃分,并設(shè)定資源的密級(jí)和權(quán)限負(fù)責(zé)人。特別地為實(shí)現(xiàn)B3層數(shù)據(jù)在查詢環(huán)節(jié)可按照業(yè)務(wù)線進(jìn)行權(quán)限管控這一目標(biāo)(即行級(jí)鑒權(quán)),針對(duì)B3層數(shù)據(jù),我們標(biāo)記該數(shù)據(jù)需要在查詢環(huán)節(jié)進(jìn)行行級(jí)權(quán)限管控,標(biāo)記使用行級(jí)鑒權(quán)所需的字段和該字段對(duì)應(yīng)的枚舉值。
其次,在使用環(huán)節(jié),我們按照資產(chǎn)密級(jí)和使用人角色完成數(shù)據(jù)的審批流轉(zhuǎn),實(shí)現(xiàn)數(shù)據(jù)的安全共享。
第三,針對(duì)B3層數(shù)據(jù),審計(jì)是否設(shè)置了行級(jí)權(quán)限管控。在數(shù)據(jù)開(kāi)放時(shí)是否存在越權(quán)使用的情況,以及針對(duì)即將離職員工加強(qiáng)數(shù)據(jù)的使用審計(jì),保證數(shù)據(jù)走不脫。
在數(shù)據(jù)“由亂到治”的治理過(guò)程中,我們不僅實(shí)現(xiàn)了存量數(shù)據(jù)的“由亂到治”,并且在此過(guò)程中沉淀出了一系列的建模方法論、工具,并建立了相應(yīng)的安全小組和指標(biāo)運(yùn)營(yíng)組織。同時(shí),我們?yōu)楹罄m(xù)增量數(shù)據(jù)治理確保數(shù)據(jù)建設(shè)“行不逾矩”,提供了強(qiáng)有力的組織保障、穩(wěn)定的輔助工具和嚴(yán)格的執(zhí)行標(biāo)準(zhǔn)。在數(shù)據(jù)治理的第二階段實(shí)現(xiàn)增量數(shù)據(jù)的“行不逾矩”的過(guò)程中,我們主要圍繞大數(shù)據(jù)架構(gòu)審計(jì)、大數(shù)據(jù)安全與隱私管理審計(jì)、大數(shù)據(jù)質(zhì)量管理審計(jì)和大數(shù)據(jù)生命周期管理審計(jì)這四方面的工作展開(kāi),保障治理工作的持續(xù)進(jìn)行,不斷提高了組織的治理水平。
5. 工具簡(jiǎn)介
5.1 數(shù)據(jù)地圖(Wherehows)
數(shù)據(jù)地圖作為元數(shù)據(jù)應(yīng)用的一個(gè)產(chǎn)品,聚焦于數(shù)據(jù)使用者的“找數(shù)”場(chǎng)景,實(shí)現(xiàn)檢索數(shù)據(jù)和理解數(shù)據(jù)的“找數(shù)”訴求。我們通過(guò)對(duì)離線數(shù)據(jù)集和在線數(shù)據(jù)集的元數(shù)據(jù)刻畫(huà),滿足了用戶找數(shù)和理解數(shù)的訴求,通過(guò)血緣圖譜,完成物理表到產(chǎn)品的血緣建設(shè),消除用戶人肉評(píng)估的痛苦。
離線數(shù)據(jù)場(chǎng)景
1.關(guān)鍵字檢索和向?qū)Р樵児餐鉀Q了“找數(shù)據(jù)”的問(wèn)題:大部分的檢索數(shù)據(jù)場(chǎng)景下,數(shù)據(jù)使用者都可以通過(guò)關(guān)鍵字檢索來(lái)得到匹配結(jié)果。剩下的一小部分場(chǎng)景,例如,對(duì)于新人入職后如何了解整個(gè)數(shù)倉(cāng)和指標(biāo)的體系(數(shù)倉(cāng)分幾層,每層解決什么問(wèn)題,都孵化出什么模型;整個(gè)指標(biāo)、維度體系都是怎么分類,有哪些指標(biāo)和維度),這部分場(chǎng)景可以使用向?qū)Р樵児δ堋O驅(qū)Р樵兿喈?dāng)于分類查詢,將表和指標(biāo)按照業(yè)務(wù)過(guò)程進(jìn)行分類,用戶可以按照分類逐步找到想要的表或指標(biāo)。
2.我們打通了業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)之間的關(guān)系,提高了“找數(shù)據(jù)”的能力:通過(guò)“Wherehows”查找到指標(biāo)后,不僅不可查看指標(biāo)的業(yè)務(wù)定義,還能查看指標(biāo)的技術(shù)實(shí)現(xiàn)邏輯,指標(biāo)在哪些維度或維度組合中已經(jīng)實(shí)現(xiàn),并且能夠在哪張表里找到這些維度,或維度組合的指標(biāo)數(shù)據(jù)。反之,也可以知道在某個(gè)維度下已經(jīng)實(shí)現(xiàn)了哪些指標(biāo),對(duì)應(yīng)的指標(biāo)在哪些表里。這些功能能讓用戶更加方便地找到想要的數(shù)據(jù)。
3.我們提供了較為完善的數(shù)據(jù)信息,幫助用戶更好理解數(shù)據(jù):對(duì)于表的信息,“Wherehows”除了提供表和字段的中英文名稱、描述信息等基礎(chǔ)信息外,為了幫助用戶更好地理解表的建設(shè)思路,我們還提供了表的星型模型(可以關(guān)聯(lián)的一致性維度及對(duì)應(yīng)的維度表)、表的血緣關(guān)系等信息。
4.我們通過(guò)評(píng)論問(wèn)答功能,幫助用戶可以快速得到問(wèn)題反饋:如果用戶看了信息后還是感到有問(wèn)題,“Wherehows”提供評(píng)論問(wèn)答的功能,用戶通過(guò)這個(gè)功能可以進(jìn)行提問(wèn),會(huì)有相應(yīng)的負(fù)責(zé)人進(jìn)行回復(fù)。對(duì)于重復(fù)問(wèn)反復(fù)問(wèn)的問(wèn)題,用戶通過(guò)查看其它人的提問(wèn)和回復(fù)就能找到答案。并且負(fù)責(zé)人還會(huì)定期的將問(wèn)答信息沉淀到對(duì)應(yīng)的元數(shù)據(jù)里,不斷地對(duì)元數(shù)據(jù)進(jìn)行補(bǔ)充和完善。
業(yè)務(wù)數(shù)據(jù)場(chǎng)景
業(yè)務(wù)數(shù)據(jù)場(chǎng)景主要想解決的一個(gè)問(wèn)題是,如何知道一個(gè)業(yè)務(wù)表(MySQL表)有沒(méi)有同步到數(shù)倉(cāng)。如果沒(méi)有同步,能夠找誰(shuí)進(jìn)行同步。因?yàn)橐呀?jīng)打通“業(yè)務(wù)表 -> 數(shù)倉(cāng)表 -> 產(chǎn)品”三者之間的血緣關(guān)系,我們能夠輕松解決業(yè)務(wù)數(shù)據(jù)場(chǎng)景的問(wèn)題。
生產(chǎn)評(píng)估場(chǎng)景
在日常數(shù)據(jù)生產(chǎn)工作中,我們經(jīng)常需要對(duì)表進(jìn)行影響評(píng)估、故障排查、鏈路分析等工作,這些工作如果靠純?nèi)斯とプ觯M(fèi)時(shí)費(fèi)力。但現(xiàn)在我們已經(jīng)打通了“業(yè)務(wù)表/字段 -> 數(shù)倉(cāng)表/字段 -> 產(chǎn)品”三者之間的血緣關(guān)系,就能夠在10分鐘內(nèi)完成評(píng)估工作。對(duì)于不同的場(chǎng)景,血緣鏈路提供了兩個(gè)便捷的功能:過(guò)濾和剪枝。例如,某個(gè)表邏輯需要修改,需要看影響哪些下游表或產(chǎn)品?應(yīng)該要通知哪些RD和PM?這種情況下,血緣工具直觀地顯示影響了哪些負(fù)責(zé)人和產(chǎn)品,以及這個(gè)表的下游鏈路。
有些表的鏈路很長(zhǎng),整個(gè)血緣關(guān)系圖很大,這樣會(huì)導(dǎo)致用戶定位信息或問(wèn)題。所以血緣工具提供了剪枝的功能,對(duì)于沒(méi)用的、不想看到的分支可以剪掉,從而讓整個(gè)鏈路變得更加直觀。
5.2 數(shù)據(jù)可視化(QuickSight)
聚焦于數(shù)據(jù)使用者“取數(shù)”場(chǎng)景,使用QuickSight,用戶可以不再關(guān)心數(shù)據(jù)的來(lái)源,不再擔(dān)心數(shù)據(jù)的一致性,不再依賴RD的排期開(kāi)發(fā)。通過(guò)所選即所得的方式,滿足了用戶對(duì)業(yè)務(wù)核心指標(biāo)的二次加工、報(bào)表和取數(shù)訴求。首先,我們通過(guò)指標(biāo)池、數(shù)據(jù)集等概念對(duì)離線生產(chǎn)的指標(biāo)進(jìn)行邏輯隔離,針對(duì)不同用戶開(kāi)發(fā)不同的數(shù)據(jù)集以達(dá)到權(quán)限控制的目的,如下圖所示:
其次,我們?yōu)橛脩籼峁┮幌盗械慕M件,幫助用戶基于為其開(kāi)放的數(shù)據(jù)集實(shí)現(xiàn)指標(biāo)的二次加工和數(shù)據(jù)可視化功能,滿足其在不同業(yè)務(wù)場(chǎng)景下的取數(shù)和可視化應(yīng)用。如下圖所示:
經(jīng)過(guò)三個(gè)階段的治理工作,我們?cè)诟鱾€(gè)方面都取得了較好的效果:
在數(shù)據(jù)標(biāo)準(zhǔn)方面,我們制定了業(yè)務(wù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)、安全標(biāo)準(zhǔn)、資源管理標(biāo)準(zhǔn),從而保障了數(shù)據(jù)生產(chǎn)、管理、使用合規(guī)。
在數(shù)據(jù)架構(gòu)方面,我們通過(guò)橋接表、時(shí)間刻度化、業(yè)務(wù)口徑下沉等手段提升模型靈活性,并保障數(shù)據(jù)一致性,消除跨層引用和模型冗余等問(wèn)題。
在數(shù)據(jù)安全方面,我們加強(qiáng)了對(duì)敏感數(shù)據(jù)和數(shù)據(jù)共享環(huán)節(jié)的安全治理,保證數(shù)據(jù)拿不走、走不脫,隱私數(shù)據(jù)看不懂。
在元數(shù)據(jù)建設(shè)方面,我們打通了從采集到構(gòu)建再到應(yīng)用的整條鏈路,并為數(shù)據(jù)使用人員提供數(shù)據(jù)地圖、數(shù)據(jù)可視化等元數(shù)據(jù)應(yīng)用產(chǎn)品,幫助他們解決了“找數(shù)”、“取數(shù)”、“影響評(píng)估”等難題。
未來(lái),我們還會(huì)繼續(xù)通過(guò)組織、規(guī)范、流程等手段持續(xù)對(duì)數(shù)據(jù)安全、資源利用、數(shù)據(jù)質(zhì)量等各方面進(jìn)行治理,并在數(shù)據(jù)易用性上下功夫,持續(xù)降低用戶的數(shù)據(jù)使用成本。
在數(shù)據(jù)架構(gòu)方面,隨著數(shù)據(jù)庫(kù)技術(shù)的飛速進(jìn)步,現(xiàn)在已經(jīng)有很多數(shù)據(jù)庫(kù)能夠支持千萬(wàn)級(jí)乃至億級(jí)數(shù)據(jù)的現(xiàn)算先用,我們也在嘗試使用這些數(shù)據(jù)庫(kù)幫助提升數(shù)據(jù)開(kāi)發(fā)效率,改善數(shù)倉(cāng)分層管理和應(yīng)用支撐效率。
在數(shù)據(jù)產(chǎn)品方面,我們將持續(xù)完善數(shù)據(jù)地圖、數(shù)據(jù)可視化等數(shù)據(jù)應(yīng)用產(chǎn)品,幫助用戶快速探查、高效分析,真正發(fā)揮數(shù)據(jù)的業(yè)務(wù)價(jià)值。
作者簡(jiǎn)介
王鵬,2016年加入美團(tuán)點(diǎn)評(píng),目前在配送事業(yè)部數(shù)據(jù)團(tuán)隊(duì)負(fù)責(zé)眾包業(yè)務(wù)數(shù)據(jù)建設(shè)、數(shù)據(jù)治理和系統(tǒng)化相關(guān)工作。
家豪,2018年加入美團(tuán)點(diǎn)評(píng),目前在配送事業(yè)部數(shù)據(jù)團(tuán)隊(duì)負(fù)責(zé)眾包業(yè)務(wù)數(shù)據(jù)建設(shè)、數(shù)據(jù)治理和系統(tǒng)化相關(guān)工作。
編輯:hfy
評(píng)論
查看更多