色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

什么是數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)湖?

工業(yè)互聯(lián)網(wǎng)前線 ? 來源:一個(gè)數(shù)據(jù)玩家的自我修養(yǎng) ? 作者:一個(gè)數(shù)據(jù)玩家的自 ? 2020-09-21 10:44 ? 次閱讀

來源:一個(gè)數(shù)據(jù)玩家的自我修養(yǎng) 本文已授權(quán)

經(jīng)常看到有人問這個(gè)問題,數(shù)據(jù)玩家也看過很多解釋,感覺都不夠直觀,這里,我嘗試用一個(gè)大家都理解的例子來說明。

什么是數(shù)據(jù)倉(cāng)庫(kù)?

大家都去宜家買過東西吧,還記得一樓的大倉(cāng)庫(kù)不,你如果看中了某個(gè)家具,想要自己去倉(cāng)庫(kù)提貨,一般都會(huì)記下商品上的編碼:

這個(gè)編碼對(duì)于顧客來說,肯定是沒有任何含義的,看到這個(gè)編碼,不可能知道他是一個(gè)什么商品。

但是這個(gè)編碼,對(duì)于倉(cāng)庫(kù)管理員來說是有含義的,他們可以清楚的知道,是哪一個(gè)貨架,哪一個(gè)位置。

當(dāng)然,顧客到倉(cāng)庫(kù)里順著貨架和位置也可以找到商品,但是總歸不太直觀,挑選的過程還是得在樓上進(jìn)行。

因此數(shù)據(jù)倉(cāng)庫(kù)就相當(dāng)于宜家的一樓倉(cāng)庫(kù),在這里,數(shù)據(jù)(家具)按照特定的模型,如FS-LDM等(貨架-位置)組織起來,這種模型,對(duì)于顧客(業(yè)務(wù)人員,數(shù)據(jù)最終用戶)是不友好的,但是對(duì)于科技人員(倉(cāng)庫(kù)管理員,宜家員工)來說相對(duì)友好,因?yàn)樗凑找环N更加集約化的規(guī)則將數(shù)據(jù)(家具)管理起來了,存放集中、規(guī)整,提取數(shù)據(jù)(提貨)不用跨庫(kù)(貨倉(cāng))尋找,查找的效率更加高。

那什么是數(shù)據(jù)集市呢?

還是用這個(gè)例子,上文提到,數(shù)據(jù)倉(cāng)庫(kù)對(duì)業(yè)務(wù)人員不是很友好,同樣,你總不能讓顧客直接逛倉(cāng)庫(kù)吧?顧客的需求,是按照家具的種類分門別類,按照家庭的不同房間,組合在一起展示的,正如宜家樓上的展廳:

雖然也被吐槽像迷宮一樣,但是總的來說,購(gòu)物體驗(yàn)肯定比逛倉(cāng)庫(kù)來得好多了。

所以,數(shù)據(jù)集市就像宜家樓上的展廳,正如其名字“集市”一樣,是一個(gè)面向最終用戶(顧客)的數(shù)據(jù)市場(chǎng),在這里,數(shù)據(jù)(家具)以一種更加容易被業(yè)務(wù)人員(顧客)接受的方式組合在一起,這些組合方式可能是多變的,因?yàn)闃I(yè)務(wù)人員(顧客)的需求是多變的,因此我們需要定期調(diào)整集市的計(jì)算口徑(展廳的陳列方式),經(jīng)常會(huì)創(chuàng)建新的數(shù)據(jù)集市(裝修新的展廳)。

數(shù)據(jù)倉(cāng)庫(kù)和集市的概念理解了,其他一些相關(guān)問題也就迎刃而解,比如為什么有了數(shù)據(jù)倉(cāng)庫(kù)還要建數(shù)據(jù)集市?等等。

那什么是數(shù)據(jù)湖呢?

數(shù)據(jù)湖至今仍然沒有一個(gè)特別標(biāo)準(zhǔn)的概念,各種概念中,比較統(tǒng)一的一點(diǎn)是數(shù)據(jù)湖存儲(chǔ)的是未經(jīng)加工的原始數(shù)據(jù),包含結(jié)構(gòu)化和非結(jié)構(gòu)化的各類數(shù)據(jù)。數(shù)據(jù)玩家仍然嘗試用上面的例子來解釋。

大家都知道,宜家的家具是需要自己組裝的,所以宜家的顧客們都有一些動(dòng)手能力,他們突發(fā)奇想,所有的家具能不能全部拆散成零部件存放,由顧客們根據(jù)實(shí)際需要挑選零部件自行拼裝?

所以,數(shù)據(jù)湖就是一個(gè)存儲(chǔ)了所有企業(yè)內(nèi)原始數(shù)據(jù)(家具零部件)的存儲(chǔ),這就帶來一系列問題,加工后數(shù)據(jù)的存儲(chǔ)已經(jīng)非常復(fù)雜,原始數(shù)據(jù)則依賴更多的管理功能,不然數(shù)據(jù)又多又雜難以管理,數(shù)據(jù)湖會(huì)退化為數(shù)據(jù)沼澤。此外,原始數(shù)據(jù)如果缺少統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),就像不同的家具零部件之間的接口不同,那就無法組裝在一起了。

因此,數(shù)據(jù)湖必須有完善的數(shù)據(jù)管理功能,也依賴于統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和良好的數(shù)據(jù)質(zhì)量管理。

那什么又是數(shù)據(jù)中臺(tái)呢?

數(shù)據(jù)中臺(tái)也沒有一個(gè)特別明確的定義,這里很難套用宜家的例子強(qiáng)行解釋了,我們來看下各類數(shù)據(jù)平臺(tái):

在我們傳統(tǒng)的數(shù)據(jù)應(yīng)用中,隨著數(shù)據(jù)對(duì)于業(yè)務(wù)友好度的增加,其時(shí)效性也在減弱。而我們的目標(biāo),顯然是數(shù)據(jù)又快又好。既然各部門的需求都不一樣,為何不讓業(yè)務(wù)自助分析數(shù)據(jù)呢?于是我們有了右上角的目標(biāo)狀態(tài)。但是這個(gè)理想狀態(tài)和我們現(xiàn)在的數(shù)據(jù)應(yīng)用中間有巨大的空隙,靠什么來填補(bǔ)?答案就是數(shù)據(jù)中臺(tái)。

我們可以將其分為狹義的數(shù)據(jù)中臺(tái)和廣義的數(shù)據(jù)中臺(tái)。狹義的數(shù)據(jù)中臺(tái),指的是一套數(shù)據(jù)應(yīng)用和工具,包括分布式ETL、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)標(biāo)簽管理、數(shù)據(jù)沙箱、自助分析平臺(tái)、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理等等,底層則以現(xiàn)有的數(shù)倉(cāng)、大數(shù)據(jù)平臺(tái)等為數(shù)據(jù)源,為企業(yè)提供數(shù)據(jù)資產(chǎn)管理的能力,并持續(xù)挖掘數(shù)據(jù)價(jià)值,持續(xù)提供數(shù)據(jù)智能服務(wù)。

廣義的數(shù)據(jù)中臺(tái),則在狹義的數(shù)據(jù)中臺(tái)基礎(chǔ)之上,包含了頂層數(shù)據(jù)戰(zhàn)略,數(shù)據(jù)治理體系以及數(shù)據(jù)管理及運(yùn)營(yíng)、數(shù)據(jù)文化培養(yǎng)和組織架構(gòu)支撐,是一套持續(xù)管理和運(yùn)營(yíng)的體系。

可以這么說,狹義的數(shù)據(jù)中臺(tái),是專為達(dá)成數(shù)據(jù)中臺(tái)的使命而打造,一類是讓數(shù)據(jù)更快的處理、整合、加工,比如分布式ETL工具。隨著傳統(tǒng)數(shù)據(jù)被大數(shù)據(jù)平臺(tái)逐步替代,ETL工具對(duì)于大數(shù)據(jù)平臺(tái)的適配也需要與時(shí)俱進(jìn),支持分布式計(jì)算、彈性計(jì)算,并且減少開發(fā)量。

另一類是讓數(shù)據(jù)更好的產(chǎn)生業(yè)務(wù)價(jià)值,比如數(shù)據(jù)標(biāo)簽管理,自助分析平臺(tái)等。數(shù)據(jù)標(biāo)簽大家都在用,但是真正深度使用的企業(yè)都會(huì)感覺:建好容易用好難,如果沒有一套標(biāo)簽管理系統(tǒng),標(biāo)簽是否重復(fù)加工,標(biāo)簽的使用率、準(zhǔn)確性等都無從掌控,業(yè)務(wù)部門想要針對(duì)近期營(yíng)銷活動(dòng)新建一個(gè)標(biāo)簽,還得走開發(fā)流程,時(shí)效性也難以保證。數(shù)據(jù)標(biāo)簽管理系統(tǒng)就是為了解決數(shù)據(jù)標(biāo)簽的使用問題而建立。自助分析平臺(tái)則是方便業(yè)務(wù)人員自助進(jìn)行數(shù)據(jù)分析、加工、探索的平臺(tái),它與數(shù)據(jù)沙箱結(jié)合,直接將去隱私化的生產(chǎn)數(shù)據(jù)提供業(yè)務(wù)人員分析,使數(shù)據(jù)更快的產(chǎn)生價(jià)值,支撐關(guān)鍵決策。

廣義的數(shù)據(jù)中臺(tái),則是輔助狹義數(shù)據(jù)中臺(tái)達(dá)成使命的機(jī)制,雖然看起來都很“虛”,但是卻是數(shù)據(jù)中臺(tái)成功落地的必要保障。

那所有這些都必須做嗎?

這個(gè)問題要看具體的企業(yè)情況,總的來說,一個(gè)大原則是以滿足業(yè)務(wù)發(fā)展為第一優(yōu)先,不要為了做基礎(chǔ)設(shè)施而做基礎(chǔ)設(shè)施,一定要以能解決業(yè)務(wù)訴求為最終目的。

《人月神話》里早就宣告了銀彈不存在,自然,數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)都不是銀彈,千萬不能以為做了他們就水到渠成,數(shù)字化轉(zhuǎn)型就自動(dòng)完成了。

簡(jiǎn)言之,用了一系列時(shí)髦的新技術(shù)不見得就是數(shù)字化領(lǐng)軍企業(yè),不用也不見得就是古典互聯(lián)網(wǎng)時(shí)代的落后作坊。關(guān)鍵是認(rèn)清自身的數(shù)字化現(xiàn)狀,擬定數(shù)字化目標(biāo),制定數(shù)字化路徑,優(yōu)選場(chǎng)景,實(shí)現(xiàn)價(jià)值。新技術(shù)、各類數(shù)據(jù)基礎(chǔ)設(shè)施只是這條道路上,一套套切實(shí)可行的行動(dòng)方案,是把過去銀行的種種數(shù)字化的嘗試,重新以體系化、結(jié)構(gòu)化的方法論梳理,并且賦予當(dāng)下最新的技術(shù)架構(gòu)予以實(shí)施。

原文標(biāo)題:數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)到底有什么區(qū)別?

文章出處:【微信公眾號(hào):工業(yè)IoT】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)到底有什么區(qū)別?

文章出處:【微信號(hào):IndustryIOT,微信公眾號(hào):工業(yè)互聯(lián)網(wǎng)前線】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    戴爾數(shù)據(jù)倉(cāng)助力企業(yè)數(shù)字化轉(zhuǎn)型

    在數(shù)字化轉(zhuǎn)型的浪潮下,企業(yè)正面臨著前所未有的數(shù)據(jù)挑戰(zhàn)。從傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)到如今的非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù),每一種類型都對(duì)企業(yè)的存儲(chǔ)和分析能力提出了更高的要求。面對(duì)這些變化,傳統(tǒng)的
    的頭像 發(fā)表于 12-20 09:31 ?88次閱讀

    可與MES系統(tǒng)集成的數(shù)據(jù)采集監(jiān)控平臺(tái)

    ,確保數(shù)據(jù)的全面接入。 數(shù)據(jù)存儲(chǔ)與管理: 采用數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)采集到的數(shù)據(jù)。 提供高效的數(shù)據(jù)
    發(fā)表于 12-16 15:08

    云計(jì)算在大數(shù)據(jù)分析中的應(yīng)用

    和處理大規(guī)模的數(shù)據(jù)集。通過云計(jì)算平臺(tái),用戶可以快速構(gòu)建數(shù)據(jù)倉(cāng)庫(kù),將海量數(shù)據(jù)進(jìn)行存儲(chǔ)、管理和分析。這種能力使得企業(yè)能夠高效地處理PB級(jí)別的數(shù)據(jù),滿足大
    的頭像 發(fā)表于 10-24 09:18 ?439次閱讀

    數(shù)據(jù)從業(yè)者必知必會(huì)的Hive SQL調(diào)優(yōu)技巧

    數(shù)據(jù)從業(yè)者必知必會(huì)的Hive SQL調(diào)優(yōu)技巧 摘要 :在大數(shù)據(jù)領(lǐng)域中,Hive SQL被廣泛應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)查詢和分析。然而,由于數(shù)據(jù)
    的頭像 發(fā)表于 09-24 13:30 ?238次閱讀

    多功能數(shù)據(jù)采集背夾廣泛應(yīng)用于用于倉(cāng)庫(kù)、物流運(yùn)輸?shù)刃袠I(yè)

    隨著信息技術(shù)的飛速發(fā)展,多功能數(shù)據(jù)采集背夾作為一種創(chuàng)新型的智能設(shè)備,正逐步在倉(cāng)庫(kù)、物流運(yùn)輸?shù)刃袠I(yè)中展現(xiàn)其巨大的應(yīng)用價(jià)值。這種設(shè)備以其便攜性、高效性和多功能性,成為現(xiàn)代企業(yè)管理中不可或缺的一部分。在
    的頭像 發(fā)表于 09-12 14:49 ?183次閱讀
    多功能<b class='flag-5'>數(shù)據(jù)</b>采集背夾廣泛應(yīng)用于用于<b class='flag-5'>倉(cāng)庫(kù)</b>、物流運(yùn)輸?shù)刃袠I(yè)

    解鎖SAP數(shù)據(jù)的潛力:SNP Glue與SAP Datasphere的協(xié)同作用

    ,實(shí)現(xiàn)與基于云的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)的無縫連接。通過近乎實(shí)時(shí)的數(shù)據(jù)傳輸和增強(qiáng)的數(shù)據(jù)共享能力,企業(yè)可以更有效地管理內(nèi)外部
    的頭像 發(fā)表于 09-11 17:23 ?348次閱讀
    解鎖SAP<b class='flag-5'>數(shù)據(jù)</b>的潛力:SNP Glue與SAP Datasphere的協(xié)同作用

    數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)的主要區(qū)別

    數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)是兩個(gè)在信息技術(shù)領(lǐng)域中常見的概念,它們?cè)?b class='flag-5'>數(shù)據(jù)管理和分析方面發(fā)揮著重要作用。盡管它們?cè)谀承┓矫嬗邢嗨浦帲鼈冊(cè)谠O(shè)計(jì)、目的和功能上存在顯著差異。本文將介紹數(shù)據(jù)倉(cāng)庫(kù)
    的頭像 發(fā)表于 07-05 14:57 ?520次閱讀

    工業(yè)數(shù)據(jù)中臺(tái)的功能和應(yīng)用場(chǎng)景

    。 實(shí)時(shí)數(shù)據(jù)流處理和批量數(shù)據(jù)處理。 2.數(shù)據(jù)存儲(chǔ)與管理: 提供分布式存儲(chǔ)解決方案,如Hadoop、HBase等。 數(shù)據(jù)
    的頭像 發(fā)表于 07-04 16:18 ?354次閱讀

    什么是數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)有什么區(qū)別?

    從本質(zhì)上說,數(shù)據(jù)就是一個(gè)信息資源庫(kù)。人們常常將數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)混為一談,但兩者在架構(gòu)和滿足的業(yè)務(wù)需求上都不一樣。尤其是,隨著社交媒體
    的頭像 發(fā)表于 05-20 12:38 ?606次閱讀
    什么是<b class='flag-5'>數(shù)據(jù)</b><b class='flag-5'>湖</b>?<b class='flag-5'>數(shù)據(jù)</b><b class='flag-5'>湖</b>和<b class='flag-5'>數(shù)據(jù)倉(cāng)庫(kù)</b>有什么區(qū)別?

    PLC數(shù)據(jù)采集系統(tǒng)在糧食中轉(zhuǎn)倉(cāng)庫(kù)的應(yīng)用

    糧食中轉(zhuǎn)倉(cāng)庫(kù)的作用是對(duì)糧食進(jìn)行儲(chǔ)存和轉(zhuǎn)運(yùn),糧食的進(jìn)倉(cāng)、出倉(cāng)、翻倉(cāng)等動(dòng)作通過氣墊機(jī)、斗提機(jī)、刮板機(jī)等設(shè)備PLC控制,同時(shí)出入庫(kù)也需求進(jìn)一步計(jì)量并錄入系統(tǒng),以確保糧食儲(chǔ)運(yùn)工作安全可靠開展并留有數(shù)據(jù)追溯
    的頭像 發(fā)表于 05-17 15:54 ?319次閱讀

    數(shù)據(jù)中臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)治理與主數(shù)據(jù)的定位與差異

    在數(shù)字化時(shí)代,大數(shù)據(jù)已經(jīng)成為企業(yè)運(yùn)營(yíng)和決策的重要資產(chǎn)。為了更好地管理和利用這些數(shù)據(jù)數(shù)據(jù)中臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)治理和主
    的頭像 發(fā)表于 05-08 10:40 ?431次閱讀

    華為推出全新數(shù)據(jù)解決方案及全閃存新品

    近日,華為在數(shù)據(jù)存儲(chǔ)新春新品發(fā)布會(huì)上,向全球展示了其全新的數(shù)據(jù)解決方案,以及專為商業(yè)市場(chǎng)與分銷市場(chǎng)設(shè)計(jì)的全閃存存儲(chǔ)新品。這些創(chuàng)新產(chǎn)品的推出,標(biāo)志著華為在數(shù)據(jù)存儲(chǔ)領(lǐng)域邁出了重要的一步,
    的頭像 發(fā)表于 02-21 10:35 ?632次閱讀

    揭秘倉(cāng)一體:大數(shù)據(jù)演進(jìn)的未來趨勢(shì)與影響

    倉(cāng)一體架構(gòu)下,數(shù)據(jù)要統(tǒng)一存儲(chǔ)管理,一份數(shù)據(jù)作為 Single source of truth,避免導(dǎo)來導(dǎo)去,造成數(shù)據(jù)冗余,分析口徑不一致等問題;存儲(chǔ)層通常采用 S3/HDFS 作為
    的頭像 發(fā)表于 01-29 14:17 ?959次閱讀
    揭秘<b class='flag-5'>湖</b>倉(cāng)一體:大<b class='flag-5'>數(shù)據(jù)</b>演進(jìn)的未來趨勢(shì)與影響

    構(gòu)建高效數(shù)據(jù)生態(tài):數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)、大數(shù)據(jù)平臺(tái)與數(shù)據(jù)中臺(tái)解析_光點(diǎn)科技

    在數(shù)字化的浪潮中,一套高效的數(shù)據(jù)管理系統(tǒng)是企業(yè)競(jìng)爭(zhēng)力的核心。從傳統(tǒng)的數(shù)據(jù)庫(kù)到現(xiàn)代的數(shù)據(jù)中臺(tái),每一種技術(shù)都在數(shù)據(jù)的旅程中扮演著關(guān)鍵角色。本文將深入探討
    的頭像 發(fā)表于 01-17 10:20 ?368次閱讀
    主站蜘蛛池模板: 亚洲高清无在码在线电影| 两个人的视频日本在线观看完整| 豆奶视频在线高清观看| 国产成人在线视频网站| 国产麻豆精品久久一二三| 精品国产国产精2020久久日| 久久er99热精品一区二区| 美女露出撒尿的部位| 日本动漫henta videos| 忘忧草直播| 在线免费观看成年人视频| 99亚洲精品色情无码久久| 国产成人精品午夜福麻豆报告| 国精品产露脸偷拍视频| 久久综合电影| 色戒西瓜视频| 一本大道无码AV天堂欧美| 99久久国产视频| 国产激情精品久久久久久碰| 吉吉av电影| 欧美午夜a级精美理论片| 午夜特级毛片| 11 13加污女qq看他下面| 国产AV天堂亚洲AV麻豆| 久久99热狠狠色一区二区| 秋霞特色大片18岁入口| 亚洲精品国产字幕久久vr| 97色伦图片7778久久| 国产精品一区二区亚瑟不卡| 久草在线在线精品观看| 欧美日韩中文在线字幕视频| 亚洲国产成人爱AV在线播放丿 | 日产久久视频| 亚洲国产日韩制服在线观看| 97色伦图区97色伦综合图区| 国产色偷偷男人的天堂| 蜜桃成熟时2在线| 国产精品久久国产三级国不卡顿| 另类专区hy777| 亚洲AV福利天堂一区二区三| 99久久全国免费久久爱|