不可否認(rèn)，大數(shù)據(jù)已經(jīng)在 21 世紀(jì)掀起一場驚濤駭浪。很多人懷揣著成為數(shù)據(jù)科學(xué)家的夢想進(jìn)入數(shù)據(jù)科學(xué)世界，上期我們提到了數(shù)據(jù)分析。其實(shí)，數(shù)據(jù)分析是一個(gè)數(shù)據(jù)消費(fèi)的過程，在數(shù)據(jù)消費(fèi)之前的數(shù)據(jù)準(zhǔn)備工作，叫做數(shù)據(jù)工程。

數(shù)據(jù)是由許多數(shù)據(jù)源產(chǎn)生的，像生產(chǎn)執(zhí)行系統(tǒng)MES，各種輔助生產(chǎn)的應(yīng)用系統(tǒng)，產(chǎn)線的設(shè)備。這些數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)我們把它叫做原始數(shù)據(jù)。

為了讓業(yè)務(wù)決策者使用這些數(shù)據(jù)，需要對(duì)其進(jìn)行采集，清理，轉(zhuǎn)換，存儲(chǔ)，組合，聚合，處理過后的數(shù)據(jù)才是有價(jià)值的數(shù)據(jù)。

設(shè)計(jì)和實(shí)現(xiàn)這些數(shù)據(jù)處理的過程叫做數(shù)據(jù)工程。

數(shù)據(jù)的采集，清洗，轉(zhuǎn)換處理，是整個(gè)數(shù)據(jù)工程的關(guān)鍵，通常我們可以用ETL（Extract-Transform-Load）技術(shù)來實(shí)現(xiàn)。

隨著工廠的發(fā)展，各生產(chǎn)線，各部門都會(huì)搭建自己的應(yīng)用系統(tǒng)方便開展自己的業(yè)務(wù)，隨著數(shù)字化建設(shè)的不斷深入，由于業(yè)務(wù)系統(tǒng)之間各自為政，相互獨(dú)立造成的數(shù)據(jù)孤島現(xiàn)象尤為普遍，業(yè)務(wù)不集成，數(shù)據(jù)不共享，給工廠進(jìn)行數(shù)據(jù)的報(bào)表開發(fā)，數(shù)據(jù)分析，數(shù)據(jù)挖掘帶來了巨大困難。

通過ETL可以連接數(shù)據(jù)孤島，將分離的業(yè)務(wù)數(shù)據(jù)整合在一起，統(tǒng)一的采集，處理，共享。

數(shù)據(jù)倉庫是工廠的數(shù)據(jù)中心，所有系統(tǒng)產(chǎn)生的原始數(shù)據(jù)都流向數(shù)據(jù)倉庫，數(shù)據(jù)的存儲(chǔ)，標(biāo)準(zhǔn)化，組合都在數(shù)據(jù)倉庫中完成，最終把有價(jià)值的數(shù)據(jù)提供給各大數(shù)據(jù)應(yīng)用系統(tǒng)。

可以說數(shù)據(jù)倉庫不產(chǎn)生數(shù)據(jù)，也不消費(fèi)數(shù)據(jù)，只是數(shù)據(jù)的搬運(yùn)工。

總的來說，如果把數(shù)據(jù)消費(fèi)過程比作一盤美味的酸辣土豆絲，那數(shù)據(jù)工程就是個(gè)做菜的過程，土豆、蔥姜蒜、干紅辣椒、鹽、糖、醋這些原材料就是原始數(shù)據(jù)；去菜場買菜就好比數(shù)據(jù)采集；數(shù)據(jù)清理就是洗土豆，削皮；數(shù)據(jù)轉(zhuǎn)換就好比土豆切成絲，姜蔥蒜切末，辣椒切斷。然后準(zhǔn)備工作做好以后就開始炒菜，放入蔥姜蒜末，辣椒段和土豆絲，炒菜過程中會(huì)加入適量的醋，鹽，糖調(diào)味，這就好比在對(duì)數(shù)據(jù)做組合，聚合處理。而這一切都是發(fā)生在數(shù)據(jù)倉庫這個(gè)大廚房。最后呈現(xiàn)就是一盤美味的酸辣土豆絲啦！

據(jù)統(tǒng)計(jì)，一個(gè)數(shù)據(jù)分析的項(xiàng)目接近80%的時(shí)間會(huì)花在準(zhǔn)備數(shù)據(jù)上，這就是數(shù)據(jù)工程的意義所在。

工業(yè)大數(shù)據(jù)時(shí)代，在制造業(yè)產(chǎn)品的全生命周期從市場規(guī)劃、設(shè)計(jì)、制造、銷售、維護(hù)等過程都會(huì)產(chǎn)生大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

而智能工廠利用物聯(lián)網(wǎng)、人工智能、云計(jì)算、大數(shù)據(jù)技術(shù)提高服務(wù)和生產(chǎn)，其本質(zhì)是實(shí)現(xiàn)了人、機(jī)器、設(shè)備、IT系統(tǒng)的通過數(shù)據(jù)互聯(lián)互通。

產(chǎn)生的數(shù)據(jù)越來越多，數(shù)據(jù)采集和集成的需求也越來越多，負(fù)責(zé)數(shù)據(jù)采集和集成的數(shù)據(jù)工程在向智能工廠邁進(jìn)的數(shù)字化轉(zhuǎn)型中扮演著舉足輕重的角色。