色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何成為大數(shù)據(jù)工程師

工程師人生 ? 來源:工程師吳畏 ? 2019-08-08 15:51 ? 次閱讀

大數(shù)據(jù)工程師做什么?

用阿里巴巴集團(tuán)研究員薛貴榮的話來說,大數(shù)據(jù)工程師就是一群“玩數(shù)據(jù)”的人,玩出數(shù)據(jù)的商業(yè)價(jià)值,讓數(shù)據(jù)變成生產(chǎn)力。大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的最大區(qū)別在于,它是在線的、實(shí)時(shí)的,規(guī)模海量且形式不規(guī)整,無(wú)章法可循,因此“會(huì)玩”這些數(shù)據(jù)的人就很重要。

沈志勇認(rèn)為如果把大數(shù)據(jù)想象成一座不停累積的礦山,那么大數(shù)據(jù)工程師的工作就是,“第一步,定位并抽取信息所在的數(shù)據(jù)集,相當(dāng)于探礦和采礦。第二步,把它變成直接可以做判斷的信息,相當(dāng)于冶煉。最后是應(yīng)用,把數(shù)據(jù)可視化等。”

因此分析歷史、預(yù)測(cè)未來、優(yōu)化選擇,這是大數(shù)據(jù)工程師在“玩數(shù)據(jù)”時(shí)最重要的三大任務(wù)。通過這三個(gè)工作方向,他們幫助企業(yè)做出更好的商業(yè)決策。

找出過去事件的特征

大數(shù)據(jù)工程師一個(gè)很重要的工作,就是通過分析數(shù)據(jù)來找出過去事件的特征。比如,騰訊的數(shù)據(jù)團(tuán)隊(duì)正在搭建一個(gè)數(shù)據(jù)倉(cāng)庫(kù),把公司所有網(wǎng)絡(luò)平臺(tái)上數(shù)量龐大、不規(guī)整的數(shù)據(jù)信息進(jìn)行梳理,總結(jié)出可供查詢的特征,來支持公司各類業(yè)務(wù)對(duì)數(shù)據(jù)的需求,包括廣告投放、游戲開發(fā)、社交網(wǎng)絡(luò)等。

找出過去事件的特征,最大的作用是可以幫助企業(yè)更好地認(rèn)識(shí)消費(fèi)者。通過分析用戶以往的行為軌跡,就能夠了解這個(gè)人,并預(yù)測(cè)他的行為。“你可以知道他是什么樣的人、他的年紀(jì)、興趣愛好,是不是互聯(lián)網(wǎng)付費(fèi)用戶、喜歡玩什么類型的游戲,平常喜歡在網(wǎng)上做什么事情。”騰訊云計(jì)算有限公司北京研發(fā)中心總經(jīng)理鄭立峰對(duì)《第一財(cái)經(jīng)周刊》說。下一步到了業(yè)務(wù)層面,就可以針對(duì)各類人群推薦相關(guān)服務(wù),比如手游,或是基于不同特征和需求衍生出新的業(yè)務(wù)模式,比如微信的電影票業(yè)務(wù)。

預(yù)測(cè)未來可能發(fā)生的事情

通過引入關(guān)鍵因素,大數(shù)據(jù)工程師可以預(yù)測(cè)未來的消費(fèi)趨勢(shì)。在阿里媽媽的營(yíng)銷平臺(tái)上,工程師正試圖通過引入氣象數(shù)據(jù)來幫助淘寶賣家做生意。“比如今年夏天不熱,很可能某些產(chǎn)品就沒有去年暢銷,除了空調(diào)、電扇,背心、游泳衣等都可能會(huì)受其影響。那么我們就會(huì)建立氣象數(shù)據(jù)和銷售數(shù)據(jù)之間的關(guān)系,找到與之相關(guān)的品類,提前警示賣家周轉(zhuǎn)庫(kù)存。”薛貴榮說。

在百度,沈志勇支持“百度預(yù)測(cè)”部分產(chǎn)品的模型研發(fā),試圖用大數(shù)據(jù)為更廣泛的人群服務(wù)。已經(jīng)上線的包括世界杯預(yù)測(cè)、高考預(yù)測(cè)、景點(diǎn)預(yù)測(cè)等。以百度景點(diǎn)預(yù)測(cè)為例,大數(shù)據(jù)工程師需要收集所有可能影響一段時(shí)間內(nèi)景點(diǎn)人流量的關(guān)鍵因素進(jìn)行預(yù)測(cè),并為全國(guó)各個(gè)景點(diǎn)未來的擁擠度分級(jí)—在接下來的若干天時(shí)間里,它究竟是暢通、擁擠,還是一般擁擠?

找出最優(yōu)化的結(jié)果

根據(jù)不同企業(yè)的業(yè)務(wù)性質(zhì),大數(shù)據(jù)工程師可以通過數(shù)據(jù)分析來達(dá)到不同的目的。

以騰訊來說,鄭立峰認(rèn)為能反映大數(shù)據(jù)工程師工作的最簡(jiǎn)單直接的例子就是選項(xiàng)測(cè)試(AB Test),即幫助產(chǎn)品經(jīng)理在A、B兩個(gè)備選方案中做出選擇。在過去,決策者只能依據(jù)經(jīng)驗(yàn)進(jìn)行判斷,但如今大數(shù)據(jù)工程師可以通過大范圍地實(shí)時(shí)測(cè)試—比如,在社交網(wǎng)絡(luò)產(chǎn)品的例子中,讓一半用戶看到A界面,另一半使用B界面,觀察統(tǒng)計(jì)一段時(shí)間內(nèi)的點(diǎn)擊率和轉(zhuǎn)化率,以此幫助市場(chǎng)部做出最終選擇。

作為電商的阿里巴巴,則希望通過大數(shù)據(jù)鎖定精準(zhǔn)的人群,幫助賣家做更好的營(yíng)銷。“我們更期待的是你能找到這樣一批人,比起現(xiàn)有的用戶,這些人對(duì)產(chǎn)品更感興趣。”薛貴榮說。一個(gè)淘寶的實(shí)例是,某人參賣家原來推廣的目標(biāo)人群是產(chǎn)婦,但工程師通過挖掘數(shù)據(jù)之間的關(guān)聯(lián)性后發(fā)現(xiàn),針對(duì)孕婦群體投放的營(yíng)銷轉(zhuǎn)化率更高。

B 需要具備的能力

數(shù)學(xué)及統(tǒng)計(jì)學(xué)相關(guān)的背景

就我們采訪過的BAT三家互聯(lián)網(wǎng)大公司來說,對(duì)于大數(shù)據(jù)工程師的要求都是希望是統(tǒng)計(jì)學(xué)和數(shù)學(xué)背景的碩士或博士學(xué)歷。沈志勇認(rèn)為,缺乏理論背景的數(shù)據(jù)工作者,更容易進(jìn)入一個(gè)技能上的危險(xiǎn)區(qū)域(Danger Zone)—一堆數(shù)字,按照不同的數(shù)據(jù)模型和算法總能捯飭出一些結(jié)果來,但如果你不知道那代表什么,就并不是真正有意義的結(jié)果,并且那樣的結(jié)果還容易誤導(dǎo)你。“只有具備一定的理論知識(shí),才能理解模型、復(fù)用模型甚至創(chuàng)新模型,來解決實(shí)際問題。”沈志勇說。

計(jì)算機(jī)編碼能力

實(shí)際開發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力是作為大數(shù)據(jù)工程師的一些必備要素。“因?yàn)樵S多數(shù)據(jù)的價(jià)值來自于挖掘的過程,你必須親自動(dòng)手才能發(fā)現(xiàn)金子的價(jià)值。”鄭立峰說。

舉例來說,現(xiàn)在人們?cè)谏缃痪W(wǎng)絡(luò)上所產(chǎn)生的許多記錄都是非結(jié)構(gòu)化的數(shù)據(jù),如何從這些毫無(wú)頭緒的文字、語(yǔ)音、圖像甚至視頻中攫取有意義的信息就需要大數(shù)據(jù)工程師親自挖掘。即使在某些團(tuán)隊(duì)中,大數(shù)據(jù)工程師的職責(zé)以商業(yè)分析為主,但也要熟悉計(jì)算機(jī)處理大數(shù)據(jù)的方式。

對(duì)特定應(yīng)用領(lǐng)域或行業(yè)的知識(shí)

在顏莉萍看來,大數(shù)據(jù)工程師這個(gè)角色很重要的一點(diǎn)是,不能脫離市場(chǎng),因?yàn)榇髷?shù)據(jù)只有和特定領(lǐng)域的應(yīng)用結(jié)合起來才能產(chǎn)生價(jià)值。所以,在某個(gè)或多個(gè)垂直行業(yè)的經(jīng)歷能為應(yīng)聘者積累對(duì)行業(yè)的認(rèn)知,對(duì)于之后成為大數(shù)據(jù)工程師有很大幫助,因此這也是應(yīng)聘這個(gè)崗位時(shí)較有說服力的加分項(xiàng)。

“他不能只是懂得數(shù)據(jù),還要有商業(yè)頭腦,不論對(duì)零售、醫(yī)藥、游戲還是旅游等行業(yè),能就其中某些領(lǐng)域有一定的理解,最好還是與公司的業(yè)務(wù)方向一致的,”就此薛貴榮還打了個(gè)比方,“過去我們說一些奢侈品店員勢(shì)利,看人一眼就知道買得起買不起,但這群人恰恰是有敏銳度的,我們認(rèn)為他們是這個(gè)行業(yè)的專家。又比如對(duì)醫(yī)療行業(yè)了解的人,他在考慮醫(yī)療保險(xiǎn)業(yè)務(wù)時(shí),不僅會(huì)和人們醫(yī)院看病的記錄相關(guān),也會(huì)考慮飲食數(shù)據(jù),這些都是基于對(duì)該領(lǐng)域的了解。”

C 大數(shù)據(jù)工程師的職業(yè)發(fā)展

如何成為大數(shù)據(jù)工程師

由于目前大數(shù)據(jù)人才匱乏,對(duì)于公司來說,很難招聘到合適的人才—既要有高學(xué)歷,同時(shí)最好還有大規(guī)模數(shù)據(jù)處理經(jīng)驗(yàn)。因此很多企業(yè)會(huì)通過內(nèi)部挖掘。

今年8月,阿里巴巴舉辦了一個(gè)大數(shù)據(jù)競(jìng)賽,把天貓平臺(tái)上的數(shù)據(jù)拿出來,去除敏感問題后,放到云計(jì)算平臺(tái)上交予7000多支隊(duì)伍進(jìn)行比賽,比賽分為內(nèi)部賽和外部賽。“通過這個(gè)方式來激勵(lì)內(nèi)部員工,同時(shí)也發(fā)現(xiàn)外部人才,讓各行業(yè)的大數(shù)據(jù)工程師涌現(xiàn)出來。”

顏莉萍建議,目前長(zhǎng)期從事數(shù)據(jù)庫(kù)管理、挖掘、編程工作的人,包括傳統(tǒng)的量化分析師、Hadoop方面的工程師,以及任何在工作中需要通過數(shù)據(jù)來進(jìn)行判斷決策的管理者,比如某些領(lǐng)域的運(yùn)營(yíng)經(jīng)理等,都可以嘗試該職位,而各個(gè)領(lǐng)域的達(dá)人只要學(xué)會(huì)運(yùn)用數(shù)據(jù),也可以成為大數(shù)據(jù)工程師。

薪酬待遇

作為IT類職業(yè)中的“大熊貓”,大數(shù)據(jù)工程師的收入待遇可以說達(dá)到了同類的頂級(jí)。根據(jù)顏莉萍的觀察,國(guó)內(nèi)IT、通訊、行業(yè)招聘中,有10%都是和大數(shù)據(jù)相關(guān)的,且比例還在上升。顏莉萍表示,“大數(shù)據(jù)時(shí)代的到來很突然,在國(guó)內(nèi)發(fā)展勢(shì)頭激進(jìn),而人才卻非常有限,現(xiàn)在完全是供不應(yīng)求的狀況。”在美國(guó),大數(shù)據(jù)工程師平均每年薪酬高達(dá)17.5萬(wàn)美元,而據(jù)了解,在國(guó)內(nèi)頂尖互聯(lián)網(wǎng)類公司,同一個(gè)級(jí)別大數(shù)據(jù)工程師的薪酬可能要比其他職位高20%至30%,且頗受企業(yè)重視。

職業(yè)發(fā)展路徑

由于大數(shù)據(jù)人才數(shù)量較少,因此大多數(shù)公司的數(shù)據(jù)部門一般都是扁平化的層級(jí)模式,大致分為數(shù)據(jù)分析師、資深研究員、部門總監(jiān)3個(gè)級(jí)別。大公司可能按照應(yīng)用領(lǐng)域的維度來劃分不同團(tuán)隊(duì),而在小公司則需要身兼數(shù)職。有些特別強(qiáng)調(diào)大數(shù)據(jù)戰(zhàn)略的互聯(lián)網(wǎng)公司則會(huì)另設(shè)最高職位—如阿里巴巴的首席數(shù)據(jù)官。“這個(gè)職位的大部分人會(huì)往研究方向發(fā)展,成為重要數(shù)據(jù)戰(zhàn)略人才。”顏莉萍說。另一方面,大數(shù)據(jù)工程師對(duì)商業(yè)和產(chǎn)品的理解,并不亞于業(yè)務(wù)部門員工,因此也可轉(zhuǎn)向產(chǎn)品部或市場(chǎng)部,乃至上升為公司的高級(jí)管理層。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 工程師
    +關(guān)注

    關(guān)注

    59

    文章

    1569

    瀏覽量

    68505
  • 大數(shù)據(jù)
    +關(guān)注

    關(guān)注

    64

    文章

    8883

    瀏覽量

    137406
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    FPGA算法工程師、邏輯工程師、原型驗(yàn)證工程師有什么區(qū)別?

    ,共同進(jìn)步。 歡迎加入FPGA技術(shù)微信交流群14群! 交流問題(一) Q:FPGA中的FPGA算法工程師、FPGA邏輯工程師、FPGA原型驗(yàn)證工程師三者有什么區(qū)別? A:FPGA 算法工程師
    發(fā)表于 09-23 18:26

    正是拼的年紀(jì)|65歲電子工程師上班VLOG #65歲退休 #電子工程師 #搞笑 #上班vlog

    電子工程師
    安泰小課堂
    發(fā)布于 :2024年07月25日 11:31:02

    用二創(chuàng),1:1復(fù)刻工程師的職場(chǎng)現(xiàn)狀

    工程師
    揚(yáng)興科技
    發(fā)布于 :2024年07月19日 18:30:07

    嵌入式軟件工程師和硬件工程師的區(qū)別?

    嵌入式軟件工程師和硬件工程師的區(qū)別? 嵌入式軟件工程師 嵌入式軟件工程師是軟件開發(fā)領(lǐng)域中的一種專業(yè)工程師,他們主要負(fù)責(zé)設(shè)計(jì)和開發(fā)嵌入式軟件,
    發(fā)表于 05-16 11:00

    大廠電子工程師常見面試題#電子工程師 #硬件工程師 #電路知識(shí) #面試題

    電子工程師電路
    安泰小課堂
    發(fā)布于 :2024年04月30日 17:33:15

    如何入門硬件工程師

    想跨行業(yè)做硬件設(shè)計(jì)工程師,應(yīng)該如何學(xué)習(xí)規(guī)劃呢
    發(fā)表于 03-17 21:49

    一位硬件工程師的歷練之路:從入門學(xué)習(xí)理論到... #搞笑 #硬件工程師 #電子工程師 #揚(yáng)興科技

    硬件工程師揚(yáng)興科技
    揚(yáng)興科技
    發(fā)布于 :2024年03月13日 17:50:21

    企業(yè)老工程師和高校老師有啥區(qū)別

    電子工程師硬件
    電子發(fā)燒友網(wǎng)官方
    發(fā)布于 :2024年02月28日 17:50:00

    如何搞崩一個(gè)硬件工程師心態(tài)?試試對(duì)ta說這幾句

    硬件工程師
    揚(yáng)興科技
    發(fā)布于 :2024年02月20日 18:05:49
    主站蜘蛛池模板: 成人在线免费看片| 99久久免费国内精品| a级销魂美女| 国产亚洲精品久久久久久鸭绿欲| 国产在线精品一区二区在线看 | 秋秋影视午夜福利高清| 宿舍BL 纯肉各种PLAY H| 亚洲一区免费在线观看| 9位美女厕所撒尿11分| 国产欧美日韩视频怡春院| 久久久亚洲国产精品主播| 日韩 亚洲 欧美 中文 高清| 亚洲精品另类有吗中文字幕| MELODY在线播放无删减| 国精一区二区AV在线观看网站| 欧美性最猛xxxx在线观看视频| 亚洲精品第二页| 国产69精品久久久久麻豆| 蜜芽在线播放免费人成日韩视频 | 牛牛在线精品视频(正)| 亞洲人妻AV無碼在線視頻| 国产成人永久免费视频| 久久天天综合| 一本大道香蕉中文在线视频观看| 国产精品久久久久精品A片软件| 欧美日韩中文国产一区| 999视频精品全部免费观看| 久久精品热在线观看30| 亚洲国产综合久久久无码色伦 | 国产精品人妻无码99999| 日本人添下面的全过程| 扒开女人下面使劲桶视频| 欧美人妖12p| 办公室激情在线观看| 欧美高清一区二区三| 99精品国产电影| 欧美精品XXXXBBBB| 超碰 无码 中文字幕| 人人草影院| 差差差差差差差差免费观看| 久久久久久久久性潮|