如何成為大數據工程師

由于目前大數據人才匱乏，由于18年是各個大學第一年開設大數據專業，所以暫時也沒有相關專業的大數據專業人才投入到社會中。對于公司來說，很難招聘到合適的人才。

阿里巴巴曾經舉辦了一個大數據競賽，通過這個競賽來激勵內部員工，同時也發現外部人才，讓各行業的大數據工程師涌現出來。各個領域的達人只要學會運用數據，也可以成為大數據工程師。

如果曾經沒有大數據相關經驗而又想加入大數據這個高薪的行業那么很多的人就會選擇通過培訓來進行系統的學習，從而真正的進入到大數據這個高薪的行業。但是當今社會培訓機構種類繁多，培訓的內容也有諸多不同，大家務必要擦亮眼睛認真選擇，避免選錯導致人財兩失。

薪酬待遇

作為IT類職業中的“大熊貓”，大數據工程師的收入待遇可以說達到了同類的頂級。根據觀察，國內IT、通訊、行業招聘中，有10％都是和大數據相關的，且比例還在上升。“大數據時代的到來很突然，在國內發展勢頭激進，而人才卻非常有限，現在完全是供不應求的狀況。”在美國，大數據工程師平均每年薪酬高達17.5萬美元，而據了解，在國內頂尖互聯網類公司，同一個級別大數據工程師的薪酬可能要比其他職位高20％至30％，且頗受企業重視。

職業發展路徑

由于大數據人才數量較少，因此大多數公司的數據部門一般都是扁平化的層級模式，大致分為數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊，而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。“這個職位的大部分人會往研究方向發展，成為重要數據戰略人才。”另一方面，大數據工程師對商業和產品的理解，并不亞于業務部門員工，因此也可轉向產品部或市場部，乃至上升為公司的高級管理層。

在一個成熟的數據驅動型公司，“大數據工程師”往往是一個團隊，它意味著從數據的收集、整理展現、分析和商業洞察、以至于市場轉化的全過程。這個團隊中可能包括數據工程師、分析師、產品專員、市場專員和商業決策者等角色，共同完成從原始數據到商業價值的轉換—概括來講，這是一個支持企業做出商業決策、發掘商業模式的重要群體。

一個優秀的大數據工程師要具備一定的邏輯分析能力，并能迅速定位某個商業問題的關鍵屬性和決定因素。“他得知道什么是相關的，哪個是重要的，使用什么樣的數據是最有價值的，如何快速找到每個業務最核心的需求。”聯合國百度大數據聯合實驗室數據科學家沈志勇說。學習能力能幫助大數據工程師快速適應不同的項目，并在短時間內成為這個領域的數據專家；溝通能力則能讓他們的工作開展地更順利，因為大數據工程師的工作主要分為兩種方式：由市場部驅動和由數據分析部門驅動，前者需要常常向產品經理了解開發需求，后者則需要找運營部了解數據模型實際轉化的情況。

很多初學者，對大數據的概念都是模糊不清的，大數據是什么，能做什么，學的時候，該按照什么線路去學習，學完往哪方面發展，想深入了解，想學習的同學歡迎加入大數據學習扣扣群：957205962，有大量干貨（零基礎以及進階的經典實戰）分享給大家，并且有清華大學畢業的資深大數據講師給大家免費授課，給大家分享目前國內最完整的大數據高端實戰實用學習流程體系。

你可以將以上這些要求看做是成為大數據工程師的努力方向，因為根據萬寶瑞華管理合伙人的觀察，這是一個很大的人才缺口。目前國內的大數據應用多集中在互聯網領域，有超過56%的企業在籌備發展大數據研究，“未來5年，94%的公司都會需要數據工程師”

大數據工程師做什么？

用阿里巴巴集團研究員薛貴榮的話來說，大數據工程師就是一群“玩數據”的人，玩出數據的商業價值，讓數據變成生產力。大數據和傳統數據的最大區別在于，它是在線的、實時的，規模海量且形式不規整，無章法可循，因此“會玩”這些數據的人就很重要。

如果把大數據想象成一座不停累積的礦山，那么大數據工程師的工作就是，“第一步，定位并抽取信息所在的數據集，相當于探礦和采礦。第二步，把它變成直接可以做判斷的信息，相當于冶煉。最后是應用，把數據可視化等。”

因此分析歷史、預測未來、優化選擇，這是大數據工程師在“玩數據”時最重要的三大任務。通過這三個工作方向，他們幫助企業做出更好的商業決策。

找出過去事件的特征

大數據工程師一個很重要的工作，就是通過分析數據來找出過去事件的特征。比如，騰訊的數據團隊正在搭建一個數據倉庫，把公司所有網絡平臺上數量龐大、不規整的數據信息進行梳理，總結出可供查詢的特征，來支持公司各類業務對數據的需求，包括廣告投放、游戲開發、社交網絡等。

找出過去事件的特征，最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，并預測他的行為。“你可以知道他是什么樣的人、他的年紀、興趣愛好，是不是互聯網付費用戶、喜歡玩什么類型的游戲，平常喜歡在網上做什么事情。”騰訊云計算有限公司北京研發中心總經理鄭立峰對《第一財經周刊》說。下一步到了業務層面，就可以針對各類人群推薦相關服務，比如手游，或是基于不同特征和需求衍生出新的業務模式，比如微信的電影票業務。

預測未來可能發生的事情

通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。在阿里媽媽的營銷平臺上，工程師正試圖通過引入氣象數據來幫助淘寶賣家做生意。“比如今年夏天不熱，很可能某些產品就沒有去年暢銷，除了空調、電扇，背心、游泳衣等都可能會受其影響。那么我們就會建立氣象數據和銷售數據之間的關系，找到與之相關的品類，提前警示賣家周轉庫存。”

在百度，支持“百度預測”部分產品的模型研發，試圖用大數據為更廣泛的人群服務。已經上線的包括世界杯預測、高考預測、景點預測等。以百度景點預測為例，大數據工程師需要收集所有可能影響一段時間內景點人流量的關鍵因素進行預測，并為全國各個景點未來的擁擠度分級—在接下來的若干天時間里，它究竟是暢通、擁擠，還是一般擁擠？

找出最優化的結果

根據不同企業的業務性質，大數據工程師可以通過數據分析來達到不同的目的。

以騰訊來說，鄭立峰認為能反映大數據工程師工作的最簡單 直接的例子就是選項測試（AB Test），即幫助產品經理在A、B兩個備選方案中做出選擇。在過去，決策者只能依據經驗進行判斷，但如今大數據工程師可以通過大范圍地實時測試—比如，在社交網絡產品的例子中，讓一半用戶看到A界面，另一半使用B界面，觀察統計一段時間內的點擊率和轉化率，以此幫助市場部做出最終選擇。

作為電商的阿里巴巴，則希望通過大數據鎖定精準的人群，幫助賣家做更好的營銷。“我們更期待的是你能找到這樣一批人，比起現有的用戶，這些人對產品更感興趣。”一個淘寶的實例是，某人參賣家原來推廣的目標人群是產婦，但工程師通過挖掘數據之間的關聯性后發現，針對孕婦群體投放的營銷轉化率更高。

需要具備的能力

邏輯思維能力強

計算機編碼能力

特定應用領域或行業的知識

大數據技術學習主要是分三部分

一、編程基礎

二、大數據技術

三、實訓項目（真實的大數據項目）