色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一名數據分析工程師的實習經歷

工程師人生 ? 來源:工程師吳畏 ? 2019-07-10 17:03 ? 次閱讀

從進入大學,我就常在思考,未來要做什么,自己的興趣是什么。我的大學階段,在保證本專業的成績優秀的情況下,我盡一切努力探索更多未知的領域。參加過全國物流設計大賽,電子商務大賽,機械設計大賽,創新創業大賽,全國大學生數學建模大賽,還參與各種社團,學生活動,只是為了找尋真正喜歡的方向。后面,我發現能從心底里感興趣,真正喜歡的就是參與數學建模的整個過程,這也在最后奠定了以后的方向。

保研后,在完成學校所有的論文要求和實驗室項目的同時,我開啟了數據分析的實習道路,現在已經在互聯網實習快一年了,記錄一下所有的成長歷程吧!

首先是面試,有兩輪的面試,因為是技術崗,第一個面試官問了兩個算法題和一個數學題,第二個面試官問了一個用sql處理數據的問題和兩個數學題,而第二個面試官就是我們數據組的老大。

開始的一周,需要搭建跳板機,vpn和git的環境,接著就開始工作了。

我們組的工作內容:

我們組的工作是分析公司各業務的log日志,包括服務器和客戶端,還有每個業務服務的數據庫中的數據。最后搭建數據倉庫,完成一整套數據收集,處理,分析到展示的過程,其中還涉及監控和報警,有離線數據還有實時數據的分析。我們提供一個數據報表展示平臺,每一個報表由運維,產品,運營,服務器開發等同事提出數據需求,最后由我們完成,同時,我們還會處理各種臨時需求,數據分析等工作,并提供一個方便大家查詢數據的sql查詢接口

技術流:

首先,各業務的產品經理想要分析某個點擊行為或者功能,需要和對應的開發,和我們組協商打點的數據格式,參數,對應的服務器名,日志路徑,或者jdbc,庫名與表名,對應的字段名稱,具體業務邏輯和含義。業務產品需要給我們提出數據分析需求,不同的維度的篩選,統計指標的定義。接著需要大數據工程師,如果是離線數據,需要用sqoop將數據導入hdfs上,存入規定地標準路徑和文件中,建立partition以天為分區。然后數據分析工程師需要搭建整個數據倉庫,公司的數據倉庫是用php搭建的框架,對應格式基本一致的數據源,用hive建表,可以對應csv,用jave寫serde進行解析等方式處理,如果是非格式化且記錄之間的格式變動較大,需要用pig處理,pig中調用python,處理后再用hive建表,也有需要用r進行處理的數據,最后數據經過ods,dw層以hive表記錄,到最后dm層時實現產品最后的統計分析需求,dm以mysql表記錄,數據倉庫的建立需要伴隨著業務不斷修改邏輯,最后展示到web中,web中還需要進行一些簡單的sql進行展示,用js插件可以調用不用的數據展示形式。實時數據是用kafak進行收集,然后實時查詢,離線數據是晚上12:00開始跑job,其中包括任務調度,依賴等的設置。如果有以月跑的數據,還crontab進行調度,有些數據還需要外部信息,比如ip地址的對應,手機型號等,要寫對應爬蟲收集相關數據。公司有三個業務,業務的數據還會內嵌,交叉統計,有時候某一個業務邏輯修改會影響很多數據的統計結果,因此數據分析工作是一個復雜的系統工程。

作為一個數據分析工程師,我的工作主要是分析離線數據,在產品提出需求后,分析要統計的邏輯,提出倒數需求log或mysql,建立數據倉庫hive,pig,python,php,從ods層到dm層寫出數據統計的邏輯,最后把數據放如mysql,最后配置web頁面,有時候會寫簡單的爬蟲,跑臨時數據,會用shell寫個簡單的腳本,用crontab進行調度等。倉庫的代碼用git管理。

結語:

喜歡我們組的氛圍,大家都熱愛各種創新的技術和分析方法,熱愛分享。很感激老大帶領我進入了公司,進入了我們組,感謝大家對我的幫助,開啟了我數據分析的道路。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 工程師
    +關注

    關注

    59

    文章

    1569

    瀏覽量

    68505
  • 數據分析
    +關注

    關注

    2

    文章

    1445

    瀏覽量

    34050
收藏 人收藏

    評論

    相關推薦

    NVIDIA助力百度提升數據分析效能

    在現代商業環境中,數據分析已然成為企業獲取成功的關鍵所在。長期以來,百度廣告數據團隊始終面臨著極為復雜的數據分析挑戰,其需要為逾千用戶提供在線廣告業務
    的頭像 發表于 11-20 10:06 ?198次閱讀

    數據分析有哪些分析方法

    數據分析種重要的技能,它可以幫助我們從大量的數據中提取有價值的信息,從而做出更明智的決策。在這篇文章中,我們將介紹數據分析的各種方法,包括描述性
    的頭像 發表于 07-05 14:51 ?568次閱讀

    嵌入式軟件工程師如何提升自己?

    嵌入式軟件工程師如何提升自己? 作為一名嵌入式軟件工程師,在這個充滿機遇和挑戰的領域里,如何提升自己顯得非常重要,它決定了你未來的發展方向和成就。接下來,我們起探討
    發表于 06-12 11:20

    索尼誠邀軟件工程師參與PS免費手游平臺設計

    據悉,近日,澳大利亞知名媒體TweakTown發現,索尼互動娛樂正在為其旗下的PlayStation Studios Mobile招募一名資深的軟件工程師,負責設計PlayStation的免費手機游戲平臺。
    的頭像 發表于 05-23 17:08 ?720次閱讀

    求助,關于AD采集到的數據分析問題

    問題描述:使用AD采集個10Hz到2MHz的脈沖,脈沖底部可能大于零,由采集到的數據分析出該脈沖的上升時間,幅值和占空比。 備注:在分析的時候已經知道脈沖的頻率,精度為2X10^-5. 在
    發表于 05-09 07:40

    大廠電子工程師常見面試題#電子工程師 #硬件工程師 #電路知識 #面試題

    電子工程師電路
    安泰小課堂
    發布于 :2024年04月30日 17:33:15

    單片機如何通過代碼控制硬件:一名工程師的分享

    今天跟大家聊聊單片機是怎樣通過代碼來操控硬件的。作為一名單片機工程師,我們平時的工作就像是給單片機編寫“指令集”,讓它按照我們的意圖去驅動各種硬件設備。
    的頭像 發表于 03-06 14:46 ?1467次閱讀
    單片機如何通過代碼控制硬件:<b class='flag-5'>一名</b><b class='flag-5'>工程師</b>的分享

    如何搞崩個硬件工程師心態?試試對ta說這幾句

    硬件工程師
    揚興科技
    發布于 :2024年02月20日 18:05:49

    優秀電源工程師需要哪些必備技能?

    隨著電源市場的不斷擴張,開關電源行業飛速發展,企業對電源工程師的需求日益增加,對電源工程師的技能要求也日漸提高,相信沒有位電源工程師會錯過讓自己變得更優秀的機會。作為
    發表于 01-29 11:29

    一名嵌入式工程師的漲薪經歷

    下面是位嵌入式工程師的漲薪經歷,希望可以幫助到你,幫到其他的在校學生。 ? 階段 1 大到大三這個階段我與大多數學生相同: ? 、學習
    的頭像 發表于 01-05 08:39 ?441次閱讀

    基于振弦采集儀的工程監測數據分析方法研究

    基于振弦采集儀的工程監測數據分析方法研究 基于振弦采集儀的工程監測數據分析方法研究主要涉及以下幾個方面: 基于振弦采集儀的工程監測
    的頭像 發表于 01-02 15:12 ?400次閱讀
    基于振弦采集儀的<b class='flag-5'>工程</b>監測<b class='flag-5'>數據分析</b>方法研究
    主站蜘蛛池模板: 在线a视频| jzz大全18| 荡公乱妇HD中文字幕| 国产亚洲中文字幕视频| 在公交车上被JB草坏了被轮J了| 99C视频色欲在线| 国产精品第九页| 男女床上黄色| 亚洲AV无码专区国产乱码网站| 2018高清国产一区二区三区| 国产精品久久高潮呻吟无码| 麻豆成人AV久久无码精品| 婷婷激情综合色五月久久竹菊影视| 中文亚洲大香伊蕉不卡一区| 2018三级网站免费观看| 国产精品久久精品视| 美女内射少妇三区五区| 泡妞高手在都市完整版视频免费| 亚洲免费视频观看| 调教椅上的调教SM总裁被调教| 久久精品视频免费| 免费女人光着全身网站| 亚洲 欧美 制服 视频二区| 99久久精品费精品国产一区二 | 92电影网午夜福利| 国产骚妇BB网| 啦啦啦 中文 日本 韩国 免费| 视频一区国产| 99视频在线精品免费观看18| 红色机尾快播| 美女穿丝袜被狂躁动态图| 亚洲mv在线观看| 夫妻主vk| 欧美高清video mr.sexo| 有码 亚洲 制服 国产 在线| 国产无遮挡无码视频在线观看不卡| 久久视频精品38线视频在线观看| 无限好资源免费观看| 扒开校花粉嫩小泬喷潮漫画| 美女尿口羞羞视频| 艳鉧动漫1~6全集观看在线|