色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

數(shù)據(jù)工程師分析工作中用到的數(shù)據(jù)連接配置模型

5RJg_mcuworld ? 2018-01-15 11:21 ? 次閱讀

作為數(shù)據(jù)工程師或者數(shù)據(jù)分析師,經(jīng)常會跟各種數(shù)據(jù)打交道,其中,獲取數(shù)據(jù)這一關(guān)是無法避免的,下面,我就將自己時常工作中用到的數(shù)據(jù)連接配置模型分享出來,供大家交流。

MySQL數(shù)據(jù)庫

mysql數(shù)據(jù)庫是目前用的最多的數(shù)據(jù)庫之一,此處我做的是讀和寫的接口,而刪除和更新操作,一般不是分析師做的,而是開發(fā),所以我沒有做這個。

importMySQLdb

import pandas as pd

from sqlalchemy import create_engine

class con_analyze:

"""數(shù)據(jù)分析平臺連接"""

def __init__(self, database='myanalyze'):

self.database = database

self.conn =None

def connect(self):

self.conn =MySQLdb.connect(host='***', user='root', passwd='***', db=self.database, charset='utf8')

def query(self, sql):

try:

self.connect()

data = pd.read_sql(sql,self.conn)

except(AttributeError,MySQLdb.OperationalError):

self.connect()

data = pd.read_sql(sql,self.conn)# 讀取數(shù)據(jù)出現(xiàn)錯誤,再次連接

return data

def store(self, mydataframe, table_name, if_exists='replace'):

conn2 ="mysql+mysqldb://root:***@***:3306/%s"%self.database

local_engine = create_engine(conn2)

mydataframe.to_sql(table_name, local_engine, if_exists=if_exists, index=False, chunksize=10000)

'''還可以加一個函數(shù)用來執(zhí)行單條sql語句,不僅僅是讀取數(shù)據(jù),還可以update,create等'''

作為一個鏈接類來使用,初始化的時候給出的conn是None,只有在執(zhí)行查詢函數(shù)的時候才創(chuàng)建鏈接,(鏈接中,我隱去了自己的host信息,你需要將自己的host填進去)

查詢的時候使用了try語句,如果鏈接不成功或者查詢不成功,就會出錯,如果是鏈接不成功,那就在異常中再次連接。關(guān)于重復執(zhí)行一段代碼,有一個庫大家可以關(guān)注一下:tenacity這個庫能讓你實現(xiàn)更優(yōu)雅(pythonic)的代碼重復此處讀取數(shù)據(jù)是使用pandas庫中的read_sql函數(shù),此函數(shù)可以直接將查詢結(jié)果轉(zhuǎn)化成一個dataframe,方便了后面的分析工作

存儲功能也是使用dataframe的函數(shù)tosql,此函數(shù)是將一個df直接轉(zhuǎn)化成sql數(shù)據(jù)存入數(shù)據(jù)庫,如果tablename存在,可以選擇替換(replace)、增加(append)等,如果df很大很長,就需要設(shè)置一下chunksize參數(shù)

chunksize的設(shè)定,程序會自動將你的長達幾十萬行的df迭代存儲,每次只存儲10000行(這個數(shù)字是我設(shè)定的,你也可以改)。

看到這里,你可能會有疑問,為什么讀和寫的conn不一樣,一個是用 MySQLdb.connect創(chuàng)建,而另一個是用create_engine創(chuàng)建。我想說的是,后面這個conn2其實可以作為讀的連接參數(shù),但是使用 MySQLdb.connect創(chuàng)建的連接卻不一定能用來寫,因為我在實踐中多次運行發(fā)生了錯誤,所以我就改了。

其實,其他的數(shù)據(jù)庫可以類似這種做法,給自己的項目配置一個連接類,使用的時候應(yīng)該是這樣的:

首先,你需要把代碼放在一個單獨的配置文件,比如config.py中

然后在你需要使用的地方,導入此配置文件

from config import con_analyze

classAnalyzeData:

def __init__(self):

# 此處初始化,可以帶一個參數(shù):database,默認為myanalyze

self.conn = con_analyze()

# self.conn2 = con_analyze("myanalyze_2")

def get_data(self, sql):

# 執(zhí)行sql查詢結(jié)果保存到df中

df =self.conn.query(sql=sql)

def store_data(self, df):

# 將dataframe類型的數(shù)據(jù)df,存入名為dd_name的數(shù)據(jù)表中

self.conn.store(df,'db_name')

MongoDB

mongodb是一個非結(jié)構(gòu)化數(shù)據(jù)庫,里面存儲的數(shù)據(jù)類似于json,是鍵值對的形式,如果你遇到了需要查詢mongodb中的數(shù)據(jù),下面我就簡單介紹一下。

數(shù)據(jù)工程師分析工作中用到的數(shù)據(jù)連接配置模型

同樣,也是要建立一個類,這是為了規(guī)范。

import pymongo

import pandas as pd

classConn_Mongo:

"""mongo 數(shù)據(jù)庫連接"""

def __init__(self):

self.mongo_utoken = pymongo.MongoClient('mongodb://***:27000').utoken # 用戶表

def get_user_data_mongo(self,list_id):

"""

通過連接 mongo查找

"""

user_data = pd.DataFrame(list(self.mongo_fotor.userinfo.find({'FToken':{'$in': list(list_id)}})))

return user_data

這個畢竟簡單,就是一個查詢操作,我是先傳入一串id,根據(jù)id找到對應(yīng)的信息。一般來說,mongodb的庫容量都比較大,所以我是有針對的查詢相關(guān)信息。

這里用到了pymongo庫,通過它創(chuàng)建一個到相應(yīng)地址(我用*隱掉了)的連接,后面的.utoken是對應(yīng)的庫名稱,其實你也可以把它作為參數(shù),在初始化的時候傳進去。

后面查詢的時候使用了find函數(shù),其前面的userinfo是表的名稱,find的參數(shù)也是鍵值對的形式,這里我指定了鍵的名稱"FToken",其值{'$in': list(list_id)}代表的意思是:在什么什么中。

將id 做成了一個list(為了大家理解,取名為list_id),相關(guān)語法大家可以查閱一下。

Flurry

如果你的工作涉及到了app的數(shù)據(jù),那經(jīng)常會使用Flurry獲取數(shù)據(jù)。

Flurry是一個移動統(tǒng)計平臺,雖然是國外的,但國內(nèi)依然可以用(不像谷歌分析被禁了),iosAndroid應(yīng)用的運營數(shù)據(jù)都可以在上面統(tǒng)計查詢。

如果你還沒有,又想了解的,可以戳這里:Flurry

數(shù)據(jù)工程師分析工作中用到的數(shù)據(jù)連接配置模型

對,網(wǎng)頁瀏覽的話,界面就是這樣的。

常用的功能是用戶數(shù)據(jù)

數(shù)據(jù)工程師分析工作中用到的數(shù)據(jù)連接配置模型

以及功能點擊事件

數(shù)據(jù)工程師分析工作中用到的數(shù)據(jù)連接配置模型

不過,這不是我要說的重點,上面只是讓你看一下Flurry長什么樣,現(xiàn)在我要寫python接口,將這些數(shù)據(jù)取出。

Flurry的api地址,請戳這里:Flurry API

這是創(chuàng)建分析報告的api,有別于開發(fā)的api

首先,我們需要去申請一個app token,用于獲取連接權(quán)限,申請方法請參考:app access token

它是大一串字母

數(shù)據(jù)工程師分析工作中用到的數(shù)據(jù)連接配置模型

只要獲取到了這個token,我們就可以創(chuàng)建一個url,用于獲取Flurry里面的數(shù)據(jù)了,具體看如下的代碼:

import pandas as pd

import json, requests

classConn_Flurry:

"""flurry api data"""

api_token ="******.****.****"

headers ={'Authorization':'Bearer {}'.format(api_token)}

url ="https://api-metrics.flurry.com/public/v1/data/appEvent/day/app?metrics=activeDevices,newDevices,averageTimePerDevice&dateTime=2017-05-23/2017-05-24"

def get_results(self, url=url):

'''

這里使用的url是一個示例,也可以使用get_url函數(shù)創(chuàng)建需要的url傳入此函數(shù)作為參數(shù)

'''

data = requests.get(url, headers=self.headers)

cleaned = json.loads(data.text,'utf-8')

cleaned = pd.DataFrame(cleaned['rows'])

return cleaned

def get_url(self, table='appEvent', timegrain='day', dimensions='app/event', metrics='occurrences',

dateTime='2017-09-23/2017-05-24', filters=""):

'''

若filters為空, 不影響結(jié)果

標準的url:endpoint + '/table/timeGrain/dimension1/dimension2;show=all/dimension3{...}?metrics=[comma-separated-metrics]&dateTime=[..]&filters=[...]&topN=[..]&sort=[..]&having=[..]&format=[..]&timeZone=[..]'

App Usage url: endpoint+ "/appUsage/day?metrics=sessions,activeDevices,newDevices&dateTime=2016-06-01/2016-08-01&filters=app|name-in[appname]"

app event url: endpoint + "/appEvent/day/app/appVersion/event?metrics=occurrences&dateTime=2016-07-01/2016-07-03&filters=app|name-in[foo],event|name-in[login,register]"

app event url2: endpoint + "/appEvent/day/app/country?metrics=activeDevices,newDevices&dateTime=2016-07-01/2016-07-03&filters=app|name-in[foo],event|name-in[login]&topN=5&sort=activeDevices|desc"

event parameter: endpoint+ "/eventParams/day/app;show=all/event/paramName/paramValue?metrics=count&dateTime=2016-11-07/2016-11-08&filters=app|name-in[foo],event|name-in[level_complete]"

注意,dimensions的變化,當要看某一事件的具體信息時:app;show=all/event/paramName/paramValue,加了個show=all

注意filters里面filters的格式,可以選擇app名稱和事件名稱

注意timegrain和datetime的關(guān)系,常見的就是day和month,datetime的格式也要跟著變

'''

endpoint ='https://api-metrics.flurry.com/public/v1/data'

url ="{}/{}/{}/{}?metrics={}&dateTime={}&filters={}".format(endpoint, table, timegrain, dimensions, metrics,

dateTime, filters)

return url

代碼稍微有點長,中間許多注釋行,但總的來說就是兩個步驟:

1. 構(gòu)建url

2. 獲取url對應(yīng)的結(jié)果

但是細細說來,這里面涉及到的東西比較多,比如,為什么url的格式是這樣的,還有headers為什么是那樣構(gòu)造的,還有結(jié)果的形式等等

我想說的是,這些在官網(wǎng)api上已有很詳細的說明,我就不搬磚了,不過,如果你有任何疑問,歡迎在評論區(qū)留言,我知道的一定盡心解答。

url =self.conn_flurry.get_url('appUsage','month','app','averageTimePerSession,activeDevices,newDevices,sessions',self.time_range)

user_mobile =self.conn_flurry.get_results(url)

上面就是一個簡單的應(yīng)用,其中time_range應(yīng)該是這樣的格式

self.time_range ='2017-09/2017-10'

對于這個時間范圍,F(xiàn)lurry默認是左閉右開的,即不包含10月

同理,如果是這樣

那就代表從9月23號起,但是不包含10月24號的結(jié)果,這一點尤其要注意。如果你是拿某一段時間內(nèi)的數(shù)據(jù),就很容易忽略這點,導致少拿數(shù)據(jù)

如果是按天拿還好,有date這個維度,會提醒你到底拿到了哪些天的數(shù)據(jù)。

題圖:pexels,CC0 授權(quán)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標題:數(shù)據(jù)工程師推薦你用的幾個工具

文章出處:【微信號:mcuworld,微信公眾號:嵌入式資訊精選】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    工作中用過美信的哪些產(chǎn)品(回帖獎勵哦)

    大家在平時的研發(fā)設(shè)計工作中都用過美信公司的哪些產(chǎn)品,曬一曬!相信好多工程師用過美信的產(chǎn)品,歡迎大家過來曬一曬!
    發(fā)表于 09-22 16:27

    高級算法工程師-獵頭職位

    國內(nèi)某電容芯片公司,業(yè)內(nèi)領(lǐng)先,急聘高級算法工程師數(shù)枚,待遇豐厚:20K/月左右,上班地點:深圳。詳細要求如下: 主要職責:1、數(shù)據(jù)分析、通信及信號處理算法模型設(shè)計、仿真,并輸出相應(yīng)設(shè)計、仿真文檔;2
    發(fā)表于 05-23 17:23

    蘋果急聘結(jié)構(gòu)分析工程師

    /9949750134_TIME_1411718076557.jpg][/url]  ***中提到,蘋果想要能對 iPhone 和 iPod 進行壓力測試的工程師,更準確地說是故障分析、金相學和斷口分析專家,在
    發(fā)表于 09-28 09:53

    菜鳥到大神——硬件工程師進階之路

    ,IIC,SPI,UART等等。4、通過每次系統(tǒng)聯(lián)調(diào)的機會,學習了常用儀器的使用。比如示波器,頻譜儀,邏輯分析儀等等。應(yīng)該說,通過半年的工作,讓我從一個剛畢業(yè)的菜鳥,變成了一個入門的硬件工程師。這些
    發(fā)表于 05-19 11:24

    【上海】誠聘高級數(shù)據(jù)庫開發(fā)工程師

    獵頭推薦職位:高級數(shù)據(jù)庫開發(fā)工程師工作職責:1. 承擔項目關(guān)鍵開發(fā)和部署工作;2. 配合其他技術(shù)部門以及測試部門完成項目的交付;3. 參與電商類SAAS平臺
    發(fā)表于 07-06 16:42

    【成都】招聘機器學習/數(shù)據(jù)挖掘/信號與信息處理工程師(可實習)

    招聘崗位機器學習/數(shù)據(jù)挖掘工程師/信號與信息處理(實習) 崗位職責:1.篩選現(xiàn)場基礎(chǔ)數(shù)據(jù),統(tǒng)計總體數(shù)據(jù)特性;2.快速學習現(xiàn)場數(shù)據(jù)特性,對各類
    發(fā)表于 08-18 10:26

    數(shù)據(jù)分析需要的技能

    數(shù)據(jù)時代已經(jīng)來臨,對復雜凌亂的數(shù)據(jù)進行整合分析,獲取有用的信息,去支撐政策的制定、決策的形成以及工作的完成,必將成為未來決策重要的手段!從事大數(shù)據(jù)
    發(fā)表于 04-10 15:59

    嵌入式軟件工程師需要掌握哪些專業(yè)技能?

    嵌入式軟件工程師做什么?需要掌握哪些專業(yè)技能?嵌入式軟件工程師在企業(yè)中主要從事嵌入式軟件開發(fā)工作工作中會涉及應(yīng)用層以及底層軟件開發(fā)和設(shè)計工作
    發(fā)表于 12-24 08:19

    工程師怎么在工作中學習

    古人云:“活到老,學到老。”互聯(lián)網(wǎng)算是最辛苦的行業(yè)之一,“加班”對工程師來說已是“家常便飯”,同時互聯(lián)網(wǎng)技術(shù)又日新月異,很多工程師都疲于應(yīng)付,叫苦不堪。以至于長期以來流傳一個很廣的誤解:35歲是程序員工作的終點。
    的頭像 發(fā)表于 09-06 10:24 ?4364次閱讀

    數(shù)據(jù)工程師數(shù)據(jù)分析師的區(qū)別在哪里

    不少朋友都很困惑,大數(shù)據(jù)工程師數(shù)據(jù)分析師有什么區(qū)別,哪一個的就業(yè)好薪資高?
    的頭像 發(fā)表于 03-12 11:49 ?1.4w次閱讀

    算法工程師是做什么的 有哪些學習路線

    第一類是做數(shù)據(jù)模型進行推薦、分類、識別、預測等工作的建模型算法工程師,通常JD上也寫成數(shù)據(jù)挖掘工程師
    的頭像 發(fā)表于 03-26 15:48 ?3.2w次閱讀

    數(shù)據(jù)工程師工作內(nèi)容有哪些

    數(shù)據(jù)工程師工作內(nèi)容取決于你工作數(shù)據(jù)流的哪一個環(huán)節(jié)。
    的頭像 發(fā)表于 05-07 16:54 ?5200次閱讀

    數(shù)據(jù)工程師的日常工作是什么

    工作崗位上,大數(shù)據(jù)工程師需要基于Hadoop,Spark等構(gòu)建數(shù)據(jù)分析平臺,進行設(shè)計、開發(fā)分布式計算業(yè)務(wù)。負責大數(shù)據(jù)平臺(Hadoop,H
    的頭像 發(fā)表于 05-30 15:52 ?5649次閱讀

    成為一個優(yōu)秀的數(shù)據(jù)工程師需要什么?

    成為數(shù)據(jù)工程師需要具備哪些技能?數(shù)據(jù)工程工作存在于各個行業(yè),在銀行業(yè)、醫(yī)療保健業(yè)、大型科技企業(yè)、初創(chuàng)企業(yè)和其他行業(yè)找到
    的頭像 發(fā)表于 04-05 17:25 ?2935次閱讀

    數(shù)據(jù)工程師

    數(shù)據(jù)工程師數(shù)據(jù)工程師可以從事對大量數(shù)據(jù)的采集、清洗、分析、治理、挖掘,并對這些
    發(fā)表于 04-12 13:52 ?607次閱讀
    主站蜘蛛池模板: 国产成+人+综合+亚洲不卡| 亚洲视频在线观看免费| 国产人妻麻豆蜜桃色69| 亚洲 日韩经典 中文字幕| 好男人在线视频| 曰产无码久久久久久精品| 美女强奷到抽搐在线播放| 99视频久久精品久久| 日产精品高潮呻吟AV久久| 国产精品人成在线播放新网站| 亚洲高清视频在线观看| 久久精品一区二区免费看| 8X拨牐拨牐X8免费视频8| 青青草原直播| 国产精品久久久久久久久齐齐| 亚洲精品国产自在现线最新| 久久是热这里只有精品| https黄视| 我要女人的全黄录像| 精品熟女少妇AV久久免费A片| 最新无码国产在线视频| 日本888xxxx| 国产午夜精品理论片| 中文字幕人成乱码熟女APP| 青柠在线电影高清免费观看| 国产精品人成在线播放新网站| 伊人yinren6综合网色狠狠| 欧美日韩精品| 国产精品线路一线路二| 亚洲欧洲日产国码久在线| 蜜桃传媒视频| 国产99热在线观看| 亚洲综合网国产精品一区| 欧美精品久久久久久久久大尺度| 国产精品嫩草久久久久| 专干老肥熟女视频网站300部| 日本漫画母亲口工子全彩| 好男人在线高清WWW免费观看| 99热久久这里只有精品视频| 无套内射CHINESEHD熟女| 龙泽罗拉av|