色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一些提升或加速日常數據分析工作的技巧

數據分析與開發 ? 來源:機器之心 ? 2020-08-27 15:08 ? 次閱讀

本文列舉了一些提升或加速日常數據分析工作的技巧,包括:

1. Pandas Profiling 2. 使用 Cufflinks 和 Plotly 繪制 Pandas 數據 3. IPython 魔術命令 4. Jupyter 中的格式編排 5. Jupyter 快捷鍵 6. 在 Jupyter(或 IPython)中使一個單元同時有多個輸出 7. 為 Jupyter Notebook 即時創建幻燈片

1. Pandas Profiling

該工具效果明顯。下圖展示了調用 df.profile_report() 這一簡單方法的結果:

使用該工具只需安裝和導入 Pandas Profiling 包。

本文不再詳述這一工具,如欲了解更多,請閱讀:https://towardsdatascience.com/exploring-your-data-with-just-1-line-of-python-4b35ce21a82d

2. 使用 Cufflinks 和 Plotly 繪制 Pandas 數據

「經驗豐富的」數據科學家或數據分析師大多對 matplotlib 和 pandas 很熟悉。也就是說,你只需調用 .plot() 方法,即可快速繪制簡單的 pd.DataFrame 或 pd.Series:

有點無聊?

這已經很好了,不過是否可以繪制一個交互式、可縮放、可擴展的全景圖呢?是時候讓 Cufflinks* *出馬了?。–ufflinks 基于 Plotly 做了進一步的包裝。)

在環境中安裝 Cufflinks,只需在終端中運行! pip install cufflinks --upgrade 即可。查看下圖:

效果好多了!

注意,上圖唯一改變的是 Cufflinks cf.go_offline() 的導入和設置,它將 .plot() 方法變為 .iplot()。

其他方法如 .scatter_matrix() 也可以提供非常棒的可視化結果:

需要做大量數據可視化工作的朋友,可以閱讀 Cufflinks 和 Plotly 的文檔,發現更多方法。

Cufflinks 文檔:https://plot.ly/ipython-notebooks/cufflinks/

Plotly 文檔:https://plot.ly/

3. IPython 魔術命令

IPython 的「魔術」是 IPython 基于 Python 標準語法的一系列提升。魔術命令包括兩種方法:行魔術命令(line magics):以 % 為前綴,在單個輸入行上運行;單元格魔術命令(cell magics):以 %% 為前綴,在多個輸入行上運行。下面列舉了 IPython 魔術命令提供的一些有用功能:

%lsmagic:找出全部命令

如果你只記得一個魔術命令,那必須得是這一個。執行 %lsmagic 命令將提供所有可用魔術命令的列表:

%debug:交互式 debug

這可能是我最常使用的魔術命令了。

大部分數據科學家都遇到過這種情況:執行的代碼塊一直 break,你絕望地寫了 20 個 print() 語句,想輸出每個變量的內容。然后,當你最終修復問題后,你還得返回并再次刪除所有 print() 語句。

不過以后再也不用這樣了。遇到問題后只需執行 %debug 命令,即可執行想要運行的任意代碼部分:

上圖中發生了什么?

我們有一個函數,它以列表為輸入,并對所有的偶數取平方值。

我們運行函數,但是出了些問題。但是我們并不知道怎么回事!

對該函數使用%debug 命令。

讓調試器告訴我們 x 和 type(x) 的值。

問題顯而易見:我們把 6 作為字符串輸入到函數中了!

這對于更復雜的函數非常有用。

%store:在 notebook 之間傳遞變量

這個命令也很酷。假設你花了一些時間清洗 notebook 中的數據,現在你想在另一個 notebook 中測試一些功能,那么你是在同一個 notebook 中實現該功能,還是保存數據并在另一個 notebook 中加載數據呢?使用%store 命令后,這些操作都不需要!該命令將存儲變量,你可以在其他任意 notebook 中檢索該變量:

%store [variable] 存儲變量。

%store -r [variable] 讀取/檢索存儲變量。

%who:列出所有全局變量。

你是否遇到過,為變量賦值后卻忘記變量名的情況?或者不小心刪掉了負責為變量賦值的單元格?使用%who 命令,你可以得到所有全局變量的列表:

%%time:計時魔法命令

使用該命令可以獲取所有計時信息。只需對任意可執行代碼應用%%time 命令,你就可以得到如下輸出:

%%writefile:向文件寫入單元格內容

在 notebook 中寫復雜函數或類,且想將其保存到專屬文件中時,該魔法命令非常有用。只需為函數或類的單元格添加 %%writefile 前綴和想要保存到的文件名即可:

如上所示,我們可以將創建的函數保存到 utils.py 文件中,然后就可以隨意導入了。在其他 notebook 中也可以這樣,只要與 utils.py 文件屬于同一個目錄即可。

4. Jupyter 中的格式編排

這個工具很酷!Jupyter 考慮到 markdown 中存在 HTML / CSS 格式。以下是我最經常使用的功能:

藍色、時尚:

Thisisfancy!
紅色、輕微慌張:

This is baaaaad!
綠色、平靜:

This is gooood!
下圖展示了它們的運行過程:

當你想以 Notebook 格式呈現一些發現時,這非常有用!

5. Jupyter 快捷鍵

想了解和學習鍵盤快捷鍵,你可以使用命令面板:Ctrl + Shift + P,獲取 notebook 所有功能的列表。下面選取了幾個最基礎的命令:

Esc:進入命令模式。在命令模式內,你可以使用方向鍵在 notebook 內進行導航。

在命令模式內:

A 和 B:在當前單元格上方(Above)或下方(Below)插入新的單元格。

M:當前單元格轉入 Markdown 狀態。

Y:當前單元格轉入 code 狀態。

D,D:刪除當前單元格。

Enter:當前單元格回到編輯模式。

在編輯模式內:

Shift + Tab:為你在當前單元格中鍵入的對象提供文檔字符串(文檔),持續使用該快捷鍵,可循環使用文檔模式。

Ctrl + Shift + -:在光標所在處分割當前單元格。

Esc + F:查找并替換代碼(不包括輸出)。

Esc + O:切換單元格輸出。

選擇多個單元格:

Shift + Down 和 Shift + Up:選中下方或上方的單元格。

Shift + M:合并選中單元格。

注意,選中多個單元格后,你可以批量執行刪除/復制/剪切/粘貼/運行操作。

6. 在 Jupyter(或 IPython)中使一個單元同時有多個輸出

想展示 pandas DataFrame 的 .head() 和 .tail(),但由于創建運行 .tail() 方法的額外代碼單元過于麻煩而不得不中途放棄,你是否有過這樣的經歷?現在不用怕了,你可以使用以下代碼行展示你想展示的輸出:

from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all" 下圖展現了多個輸出的結果:

7. 為 Jupyter Notebook 即時創建幻燈片

使用 RISE,你可以僅通過一次按鍵將 Jupyter Notebook 即時轉變為幻燈片。而且 notebook 仍然處于活躍狀態,你可以在展示幻燈片的同時執行實時編碼! 要想使用該工具,你只需通過 conda 或 pip 安裝 RISE 即可。

conda install -c conda-forge rise 或者

pip install RISE

現在,你可以點擊新按鈕,為 notebook 創建不錯的幻燈片了:

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 可視化
    +關注

    關注

    1

    文章

    1194

    瀏覽量

    20934
  • 數據分析
    +關注

    關注

    2

    文章

    1445

    瀏覽量

    34050
  • python
    +關注

    關注

    56

    文章

    4792

    瀏覽量

    84628

原文標題:掌握這 7 個 Python 技巧,數據分析不怕!

文章出處:【微信號:DBDevs,微信公眾號:數據分析與開發】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    絕緣電阻測試儀數據分析與處理

    絕緣電阻測試儀主要用于檢查電氣設備電氣線路對地及相間的絕緣電阻。將所測得的結果與有關數據比較,這是對實驗結果進行分析判斷的重要方法。以下是對絕緣電阻測試儀的數據分析與處理方法的介紹:
    的頭像 發表于 12-10 15:00 ?218次閱讀

    數據可視化與數據分析的關系

    的含義。 數據分析的定義與作用 數據分析種使用統計和邏輯方法來分析數據集的過程,目的是發現模式、趨勢和關聯性。它包括
    的頭像 發表于 12-06 17:09 ?326次閱讀

    NVIDIA助力百度提升數據分析效能

    在現代商業環境中,數據分析已然成為企業獲取成功的關鍵所在。長期以來,百度廣告數據團隊始終面臨著極為復雜的數據分析挑戰,其需要為逾千名用戶提供在線廣告業務分析服務,而這些用戶涵蓋策略工程
    的頭像 發表于 11-20 10:06 ?198次閱讀

    eda與傳統數據分析的區別

    EDA(Exploratory Data Analysis,探索性數據分析)與傳統數據分析之間存在顯著的差異。以下是兩者的主要區別: 分析目的和方法論 EDA 目的 :EDA的主要
    的頭像 發表于 11-13 10:52 ?306次閱讀

    為什么選擇eda進行數據分析

    數據科學領域,數據分析個復雜且多步驟的過程,它涉及到數據的收集、清洗、探索、建模和解釋。在這些步驟中,探索性數據分析(EDA)扮演著至
    的頭像 發表于 11-13 10:41 ?222次閱讀

    raid 在大數據分析中的應用

    的具體應用: 、提高性能 并行讀寫 :RAID技術通過并行讀寫多個磁盤,可以顯著提高數據的讀寫速度。在大數據分析環境中,數據讀寫速度是影響分析
    的頭像 發表于 11-12 09:44 ?232次閱讀

    智能制造中的數據分析應用

    隨著工業4.0的推進,智能制造已經成為制造業轉型升級的關鍵。數據分析作為智能制造的核心驅動力,正逐步改變傳統的生產方式,為企業帶來更高的效率和更大的競爭力。 數據分析在智能制造中的重要性 提高
    的頭像 發表于 11-07 09:56 ?229次閱讀

    數據分析在數字化中的作用

    在當今這個信息爆炸的時代,數據無處不在。從個人的日常活動到企業的商業決策,數據都在發揮著越來越重要的作用。數字化轉型,作為企業適應這變化的關鍵策略,正逐漸成為各行各業的共識。 1.
    的頭像 發表于 10-27 17:35 ?544次閱讀

    使用AI大模型進行數據分析的技巧

    使用AI大模型進行數據分析的技巧涉及多個方面,以下是一些關鍵的步驟和注意事項: 、明確任務目標和需求 在使用AI大模型之前,首先要明確數據分析的任務目標,這將直接影響模型的選擇、
    的頭像 發表于 10-23 15:14 ?691次閱讀

    數據分析除了spss還有什么

    數據分析是當今世界中個非常重要的領域,它涉及到從大量數據中提取有用信息、發現模式和趨勢,并為決策提供支持。SPSS(Statistical Package for the Social
    的頭像 發表于 07-05 15:01 ?608次閱讀

    數據分析的工具有哪些

    數據分析個涉及收集、處理、分析和解釋數據以得出有意義見解的過程。在這個過程中,使用正確的工具至關重要。以下是一些主要的
    的頭像 發表于 07-05 14:54 ?846次閱讀

    數據分析有哪些分析方法

    數據分析種重要的技能,它可以幫助我們從大量的數據中提取有價值的信息,從而做出更明智的決策。在這篇文章中,我們將介紹數據分析的各種方法,包括描述性
    的頭像 發表于 07-05 14:51 ?568次閱讀

    機器學習在數據分析中的應用

    隨著大數據時代的到來,數據量的爆炸性增長對數據分析提出了更高的要求。機器學習作為種強大的工具,通過訓練模型從數據中學習規律,為企業和組織提
    的頭像 發表于 07-02 11:22 ?612次閱讀

    求助,關于AD采集到的數據分析問題

    問題描述:使用AD采集個10Hz到2MHz的脈沖,脈沖底部可能大于零,由采集到的數據分析出該脈沖的上升時間,幅值和占空比。 備注:在分析的時候已經知道脈沖的頻率,精度為2X10^-5. 在
    發表于 05-09 07:40

    態勢數據分析系統軟件

    智慧華盛恒輝態勢分析軟件系統的功能描述、部署環境、界面使用、技術支持及一些常見問題及其解決辦法等。為數據態勢分析軟件系統的管理人員和使用人員提供說明。 智慧華盛恒輝態勢
    的頭像 發表于 04-22 11:36 ?442次閱讀
    主站蜘蛛池模板: 日本高清不卡一区久久精品| 被老师按在办公桌吸奶头| 午夜无码国产理论在线| 强开少妇嫩苞又嫩又紧九色| 久久青草在线视频精品| 国产在线亚洲精品观看不卡| 粉嫩AV国产一区二区福利姬| 菠萝菠萝蜜视频在线看1| caoporn超碰视频| adc我们的永久网址| 3d无遮挡h肉动漫在线播放| 真人裸交有声性动态图| 亚洲欧美综合乱码精品成人网 | bbwxxxx交女警| 69xx欧美| 99热国产这里只有精品9九| 337p欧洲亚大胆精品| 97在线国内自拍视频| 97久久超碰中文字幕| 799是什么意思网络用语| 92午夜理论第1000集 app| 97色伦久久视频在观看| 99热精品一区| 成人毛片一区二区三区| 国产AV国片精品无套内谢无码 | 亚洲毛片网| 艳妇臀荡乳欲伦岳TXT下载| 一个人在线观看的视频| 中文字幕人成人乱码亚洲影视S| 1级午夜影院费免区| 99久久香蕉| 俄罗斯XBXBXB兽交| 国产人妻人伦精品A区| 极品少妇高潮啪啪无码吴梦| 久久婷婷五月免费综合色啪| 男女床上黄色| 日韩精品久久久久影院| 晓雪老师我要进你里面好爽| 亚洲一区综合图区| 99精品久久| 国产成人免费手机在线观看视频|