大數據建模、分析、挖掘技術應用研修班的通知

隨著2015年9月國務院發(fā)布了《關于印發(fā)促進大數據發(fā)展行動綱要的通知》，各類型數據呈現出了指數級增長，數據成了每個組織的命脈。今天所產生的數據比過去幾年所產生的數據大好幾個數量級，企業(yè)有了能夠輕松訪問和分析數據以提高性能的新機會，如何從數據中獲取價值顯得尤為重要，也是大數據相關技術急需要解決的問題。大數據是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產。數據建模不僅僅是任意組織數據結構和關系，還必須與最終用戶的需求和問題聯系起來，并提供指導，幫助確保正確的數據正確使用正確的方法獲得正確的結果。

為響應科研及工作人員需求，根據《國務院關于推行終身職業(yè)技能培訓制度的意見》提出的“緊跟新技術、新職業(yè)發(fā)展變化，建立職業(yè)分類動態(tài)調整機制，加快職業(yè)標準開發(fā)工作”要求，特舉辦“大數據建模、分析、挖掘技術應用研修班”。本次培訓采用實戰(zhàn)培訓模式。

2022年3月10日 — 2022年3月14日 北京(同時轉線上直播)

聯系人：任老師 13331040142

一、大數據概述

1.大數據及特點分析

2.大數據關健技術

3.大數據計算模式

4.大數據應用實例

二、大數據處理架構Hadoop

1.Hadoop項目結構

2.Hadoop安裝與使用

3.Hadoop集群的部署與使用

4.Hadoop 代表性組件

三、分布式文件系統(tǒng)HDFS

1.HDFS體系結構

2.HDFS存儲

3.HDFS數據讀寫過程

四、分布式數據庫HBase

1.HBase訪問接口

2.HBase數據類型

3.HBase實現原理

4.HBase運行機制

5.HBase應用

五、MapReduce

1.MapReduce體系結構

2.MapReduce工作流程

3.資源管理調度框架YARN

4.MapReduce應用

六、Spark

1.Spark生態(tài)與運行架構

2.Spark SQL

3.Spark部署與應用方式

案例：

1.Python Spark 安裝

2.本地運行pyspark程序

3.在Hadoop YARN 運行pyspark

4.Spark Web UI

七、IPython Notebook運行Python Spark程序

1.Anaconda

2.IPython Notebook使用Spark

3.使用IPython Notebook在Hadoop YARN模式運行

案例：

1.在不同模式運行IPython Notebook運行Python Spark命令

2.Python 程序開發(fā)

八、Python Spark集成開發(fā)環(huán)境

1.Python Spark集成開發(fā)環(huán)境部署配置

2.Spark數據分析庫MLlib的開發(fā)部署

九、Python Spark決策樹二分類與多分類

1.決策樹原理

2.大數據問題

3.決策樹二分類

4.決策樹多分類

案例：

1.搜集數據

2.數據準備：導入并轉換數據、提取特征字段、提取標簽

3. Python Spark建模，訓練模型

4.預測數據

5.評估數據，給出評價指標并得到評估結果

十、Python Spark支持向量機

1.支持向量機SVM 原理與算法

2.Python Spark SVM程序設計

案例：

1.數據準備

2.建立SVM模型，訓練模型

3.評估參數并找出最優(yōu)參數

4.根據模型進行預測

十一、Python Spark 貝葉斯模型

1.樸素貝葉斯模型原理

2.Python Spark貝葉斯模型程序設計

案例：

1.建模貝葉斯模型，并進行對參數估計

2.訓練模型，得到最優(yōu)參數

3.根據模型進行預測

十二、Python Spark邏輯回歸

1.邏輯回歸原理

2.Python Spark邏輯回歸程序設計

案例：

1.Python Spark邏輯回歸建模

2.根據模型進行分類

十三、Python Spark回歸分析

1.大數據分析

2.數據集介紹

3.Python Spark回歸程序設計

案例：

1.數據準備

2.訓練回歸模型

3.建立評估指標

4.訓練回歸模型，并找到最優(yōu)參數

5.根據模型進行預測

十四、Spark ML Pipeline 機器學習流程分類

1.機器學習流程組件：StringIndexer、OneHotEncoder、VectorAssembler等

2.使用Spark ML Pipeline 機器學習流程分類程序設計

案例：

1.數據準備

2.建立機器學習Pipeline流程

3.使用Pipeline流程訓練

4.使用PipelineModel預測

5.評估模型準備率

審核編輯：湯梓紅