色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

大數(shù)據(jù)的4個關鍵技術

jf_78858299 ? 來源:Datawhale ? 作者:牧小熊 ? 2023-05-10 15:30 ? 次閱讀

我們引用了大數(shù)據(jù)的4V特征

  • Volume 大數(shù)據(jù)數(shù)據(jù)量大,數(shù)據(jù)量單位為T 或者P級
  • Variety 數(shù)據(jù)類型多,大數(shù)據(jù)包含多種數(shù)據(jù)維度 比如 日志、視頻、圖片
  • Value 價值密度低,商業(yè)價值高 比如監(jiān)控視頻,其中關鍵1-2秒可能具有極高的價值
  • Velocity 要求處理速度塊

1.2 大數(shù)據(jù)的4個關鍵技術

圖片

1.3 ETL/ELT的區(qū)別

ETL 包含的過程是 Extract、Transform、Load的縮寫

包括了數(shù)據(jù)抽取 => 轉換 => 加載三個過程

圖片

在數(shù)據(jù)源抽取后首先進行轉換,然后將轉換的結果寫入目的地

ETL 包含的過程是 Extract、Load、Transform的縮寫

ELT的過程是,在抽取后將結果先寫入目的地,然后利用數(shù)據(jù)庫的聚合分析能力或者外部計算框架,如Spark來完成轉換

目前數(shù)據(jù)主流框架是ETL,重抽取和加載,輕轉換,搭建的數(shù)據(jù)平臺屬于輕量級

ELT架構,在提取完成之后,數(shù)據(jù)加載會立即開始,更省時,數(shù)據(jù)變換這個過程根據(jù)后續(xù)使用需求在 SQL 中進行,而不是在加載階段

ELT框架的優(yōu)點就是保留了原始數(shù)據(jù),能夠將原始數(shù)據(jù)展現(xiàn)給數(shù)據(jù)分析人員

ETL相關軟件:

  • 商業(yè)軟件:Informatica PowerCenter、IBM InfoSphere DataStage、Oracle Data Integrator、Microsoft SQL Server Integration Services等
  • 開源軟件:Kettle、DataX、Sqoop

1.4 大數(shù)據(jù)與數(shù)據(jù)庫管理系統(tǒng)

DataBase Management System,數(shù)據(jù)庫管理系統(tǒng),可以管理多個數(shù)據(jù)庫

目前關系型數(shù)據(jù)庫在DBMS中占據(jù)主流地位,常用的關系型數(shù)據(jù)庫有Oracle、MySQL和SQL Server

其中SQL就是關系型數(shù)據(jù)庫的查詢語言

SQL是與數(shù)據(jù)直接打交道的語言,是與前端、后端語言進行交互的“中臺”語言

SQL語言特點:

  • 價值大,技術、產(chǎn)品、運營人員都要掌握SQL,使用無處不在
  • 很少變化,SQL語言從誕生到現(xiàn)在,語法很少變化
  • 入門并不難,很多人都會寫SQL語句,但是效率差別很大

除了關系型數(shù)據(jù)庫還有文檔型數(shù)據(jù)庫MongoDB、鍵值型數(shù)據(jù)庫Redis、列存儲數(shù)據(jù)庫Cassandra等

提到大數(shù)據(jù)就不得不說Hive

Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具,用來進行數(shù)據(jù)提取、轉化、加載,這是一種可以存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)的機制。

Hive與關聯(lián)型數(shù)據(jù)庫RDBMS相比

不足:

  • 不能像 RDBMS 一般實時響應,Hive 查詢延時大
  • 不能像 RDBMS 做事務型查詢,Hive 沒有事務機制
  • 不能像 RDBMS 做行級別的變更操作(包括插入、更新、刪除)

優(yōu)點:

  • Hive 沒有定長的 varchar 這種類型,字符串都是 string
  • Hive 是讀時模式,保存表數(shù)據(jù)時不會對數(shù)據(jù)進行校驗,而在讀數(shù)據(jù)時將校驗不符合格式的數(shù)據(jù)設置為NULL

1.5 OLTP/OLAP

在數(shù)據(jù)倉庫架構中有非常相關的2個概念,一個是OLTP,一個是OLAP

圖片

  • OLTP( On-Line Transaction Processing )

聯(lián)機事務處理,主要是對數(shù)據(jù)的增刪改

記錄業(yè)務發(fā)生,比如購買行為,發(fā)生后,要記錄是誰在什么時候做了什么事,數(shù)據(jù)會以增刪改的方式在數(shù)據(jù)庫中進行數(shù)據(jù)的更新處理操作

實時性高、穩(wěn)定性強,ATM,ERP,CRM,OA等都屬于OLTP

  • OLAP( On-Line Analytical Processing )

聯(lián)機分析處理,主要是對數(shù)據(jù)的分析查詢

當數(shù)據(jù)積累到一定的程度,需要做總結分析,BI報表=> OLAP

OLTP產(chǎn)生的數(shù)據(jù)通常在不同的業(yè)務系統(tǒng)中

OLAP需要將不同的數(shù)據(jù)源 => 數(shù)據(jù)集成 => 數(shù)據(jù)清洗 => 數(shù)據(jù)倉庫,然后由數(shù)據(jù)倉庫統(tǒng)一提供OLAP分析

2.大數(shù)據(jù)計算

2.1 大數(shù)據(jù)計算模式

大數(shù)據(jù)計算模式 解決問題 代表產(chǎn)品
批處理計算 針對大規(guī)模數(shù)據(jù)的批量處理 MapReduce、Spark等
流計算 針對流數(shù)據(jù)的實時計算 Storm、S4、Flume、Streams、Puma、DStream、Super Mario、銀河流數(shù)據(jù)處理平臺
圖計算 針對大規(guī)模圖結構數(shù)據(jù)的處理 Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
查詢分析計算 大規(guī)模數(shù)據(jù)的存儲管理和查詢分析 Dremel、Hive、Cassandra、Impala等

2.2 Lambda大數(shù)據(jù)框架

圖片

Lambda架構:

Batch Layer(批處理層),對離線的歷史數(shù)據(jù)進行預計算,能讓下游進行快速查詢。因為基于完整的數(shù)據(jù)集,準確性能得到保證。可以用Hadoop、Spark 和 Flink 等計算框架

Speed Layer(加速處理層),處理實時的增量數(shù)據(jù),加速層的數(shù)據(jù)不如批處理層完整和準確,但重點在于低延遲。可以用 Spark streaming、Storm 和 Flink 等計框架算

Serving Layer(合并層),將歷史數(shù)據(jù)計算與實時數(shù)據(jù)計算合并,輸出到數(shù)據(jù)庫,供下游分析

2.3 大數(shù)據(jù)典型技術

  • Hadoop

一個文件系統(tǒng),外加一個離線處理框架MapReduce,由于提供的上層api不太友好,加上MapReduce 處理框架比較慢,基本上都用作文件系統(tǒng)

  • Spark

本身是一個執(zhí)行引擎,不保存數(shù)據(jù),所以需要外部的文件系統(tǒng)(通常會基于hadoop)提出了內存計算的概念,即盡可能把數(shù)據(jù)放到內存中,還提供了良好的上層使用接口,包括spl語句(spark sql)處理數(shù)據(jù)十分方便。相比 Hadoop MapReduce 獲得了百倍的性能提升,基本上用它來做離線數(shù)據(jù)處理

  • Flink

分布式實時計算框架,具有超高的性能,支持Flink流式計算與Storm性能差不多,支持毫秒級計算

Spark 和 Flink的區(qū)別

圖片

3.大數(shù)據(jù)實踐

本文主要講解了大數(shù)據(jù)的概念和基礎知識,幫助讀者對大數(shù)據(jù)有一個基本了解。如果對實踐有學習需要(可以留言),我再花時間整理大數(shù)據(jù)的實踐講解:Pyspark進行Titanic乘客生存預測。使用pyspark進行初步的大數(shù)據(jù)操作,數(shù)據(jù)選取Kaggle泰坦尼克號項目的數(shù)據(jù),通過Spark讀取數(shù)據(jù),并利用Spark中的ML工具對數(shù)據(jù)進行構建模型。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • SQL
    SQL
    +關注

    關注

    1

    文章

    762

    瀏覽量

    44117
  • volume
    +關注

    關注

    0

    文章

    5

    瀏覽量

    7838
  • 大數(shù)據(jù)

    關注

    64

    文章

    8882

    瀏覽量

    137406
收藏 人收藏

    評論

    相關推薦

    一文匯總大數(shù)據(jù)四大方面十五大關鍵技術

    本文針對大數(shù)據(jù)關鍵技術大數(shù)據(jù)采集、大數(shù)據(jù)預處理、大數(shù)據(jù)存儲、大數(shù)據(jù)分析挖掘四大方面的15大
    發(fā)表于 11-11 15:46 ?1.1w次閱讀

    汽車總線及其關鍵技術的研究

    汽車總線及其關鍵技術的研究
    發(fā)表于 07-10 11:33

    CDMA原理與關鍵技術

    CDMA原理與關鍵技術
    發(fā)表于 08-16 20:25

    工業(yè)4.O的關鍵技術

    和靈活性在內的智能制造設計,同時提供制造流程的實時視圖、連通性和通信。以下為促成更智能、更高效制造的工業(yè)4.0的一些關鍵技術,:兼容的工業(yè)通信。為了獲得完整制造系統(tǒng)的透明視圖,所有數(shù)據(jù)必須通過具有共同
    發(fā)表于 03-06 06:45

    智能穿戴產(chǎn)業(yè)的五大關鍵技術

    運算與抓取顯然是難以滿足物聯(lián)網(wǎng)時代發(fā)展需求的,于是,具有自我運算、判斷能力的人工智能技術勢必將成為下一關鍵技術。當前,不論是IBM,還是阿里、百度、360等都已經(jīng)開始布局云平臺。顯然,他們已經(jīng)
    發(fā)表于 05-09 06:20

    無人駕駛汽車的關鍵技術是什么?

    無人駕駛汽車開發(fā)的關鍵技術主要有兩方面:車輛定位和車輛控制技術。這兩方面相輔相成共同構成無人駕駛汽車的基礎。
    發(fā)表于 03-18 09:02

    物聯(lián)網(wǎng)的關鍵技術有哪些

    物聯(lián)網(wǎng)關鍵技術————傳感器技術
    發(fā)表于 06-16 17:25

    4G移動通信關鍵技術及特征是什么?

    4G移動通信關鍵技術及特征是什么?
    發(fā)表于 05-26 06:37

    4G移動通信是什么?4G中有哪些關鍵技術

    4G移動通信是什么?4G中有哪些關鍵技術
    發(fā)表于 05-27 06:17

    POE的關鍵技術有哪些?

    使用以太網(wǎng)線供電的優(yōu)勢是什么?PoE設備是怎么供電的?POE的關鍵技術有哪些?
    發(fā)表于 06-10 09:26

    明白VPP關鍵技術有哪些

    隨著人工智能技術的不斷發(fā)展,越來越多的行業(yè)開始使用人工智能技術,這也使得智能虛擬代理技術得到了廣泛的應用。為了能夠深入了解智能虛擬代理技術,需要明白VPP
    發(fā)表于 08-31 07:28

    視覺導航關鍵技術及應用

    由于視覺導航技術的應用越來越普及 ,因此 ,有必要對視覺導航中的關鍵技術及應用進行研究。文章對其中的圖像處理技術和定位與跟蹤技術進行了詳細研究 ,并與此相對應 ,介紹的相關的應用。
    發(fā)表于 09-25 08:09

    大數(shù)據(jù)時代,這十五大關鍵技術你竟不知道?

    近年來,大數(shù)據(jù)來勢洶洶,滲透到各行各業(yè),帶來了一場翻天覆地的變革。讓人們越發(fā)認識到,比掌握龐大的數(shù)據(jù)信息更重要的是掌握對含有意義的數(shù)據(jù)進行專業(yè)化處理的技術
    發(fā)表于 12-06 11:08 ?0次下載

    貴州省大數(shù)據(jù)領域技術榜單“大數(shù)據(jù)安全與隱私保護關鍵技術”項目啟動

    記者從貴州省科技廳獲悉,日前,貴州省大數(shù)據(jù)領域技術榜單“大數(shù)據(jù)安全與隱私保護關鍵技術”項目啟動,將對公共大數(shù)據(jù)安全、隱私保護等課題開展研究。
    發(fā)表于 05-09 16:08 ?1746次閱讀

    水文大數(shù)據(jù)標準化方法和水文大數(shù)據(jù)共享平臺關鍵技術的設計和資料概述

    本文根據(jù)水文數(shù)據(jù)的特點探討了水文大數(shù)據(jù)標準化方法,探索數(shù)據(jù)預處理、數(shù)據(jù)索引、數(shù)據(jù)高效存儲等水文大數(shù)據(jù)
    發(fā)表于 10-15 16:31 ?12次下載
    水文<b class='flag-5'>大數(shù)據(jù)</b>標準化方法和水文<b class='flag-5'>大數(shù)據(jù)</b>共享平臺<b class='flag-5'>關鍵技術</b>的設計和資料概述
    主站蜘蛛池模板: 无限资源在线完整高清观看1| 国产精品99久久久久久AV色戒| 日韩精品欧美亚洲高清有无| 国产午夜精品理论片在线| 伊人久久大香线蕉综合高清| 伦理片在线线249| 国产成人无码免费精品果冻传媒| 亚洲人成影院在线播放| 秋霞在线看片无码免费| 国产三级电影网| 男女啪啪久久精品亚洲A| 成年妇女免费播放| 伊人青青操| 午夜十八岁禁| 男女无遮挡吃奶gift动态图| 国产久久re6免费热在线| 91羞羞视频| 亚洲色爽视频在线观看| 色婷婷AV国产精品欧美毛片| 里番acg纲手的熟蜜姬训练场 | 久久久97丨国产人妻熟女| 东北女人一级毛片| 综合久久久久久久综合网| 亚洲 自拍 清纯 综合图区| 强姧伦久久久久久久久| 久久免费看少妇高潮A片2012| 国产电影尺度| xxnxx美女| 97精品伊人久久大香线蕉app| 亚洲人视频在线观看| 乌克兰黄色录像| 日本肉肉口番工全彩动漫| 蜜柚视频网在线观看免费| 久久99r66热这里有精品| 国产主播福利一区二区| 国产精品人妻99一区二| 国产99久久九九精品无码不卡| www.av天堂网.com| beeg xxx日本老师| 99re6久久热在线视频| 中文字幕亚洲第一页|