色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

分享海量大數(shù)據(jù)背后的處理技術(shù)的原理

貿(mào)澤電子 ? 來(lái)源:djl ? 作者:Murray Slovick ? 2019-08-29 10:34 ? 次閱讀

幾乎每個(gè)人當(dāng)然也包括工程師都聽說過集成電路領(lǐng)域的摩爾定律,即戈登.摩爾預(yù)測(cè),工藝技術(shù)的進(jìn)步將導(dǎo)致芯片上的晶體管數(shù)量大約每?jī)赡昃头环5挥猩贁?shù)人聽說過網(wǎng)絡(luò)領(lǐng)域的摩爾定律,即梅特卡夫定律,它由羅伯特.梅特卡夫提出,他指出通信網(wǎng)絡(luò)的價(jià)值正比于系統(tǒng)內(nèi)連接用戶數(shù)量的平方。簡(jiǎn)單地說,網(wǎng)絡(luò)服務(wù)的用戶越多,該網(wǎng)絡(luò)服務(wù)對(duì)全體用戶的價(jià)值也越大。

現(xiàn)在,讓我們思考一下物聯(lián)網(wǎng)IOT),在這個(gè)網(wǎng)中的用戶并不一定是人,而是一個(gè)機(jī)器。人們開發(fā)了以太網(wǎng)系統(tǒng),通過硬件來(lái)連接建筑物內(nèi)的不同機(jī)器。它已演變成一系列網(wǎng)絡(luò)技術(shù),其最新迭代是40 / 100 千兆以太網(wǎng)(GE)標(biāo)準(zhǔn),也被稱為IEEE 802.3ba,特別針對(duì)數(shù)據(jù)中心通訊。

為管理不間斷的高速連接,當(dāng)前的數(shù)據(jù)中心需要容納成千上萬(wàn)臺(tái)主機(jī)服務(wù)器,這些服務(wù)器組成一個(gè)集群。每個(gè)主機(jī)包含一個(gè)或多個(gè)處理器、內(nèi)存、網(wǎng)絡(luò)接口以及本地高速I/O,它們通過高帶寬網(wǎng)絡(luò)緊耦合連接。大多數(shù)情況下,以太網(wǎng)采用集群方式連接(其次是采用InfiniBand)。

爆炸式增長(zhǎng)

數(shù)據(jù)中心行業(yè)在不斷壯大,隨著全球更多設(shè)備加入線上網(wǎng)絡(luò)以及更多的企業(yè)轉(zhuǎn)向云計(jì)算以共享使用數(shù)據(jù)基礎(chǔ)設(shè)施,這種發(fā)展的速度還在加速。對(duì)于數(shù)據(jù)中心市場(chǎng)以及供應(yīng)商和相關(guān)技術(shù)來(lái)說,IoT對(duì)它們的轉(zhuǎn)型影響最大。據(jù)研究公司Gartner推測(cè),到2020年,IoT設(shè)備的安裝量將達(dá)260億臺(tái),它們生成的大數(shù)據(jù)規(guī)模將無(wú)法想象,而且這些數(shù)據(jù)還需要實(shí)時(shí)的處理和分析。這些數(shù)據(jù)占數(shù)據(jù)中心負(fù)載的比重也將越來(lái)越大,到時(shí)供應(yīng)商將面臨容量、速度、分析和安全等方面的新挑戰(zhàn)。

分享海量大數(shù)據(jù)背后的處理技術(shù)的原理

圖1:互連設(shè)備總量,單位是10億臺(tái)(來(lái)源:Gartner)

需求帶寬

索引擎提供商和其它大數(shù)據(jù)用戶(社交媒體論壇、在線購(gòu)物網(wǎng)站,流媒體視頻供應(yīng)商)為順暢的數(shù)據(jù)中心連接管道付出高額成本。以搜索引擎為例,數(shù)千臺(tái)服務(wù)器通過關(guān)鍵字和元數(shù)據(jù)來(lái)索引整個(gè)互聯(lián)網(wǎng)以提供網(wǎng)絡(luò)搜索服務(wù)。谷歌每天的索引高達(dá)200億頁(yè)面。一旦它們完成這項(xiàng)任務(wù),為保持相關(guān)性,這些索引必須迅速轉(zhuǎn)移到其它數(shù)據(jù)中心。為適應(yīng)該需求,連接數(shù)據(jù)中心的管道必須足夠?qū)挕5饕苿?dòng)之后,管道的利用率就下降,此時(shí)服務(wù)器就可用于其它業(yè)務(wù),但假設(shè)數(shù)據(jù)移動(dòng)的不夠快,服務(wù)器就不得不暫停。

因此帶寬是大數(shù)據(jù)最大的考慮因素之一。這是一個(gè)簡(jiǎn)單直觀的概念:更快連接,更好服務(wù)。目前,10Gbps的傳輸率是目前以太網(wǎng)中廣泛使用的最快連接。為更易于理解,對(duì)比之下大多數(shù)家庭和企業(yè)使用5類雙絞線電纜連接到以太網(wǎng),最大傳輸率是1Gbps。

對(duì)于其中的內(nèi)部基礎(chǔ)設(shè)施,數(shù)據(jù)中心開始采用面向40Gbps到10Gbps以太網(wǎng)連接的IEEE802.3ba標(biāo)準(zhǔn)——比家庭雙絞線電纜快40到100倍。最先由IEEE在2010年規(guī)定,100千兆以太網(wǎng)(簡(jiǎn)稱100GbE)和40千兆以太網(wǎng)(簡(jiǎn)稱40GbE)為首批實(shí)例,在一個(gè)單一的標(biāo)準(zhǔn)中規(guī)定兩個(gè)不同的以太網(wǎng)速度。兩種不同速度的采用來(lái)自于兩種不同的應(yīng)用要求,40Gbps的速率用以支持本地服務(wù)器應(yīng)用,而100 GbE以太網(wǎng)更適用于網(wǎng)絡(luò)聚合應(yīng)用,如服務(wù)提供商的客戶端連接、互聯(lián)網(wǎng)骨干網(wǎng)、核心網(wǎng)等等。兩年前, IEEE帶寬評(píng)估報(bào)告預(yù)計(jì),核心網(wǎng)絡(luò)帶寬每18個(gè)月就翻一番,而服務(wù)器帶寬則是每24個(gè)月增加一倍。

數(shù)據(jù)中心內(nèi)已經(jīng)開始部署40Gbps和100Gbps以太網(wǎng)鏈路,這里的通信帶寬要求最高,比如中心內(nèi)機(jī)架到機(jī)架通信。大多數(shù)中心仍使用40GbE,但隨著需求日益增加,快速遷移到100GbE以太網(wǎng)只是時(shí)間問題。互聯(lián)網(wǎng)服務(wù)商對(duì)管道需求最高,已經(jīng)開始采用100GbE,而路由器也已經(jīng)支持該標(biāo)準(zhǔn)。

移動(dòng)設(shè)備應(yīng)用程序的繁盛使“東西通信”的重要性突顯(服務(wù)器之間的通信或者是存儲(chǔ)器到服務(wù)器之間的通信),而不再是傳統(tǒng)的“南北通信”(客戶端到服務(wù)器)。據(jù)思科所述,去年移動(dòng)數(shù)據(jù)流量總和幾乎是2000年全球互聯(lián)網(wǎng)流量的18倍。2000年,全球互聯(lián)網(wǎng)總共傳輸了一百億億字節(jié) (EB)的流量,而2013移動(dòng)網(wǎng)絡(luò)承載了近18 EB的流量。

據(jù)英特爾計(jì)算,每打開600部手機(jī),就需要一個(gè)服務(wù)器的容量來(lái)滿足這些手機(jī)流量請(qǐng)求。而每120個(gè)平板則需要另一臺(tái)服務(wù)器,類似的,每臺(tái)服務(wù)器支撐約20個(gè)數(shù)字標(biāo)牌,或12個(gè)監(jiān)控?cái)z像頭。

就在你看這篇微信的幾分鐘內(nèi) ,全球就產(chǎn)生了大量的數(shù)據(jù),你知道全球一分鐘產(chǎn)生多少數(shù)據(jù)嗎?這是2014年5月最新的數(shù)據(jù):

全球一分鐘傳送數(shù)據(jù)約64萬(wàn)GB;發(fā)布了2億400萬(wàn)封郵件;下載了4.7萬(wàn)個(gè)App;亞馬遜賣出了8.3萬(wàn)美元的貨物;Flickr發(fā)布了2000萬(wàn)張照片;Youtube的視頻被查看了130萬(wàn)次;Facebook被查看了600萬(wàn)次;Pandora電臺(tái)播放了總計(jì)6.1萬(wàn)小時(shí)的歌曲。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 服務(wù)器
    +關(guān)注

    關(guān)注

    12

    文章

    9239

    瀏覽量

    85700
  • 數(shù)據(jù)中心
    +關(guān)注

    關(guān)注

    16

    文章

    4816

    瀏覽量

    72232
  • 大數(shù)據(jù)
    +關(guān)注

    關(guān)注

    64

    文章

    8897

    瀏覽量

    137556
收藏 0人收藏

    評(píng)論

    相關(guān)推薦

    云計(jì)算、大數(shù)據(jù)處理技術(shù)交流

    云計(jì)算、大數(shù)據(jù)處理技術(shù)交流圖形圖像是數(shù)據(jù)處理量最大的版塊之一,也是當(dāng)今云計(jì)算的重要課題之一,圖形圖像處理大會(huì)給大家?guī)?lái)諸多名家方案,探究大數(shù)據(jù)
    發(fā)表于 09-16 14:18

    常用大數(shù)據(jù)處理技術(shù)歸類

    “21世紀(jì)最缺的是什么?人才!”。在大數(shù)據(jù)發(fā)展如此之快的今天,大數(shù)據(jù)工程師已經(jīng)成為一個(gè)新興職業(yè)。大數(shù)據(jù)是信息技術(shù),是人和人、人和機(jī)器、機(jī)器和機(jī)器交互的內(nèi)容特征,是最底層的信息
    發(fā)表于 02-28 17:02

    海量數(shù)據(jù)處理技術(shù)

    MapReduceMapReduce是云計(jì)算的核心技術(shù)之一,是一種簡(jiǎn)化并行計(jì)算的分布式編程模型,主要目的是為了大型集群的系統(tǒng)能在大數(shù)據(jù)集上進(jìn)行并行工作,并用于大規(guī)模數(shù)據(jù)的并行運(yùn)算。以上是處理
    發(fā)表于 03-23 14:23

    大數(shù)據(jù)運(yùn)用的技術(shù)

    大數(shù)據(jù)是對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)、計(jì)算、統(tǒng)計(jì)、分析處理的一系列處理手段,處理
    發(fā)表于 04-08 16:50

    大數(shù)據(jù)專業(yè)技術(shù)學(xué)習(xí)之大數(shù)據(jù)處理流程

    集中的大型分布式數(shù)據(jù)庫(kù) 或者分布式存儲(chǔ)集群,利用分布式技術(shù)來(lái)對(duì)存儲(chǔ)于其內(nèi)的集中的海量數(shù)據(jù)進(jìn)行普通的查詢和分類匯總等,以此滿足大多數(shù)常見的分析需求。特點(diǎn)和挑戰(zhàn):導(dǎo)入
    發(fā)表于 06-11 16:41

    大數(shù)據(jù)開發(fā)核心技術(shù)詳解

    數(shù)據(jù)的核心是云技術(shù)和BI。關(guān)于大數(shù)據(jù)和云計(jì)算的關(guān)系人們通常會(huì)有誤解,而且也會(huì)把它們混起來(lái)說,分別做一句話直白解釋就是:云計(jì)算就是硬件資源的虛擬化;大數(shù)據(jù)就是
    發(fā)表于 07-26 16:26

    NLPIR系統(tǒng)KGB知識(shí)圖譜技術(shù)助力大數(shù)據(jù)深度挖掘

      大數(shù)據(jù)時(shí)代的到來(lái),意味著海量數(shù)據(jù)的產(chǎn)生,給我們現(xiàn)有的數(shù)據(jù)存儲(chǔ)技術(shù)帶來(lái)了巨大的挑戰(zhàn)。而隨著時(shí)代的進(jìn)步,
    發(fā)表于 12-05 11:49

    什么是大數(shù)據(jù)大數(shù)據(jù)的特點(diǎn)有哪些

    大數(shù)據(jù)(big data)目錄1什么是大數(shù)據(jù)2大數(shù)據(jù)的定義3大數(shù)據(jù)的特點(diǎn)[1]4大數(shù)據(jù)的作用[2]5大數(shù)
    發(fā)表于 07-12 06:52

    大數(shù)據(jù)技術(shù)與應(yīng)用是學(xué)什么的?

    大數(shù)據(jù)技術(shù)與應(yīng)用是學(xué)什么的?大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理數(shù)據(jù)集合。
    發(fā)表于 07-27 07:47

    云端海量大數(shù)據(jù)的安全防護(hù)

    云端海量大數(shù)據(jù)數(shù)據(jù)分析的基礎(chǔ),數(shù)據(jù)本身的安全性和準(zhǔn)確性,對(duì)數(shù)據(jù)分析的結(jié)果有重要影響。針對(duì)云端大數(shù)據(jù)的特性,融合Hadoop的
    發(fā)表于 12-11 17:18 ?0次下載
    云端<b class='flag-5'>海量大數(shù)據(jù)</b>的安全防護(hù)

    大數(shù)據(jù)海量數(shù)據(jù)處理方法總結(jié)

    大數(shù)據(jù)海量數(shù)據(jù)處理方法總結(jié)。
    發(fā)表于 04-26 09:16 ?13次下載

    大數(shù)據(jù)技術(shù)及應(yīng)用介紹2

    大數(shù)據(jù)技術(shù)內(nèi)涵持續(xù)進(jìn)行延伸,經(jīng)過十三五的發(fā)展,已從面向海量數(shù)據(jù)的存儲(chǔ)、處理、分析等基礎(chǔ)技術(shù),延展
    的頭像 發(fā)表于 03-29 14:17 ?887次閱讀

    大數(shù)據(jù)技術(shù)主要學(xué)什么 大數(shù)據(jù)技術(shù)就業(yè)方向

    大數(shù)據(jù)技術(shù)專業(yè)主要包括以下方面的學(xué)習(xí)內(nèi)容:   數(shù)據(jù)庫(kù)技術(shù)數(shù)據(jù)庫(kù)是存儲(chǔ)和管理數(shù)據(jù)的關(guān)鍵
    的頭像 發(fā)表于 04-14 17:21 ?6599次閱讀

    大數(shù)據(jù)技術(shù)有哪些 大數(shù)據(jù)前景

    大數(shù)據(jù)從字面意思來(lái)理解,就是海量數(shù)據(jù)的結(jié)合,從數(shù)據(jù)分析全流程的角度,大數(shù)據(jù)技術(shù)主要包括
    的頭像 發(fā)表于 04-14 17:45 ?4234次閱讀

    大數(shù)據(jù)技術(shù)是干嘛的 大數(shù)據(jù)核心技術(shù)有哪些

    大數(shù)據(jù)技術(shù)是指用來(lái)處理和存儲(chǔ)海量、多類型、高速的數(shù)據(jù)的一系列技術(shù)和工具。現(xiàn)如今,
    的頭像 發(fā)表于 01-31 11:07 ?3617次閱讀
    主站蜘蛛池模板: 亚洲高清在线视频| 国产亚洲精品黑人粗大精选| a4you销魂gogo人体| 国产36d在线观看| 久久re视频这里精品青| 琪琪热热色原日韩在线| 亚洲精品一线二线三线无人区| xxxxx69hd杨幂| 韩国黄色影院| 日日撸影院在线| 7m凹凸国产刺激在线视频| 国产精品无码亚洲精品| 琪琪电影午夜理论片YY6080 | 纯肉合集(高H)| 久久久无码精品一区二区三区 | 久久麻豆国产国产AV| 午夜啪啪免费视频| 成人免费网址在线| 免费一区在线观看| 亚洲综合国产精品| 国产欧美一区二区三区在线看| 强上轮流内射高NP男男| 最新国产三级在线不卡视频| 黑人巨大交牲老太| 无套内射无矿码免费看黄| 嘟嘟嘟WWW在线观看视频高清| 女王黄金vk| 99久久国产综合精品成人影院| 久久精品黄色| 一级性生活毛片| 久久sese| 伊人久久精品线影院| 和老外3p爽粗大免费视频| 校园男男高h小黄文| 国产麻豆精品久久一二三| 骚妇BB双飞插| 高清视频在线观看SEYEYE| 人人草影院| 德国xxxx| 偷拍国产精品在线播放| 国产成人在线免费|

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品