色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

華為PB級時序數據庫Gauss DB,助力海量數據處理

禿頭也愛科技 ? 來源:禿頭也愛科技 ? 作者:禿頭也愛科技 ? 2022-10-15 19:15 ? 次閱讀

??近年來,時序數據的應用更為廣泛,包括物聯網、金融領域、監控領域、醫學領域、農業生產領域等各方面,都在大量使用時序數據,通過數據來研究對象的趨勢性、規律性、異常性;并且在 5G人工智能的浪潮下,時序數據作為大數據、機器學習、實時預測的基礎數據,作用更加顯著。因此,對時序數據的研究與應用應當更為深入。

??近 5 年來,時序數據庫發展十分迅猛,各大互聯網企業包括 Google、阿里、Amazon 都推出自己的時序數據。

PB1.png

圖 1 DB-Engines 統計不同類別數據庫關注度趨勢

??圖 1 為 DB-Engines 統計從2018年1月到2019 年 12 月截至 24 月各類數據庫的關注度趨勢,可以看到時序數據庫關注度同比 2017 年 12 月上漲 77.3%,相比第二名的圖形數據庫上漲近兩倍。圖 2 為 DB-Engines 統計從2013年12月到2019 年 12 月截至 6年來業內流行的時序數據庫的關注度和使用度排名。

PB2.png

圖 2 DB-Engines 統計時序數據庫關注度趨勢

??從圖中可以看到,從 2015 年開始,各種時序數據庫如雨后春筍般涌現。

??GaussDB(for Influx)時序數據庫依靠華為在數據存儲領域多年的實踐經驗,整合華為云的計算、存儲、服務保障和安全等方面的能力,在架構、性能和數據壓縮等方面進行了突破性的技術創新,達到了較好的效果,對內支撐了華為云基礎設施服務,對外以服務的形式開放,幫助上云企業解決相關業務問題。

??GaussDB(for Influx) 具有支持億級時間線、極致寫入性能、低存儲成本、高性能多維聚合查詢和極致彈性擴縮容等5大特性。以下為特性的大致介紹:

PB3.png

??由于在時序數據庫系統中,無時無刻存在大量并發查詢和寫入操作,因此合理控制內存的使用量就顯得十分重要。而GaussDB(for Influx)便在這一問題上做了進一步優化:

??l 在內存分配與回收上,使用內存池復用技術降低內存碎片,并實現算法動態調整GC頻率,加快內存回收。

??l 在單查詢上,實行Quota控制,避免單查詢耗盡內存。

??l 在緩存中,針對不同節點規格提供不同最優配置。

2 、極致寫入性能

??GaussDB(for Influx)支持每天萬億條數據寫入,在工程實現上有以下優化:

??l 利用所有節點并行寫入,充分發揮集群優勢。

??l Shard節點采用針對場景優化的LSM-Tree布局

??l 在大規模寫入場景下,GaussDB(for Influx)的寫入性能線性擴展度大于80%。

3 、低存儲成本

??GaussDB(for Influx)對數據采用列式存儲,相同類型的數據被集中存儲,更有利于數據壓縮。采用自研的時序數據自適應壓縮算法,在壓縮前對數據進行抽樣分析,根據數據量、數據分布以及數據類型選擇最合適的數據壓縮算法。同時提供了時序數據的分級存儲,支持用戶自定義冷熱數據,實現數據的冷熱分離。熱數據相對數據量小,訪問頻繁,被存儲在性能更好、成本較高的存儲介質上;冷數據相對數據量大,訪問概率低,保存時間較久,被存儲在成本較低的存儲介質上,進而達到節約存儲成本的目的。

4 、高性能多維聚合查詢

??在提升聚合查詢整體性能方面,GaussDB(for Influx)做了如下優化:

??l 采用MPP架構:一條查詢語句可以在多節點及多核并發執行。

??l 向量化查詢引擎:在查詢結果數據量很大時,GaussDB(for Influx)內部實現了向量化查詢引擎,每次迭代批量返回數據,大大減少了額外開銷。

??l 增量聚合引擎:基于滑動窗口的聚合查詢,大部分從聚合結果緩存中直接命中,僅需要聚合增量數據部分即可。

??l 多維倒排索引:支持多維多條件組合查詢,加快數據查詢中過濾無關數據。

5 、極致彈性擴縮容

??在時序數據庫的運行過程中,隨著業務量的增加,常常需要對數據庫進行在線擴容,以滿足業務的要求。

??l 傳統數據庫中的數據存儲在本地,擴容后往往需要遷移數據。當數據量達到一定規模時,數據遷移所耗費的時間往往按天計算,給運維帶來了很大的困難。

??l GaussDB(for Influx)相比于傳統的數據庫,最大的特點就是將計算與存儲分離,能夠輕松實現分鐘級擴容。

??此外,在能源、制造、IOT、互聯網等行業的監控統計及分析的應用場景中,時序洞察提供了針對時序數據的可視化功能。在監控領域,我們常看到能實時反映整個系統運行情況的絢麗監控大屏,這便是數據庫的監控看板功能,可以高效地運用監控數據輔助定位故障、性能調優、容量規劃;可以查看各產品的監控數據走勢及對比;跨產品展示關鍵指標的實時數據、歷史數據和整體走勢。業務人員可以根據該信息對業務進行及時調整。

??通過對時序數據庫的發展分析,時序數據庫的發展空間巨大,但也存在很多問題,GaussDB(for Influx)針對其存在的問題,都進行了針對性的創新與發展,可以說GaussDB(for Influx)為時序數據庫的發展提供了巨大推動力。

審核編輯 黃昊宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 華為
    +關注

    關注

    216

    文章

    34411

    瀏覽量

    251506
  • 數據庫
    +關注

    關注

    7

    文章

    3794

    瀏覽量

    64362
收藏 人收藏

    評論

    相關推薦

    數據庫數據恢復—Mysql數據庫表記錄丟失的數據恢復流程

    Mysql數據庫故障: Mysql數據庫表記錄丟失。 Mysql數據庫故障表現: 1、Mysql數據庫表中無任何數據或只有部分
    的頭像 發表于 12-16 11:05 ?107次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—Mysql<b class='flag-5'>數據庫</b>表記錄丟失的<b class='flag-5'>數據</b>恢復流程

    數據庫數據恢復—MYSQL數據庫ibdata1文件損壞的數據恢復案例

    mysql數據庫故障: mysql數據庫文件ibdata1、MYI、MYD損壞。 故障表現:1、數據庫無法進行查詢等操作;2、使用mysqlcheck和myisamchk無法修復數據庫
    的頭像 發表于 12-09 11:05 ?130次閱讀

    群暉PB高密度存儲,滿足海量數據存儲、備份與存檔

    很多大型企業,或是有海量數據存儲需求的企業,對于PB數據存儲一直尋求運行穩定、安全高效且高性價比的解決方案。PB
    的頭像 發表于 12-07 18:08 ?519次閱讀
    群暉<b class='flag-5'>PB</b><b class='flag-5'>級</b>高密度存儲,滿足<b class='flag-5'>海量</b><b class='flag-5'>數據</b>存儲、備份與存檔

    海量數據處理需要多少RAM內存

    海量數據處理所需的RAM(隨機存取存儲器)內存量取決于多個因素,包括數據的具體規模、處理任務的復雜性、數據庫管理系統的效率以及所使用軟件的優
    的頭像 發表于 11-11 09:56 ?288次閱讀

    數據庫數據恢復—通過拼接數據庫碎片恢復SQLserver數據庫

    一個運行在存儲上的SQLServer數據庫,有1000多個文件,大小幾十TB。數據庫每10天生成一個NDF文件,每個NDF幾百GB大小。數據庫包含兩個LDF文件。 存儲損壞,數據庫
    的頭像 發表于 10-31 13:21 ?199次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—通過拼接<b class='flag-5'>數據庫</b>碎片恢復SQLserver<b class='flag-5'>數據庫</b>

    有云服務器還需要租用數據庫嗎?

    如果你的應用程序需要處理大量的數據,并且這些數據需要高效的查詢和分析能力,那么租用專業的數據庫服務可能是更好的選擇。這些服務通常提供了更高的性能、更好的可擴展性和更強的
    的頭像 發表于 10-31 10:50 ?94次閱讀

    一文講清什么是分布式云化數據庫

    分布式云化數據庫是一種先進的數據管理系統,它將傳統的數據庫技術與分布式計算、云計算和大數據處理技術相融合。這種數據庫架構旨在提供高可用性、高
    的頭像 發表于 10-14 10:06 ?218次閱讀

    數據庫數據恢復—SQL Server數據庫出現823錯誤的數據恢復案例

    SQL Server數據庫故障: SQL Server附加數據庫出現錯誤823,附加數據庫失敗。數據庫沒有備份,無法通過備份恢復數據庫
    的頭像 發表于 09-20 11:46 ?338次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—SQL Server<b class='flag-5'>數據庫</b>出現823錯誤的<b class='flag-5'>數據</b>恢復案例

    小米試點業務系統上線OceanBase,數據庫性能飛躍新高度

    在科技日新月異的今天,小米集團作為全球領先的智能設備制造商,其業務的快速發展對底層技術架構提出了前所未有的挑戰。特別是在數據庫領域,面對海量數據處理、高并發訪問以及嚴苛的故障應對需求,傳統數據
    的頭像 發表于 07-03 15:39 ?666次閱讀

    雙向賦能:AI與數據庫的修行之道

    雖然硬件性能的提升為數據庫處理海量數據提供了基礎,但要真正發揮這些算力,需要對數據庫內核進行深度優化。云和恩墨通過改進
    的頭像 發表于 06-28 23:07 ?470次閱讀
    雙向賦能:AI與<b class='flag-5'>數據庫</b>的修行之道

    數據庫數據恢復—raid5陣列上層Sql Server數據庫數據恢復案例

    數據庫數據恢復環境: 5塊硬盤組建一組RAID5陣列,劃分LUN供windows系統服務器使用。windows系統服務器內運行了Sql Server數據庫,存儲空間在操作系統層面劃分了三個邏輯分區
    的頭像 發表于 05-08 11:43 ?503次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—raid5陣列上層Sql Server<b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復案例

    時序數據庫是什么?時序數據庫的特點

    時序數據庫是一種在處理時間序列數據方面具有高效和專門化能力的數據庫。它主要用于存儲和處理時間序列數據
    的頭像 發表于 04-26 16:02 ?633次閱讀

    華為云原生多模數據庫 GeminiDB 架構與應用實踐

    近日,2023 全球分布式云大會·深圳站順利召開,華為云 NoSQL 數據庫研發總監余汶龍在會上發表了題為《華為云原生多模數據庫 GeminiDB 架構與應用實踐》的精彩演講。 余汶龍
    的頭像 發表于 04-08 18:23 ?1173次閱讀
    <b class='flag-5'>華為</b>云原生多模<b class='flag-5'>數據庫</b> GeminiDB 架構與應用實踐

    數據庫數據恢復】Oracle數據庫ASM實例無法掛載的數據恢復案例

    oracle數據庫ASM磁盤組掉線,ASM實例不能掛載。數據庫管理員嘗試修復數據庫,但是沒有成功。
    的頭像 發表于 02-01 17:39 ?519次閱讀
    【<b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復】Oracle<b class='flag-5'>數據庫</b>ASM實例無法掛載的<b class='flag-5'>數據</b>恢復案例

    2024年,國產數據庫正醞釀新變局!

    隨著互聯網、5G、AI技術的飛速發展,海量數據的持續激增,數據資產的核心價值正在凸顯,大數據時代數據庫行業也迎來了快速增長。 作為
    的頭像 發表于 01-05 13:18 ?451次閱讀
    2024年,國產<b class='flag-5'>數據庫</b>正醞釀新變局!
    主站蜘蛛池模板: 色小说在线| 九九夜夜妹子| 国产电影一区二区三区| 成年色黄APP下载| 成人在线视频国产| 国产精品69人妻无码久久| 东北老妇人70OLDMAN| 国产99久久九九精品无码不卡| 成年人视频在线免费观看| 儿子操妈妈| 国产人成无码视频在线观看| 国产小伙和50岁熟女23p| 金瓶梅 快播| 麻豆免费版| 日本护士性生活| 性xxxx直播放免费| 亚洲永久精品ww47| 99热在线视频| 国产露脸150部国语对白| 久久re这里视频精品8| 欧美日韩一区二区三区四区| 一色屋精品亚洲香蕉网站| 亚洲无线观看国产| a毛片基地免费全部视频| 国产内射AV徐夜夜| 美女裸露胸部100%无遮挡| 首页 国产 亚洲 中文字幕| 亚洲视频第二页| 抽插H浊水H嫩B父皇| 九九热精品免费观看| 人妻激情综合久久久久蜜桃| 胸大美女又黄的网站| 40分钟超爽大片黄| 国产伦精品一区二区三区| 麻豆官网md.pub| 午夜福利视频极品国产83| 777米奇色狠狠俺去啦| 国产剧情在线精品视频不卡| 嫩草在线播放| 艳照门在线播放| 国产午夜亚洲精品不卡电影|