色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

百度智能云以虛擬化塊存儲CDS打造云上多樣解決方案

高端存儲知識 ? 來源:高端存儲知識 ? 作者:高端存儲知識 ? 2020-09-24 15:38 ? 次閱讀

在數字經濟時代,海量的數據成為數字經濟的重要生產要素,特別是受今年疫情的影響,線下的生產和生活迅速的轉移到了線上,相應的數據也再次迎來了新一波快速增長。 對于百度智能云這樣的云服務商來說,海量的數據既是資產也是壓力,尤其是大量冷數據的產生讓存儲分層變得“迫在眉睫”。在此背景下,磁帶庫因性價比較高且能夠快速寫入,成為了百度智能云快速存檔冷數據的理想之選。

但在實際應用中,百度智能云發現磁帶庫雖然可以快速寫入數據,但數據首先需要在緩存盤上進行序列化,這就需要一款快速的緩存盤作為載體化解這一難題。基于此,百度智能云創新的引入了英特爾傲騰固態盤,借助其速度和耐用性兼備的特性,不僅大大提升了磁帶庫備份的速度,也滿足了歸檔存儲應用中繁重的讀/寫混合型工作負載的要求。 毫無疑問,百度智能云與英特爾的成功合作,不僅為數據歸檔和備份的優化和升級提供了重要的參考和借鑒方向,也讓更多的行業和用戶享受到了云存儲服務所帶來的好處,真正實現了冷數據在更長久周期內的可用性、可回溯性和可審計性。 冷數據帶來的挑戰 今天,海量數據的增長正在成為一種“新常態”,而保存和管理這些海量數據也變得日益困難,特別是把所有數據保存在同一個存儲介質中更是不切實際的。 因此,業內通常的做法是,將數據根據類型的不同劃分為三個分層,即熱數據、溫數據和冷數據。其中,最“冷”的數據十分適合存儲到磁帶庫這種價格便宜的長期存儲介質之中。

得益于光纖通道和串行連接 SCSISAS)等技術的發展,如今磁帶庫的順序讀寫性能也得以不斷提升。然而,磁帶庫本身的寫入速度雖快,但是基于磁帶庫的備份架構卻存在一個常常會妨礙數據以其最大速率寫入磁帶庫的技術障礙。 具體來說,在將數據備份到磁帶庫上之前,首先需要將數據收集到緩存層的數據節點上,以便為寫入磁帶介質做準備(進行序列化)。對于此類數據節點中的SAS RAID緩存層磁盤,其讀取和寫入操作通常無法達到讓磁帶庫管道飽和的速度,進而導致出現備份速度緩慢等挑戰,無法發揮磁帶庫的高速潛能。

百度智能云舊備份架構中緩存盤面臨的挑戰 以百度智能云此前使用的機械硬盤(HDD)為例,其讀取速度僅為200 MB/s,不但難以滿足磁帶庫寫入速度為每秒600 MB/s的要求,還把磁帶庫的備份速度降低了三分之二,使得大量數據存儲歸檔和備份工作變得效率低下。 例如,通過安裝在車隊 300 輛車上的物聯網IoT傳感器,百度的自動駕駛汽車解決方案生成了大量數據,且已記錄超過200萬公里,這些物聯網數據大部分被歸類為“冷”數據,并通過數據節點發送到磁帶上以進行長期存儲,但由于緩存層磁盤速度較慢,使得這個工作變得十分的緩慢。 再如,百度的數據保留政策要求每3-6年就要將存儲在磁帶庫上的數據轉移至新磁帶庫,這就需要使用緩存盤,而這種超負荷的緩存工作負載(不斷寫入和讀取越來越多的存檔數據),同樣也暴露出系統的低效率問題。 由此可見,快速的磁帶庫離不開快速緩存盤,緩存盤的性能之于數據備份速度的重要性不言而喻。為了打破緩存層磁盤帶來的“瓶頸”,百度智能云希望通過尋找到一種更好的緩存驅動替代方案,以進一步提升磁帶庫備份的速度。 緩存盤選型的難題 根據自身的實際業務情況,百度智能云團隊在考慮其緩存驅動的替代方案時,提出了以下數據層要求: 一是,讀取速度要求方面,希望在寫入壓力很大的情況下,替代的緩存盤也需具備600 MB/s的讀取性能,以匹配磁帶庫600 MB/s的寫入速度。 二是,寫速度要求方面,為了保持磁帶寫入速度飽和以提高成本效益,磁盤將新數據寫入緩存盤的速度應至少與緩存數據寫入磁帶的速度相等,即600 MB/s。 三是,耐用性要求方面,磁帶庫的存儲容量為16PB,而百度智能云團隊希望緩 存盤能夠持續服務三代磁帶,為了實現此目標,緩存盤需支持總寫入量為48 PBW (硬盤理論壽命所對應的總寫入數據量)的耐用性。 為此,百度智能云團隊首先研究了使用基于NAND的SSD替代數據節點上基于HDD的緩存盤。但是研究顯示,基于NAND的SSD的局限在于,隨機寫入操作需要大量的后臺介質管理,這會大大降低每個磁盤的吞吐量并縮短磁盤壽命。 在此基礎上,百度的團隊又評估多個 NAND 驅動器的兩種配置,包括16盤 RAID0 的標準耐用性配置,以及6盤 RAID0+1的中等耐用性配置,雖然這兩種配置方案都能滿足600 MB/s的讀取和寫入要求,但卻需要過多的NVMe插槽才能達到所需的吞吐率,這將使得維護工作變得更加復雜。 此外,根據設備規格進行的計算還表明,這兩種配置方案也都不能滿足耐用性要求,其PBW分別為30.72和36.75,顯然和百度智能云所確定的48 PBW目標“相距甚遠”。 不難看出,無論是傳統的HDD還是基于NAND的SSD,都難以滿足百度智能云希望實現的性能和耐用性要求,通過多方的對比,最終百度智能云團隊將目標鎖定在了英特爾傲騰固態盤上。 速度和耐用性兼備 測試顯示,百度智能云通過采用英特爾傲騰固態盤作為數據節點上的緩存盤,該解決方案可在600 MB/s (隨機)寫入工作負載下,實現 600 MB/s 的讀取性能。與基于 NAND 的固態盤不同,英特爾傲騰固態盤的優勢還在于,無論其寫入壓力如何,都能保持讀取響應時間不變。

將英特爾傲騰固態盤的鏡像用作緩存盤,滿足了百度的備份解決方案要求 不僅如此,英特爾傲騰固態盤的高耐用性(164 PBW 和每日整盤寫入次數為 60 DWPD),遠遠超出了48 PBW的耐用性要求,通過這一全新解決方案,百度可以在 相同時間內備份三倍的數據量。 可以看到,借助英特爾傲騰固態盤,百度智能云不僅實現了出色耐用性的同時,也滿足繁重的讀/寫混合型工作負載帶寬要求,而通過此解決方案,百度現在備份相同數據量所需的時間比之前的解決方案減少了67%。 對此,百度智能云相關人士表示:“英特爾傲騰固態盤憑借其高帶寬、高耐用性、低延遲和易于維護的優勢,為百度帶來了高價值,并幫助我們加快創新磁帶庫解決方案,同時降低成本、提高效率。”

值得一提的是,百度智能云還進一步發揮其產品及技術優勢,將英特爾傲騰方案推上云端,以智能云虛擬化塊存儲 CDS、云原生數據庫 GaiaDB 等產品為出口,打造云上多樣解決方案。而傲騰方案在較大的寫入壓力下依然能保持數據的快速響應及高性能讀寫,讓百度智能云為客戶提供超低成本及便攜的數據管理能力,輸出持續先進的云服務,豐富云端存儲產品和體驗打下了堅實的基礎。 總的來看,今天數據的生命周期正變得越來越長,特別是過去幾年國家出臺了信息安全和個人隱私的相關法律,而被合規、數據保護等痛點困擾的企業也不在少數;再加上企業對數據越來越重視,特別是某些關鍵領域的企業甚至要求生產環境下的數據,需要有五年、十年,甚至數個十年的保存,由此也讓數據歸檔變得更加重要。 目前,類似的需求在視頻監控、生命科學、金融服務、媒體和娛樂、政府、醫療等行業特別明顯。所以,未來如何保障數據在更長久周期內的可用性、可回溯性、可審計性,無疑今天用戶最為關注的話題

而在此過程中,百度智能云通過將英特爾傲騰固態盤作為緩存數據提升磁帶庫備份速度,不僅破解了海量數據增長帶來的歸檔和備份的壓力,也為眾多用戶提供了更為豐富的產品體驗。

原文標題:【觀察】百度智能云:釋放“傲騰上云”紅利,重新定義歸檔存儲服務

文章出處:【微信公眾號:高端存儲知識】歡迎添加關注!文章轉載請注明出處。

責任編輯:haq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 英特爾
    +關注

    關注

    61

    文章

    9999

    瀏覽量

    172070
  • 百度
    +關注

    關注

    9

    文章

    2275

    瀏覽量

    90578
  • 數字經濟
    +關注

    關注

    2

    文章

    1059

    瀏覽量

    18316

原文標題:【觀察】百度智能云:釋放“傲騰上云”紅利,重新定義歸檔存儲服務

文章出處:【微信號:High-end_Storage,微信公眾號:高端存儲知識】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    esp32在Arduino IDE中可以實現調用百度智能接口嗎?

    esp32在Arduino IDE中可以實現調用百度智能接口嗎?涉及到http協議,想知道能不能不用esp-idf
    發表于 06-28 06:52

    百度智能升級3款大模型應用:面向三類場景打造企業“超級員工”

    平臺、百度智能曦靈數字人平臺三款大模型應用產品,致力于為企業用戶提供“超級知識官”重塑知識管理流程、打造覆蓋客戶運營全鏈路的“超級客服”、上崗數字人“超級主播”為營銷賦能,幫助企業實
    的頭像 發表于 06-25 19:22 ?1111次閱讀

    百度智能推出“千帆行業增強版”

    在近日于北京舉辦的2024智能經濟論壇百度集團執行副總裁、百度智能事業群總裁沈抖分享了
    的頭像 發表于 05-30 09:30 ?612次閱讀

    日產汽車將搭載百度AI解決方案

    日產汽車與百度達成戰略合作,雙方正式簽署諒解備忘錄,共同探索智能技術在汽車領域的應用。根據協議,日產將在中國市場的車型搭載百度的AI解決方案
    的頭像 發表于 05-06 14:14 ?468次閱讀

    數巒正式與百度智能達成合作,共謀“數字孿生+AI融合”新契機

    近日,數巒在執行生態戰略的布局下,與百度智能建立解決方案生態伙伴關系。雙方在技術、市場、方案
    的頭像 發表于 04-18 11:32 ?590次閱讀
    數巒<b class='flag-5'>云</b>正式與<b class='flag-5'>百度</b><b class='flag-5'>智能</b><b class='flag-5'>云</b>達成合作,共謀“數字孿生+AI融合”新契機

    百度智能與全球知名咨詢服務機構畢馬威簽署戰略合作協議

    近日,在首屆“百度智能GENERATE全球生態大會”百度智能
    的頭像 發表于 04-14 09:24 ?832次閱讀

    【機器視覺】歡創播報 | 百度智能發布千帆大模型一體機

    1 百度智能發布千帆大模型一體機 編輯 ? 4月9日上午,百度智能GENERATE全球生態大
    的頭像 發表于 04-11 10:49 ?615次閱讀
    【機器視覺】歡創播報 | <b class='flag-5'>百度</b><b class='flag-5'>智能</b><b class='flag-5'>云</b>發布千帆大模型一體機

    軟通動力榮獲百度智能“大模型創新突破獎”“服務突破之星伙伴獎”

    4月9日,2024百度智能GENERATE全球生態大會在成都舉辦。大會帶來了百度智能在大模型
    的頭像 發表于 04-10 09:49 ?385次閱讀

    2024百度智能GENERATE全球生態大會干貨速覽

    2024百度智能GENERATE全球生態大會干貨速覽
    的頭像 發表于 04-09 09:37 ?493次閱讀
    2024<b class='flag-5'>百度</b><b class='flag-5'>智能</b><b class='flag-5'>云</b>GENERATE全球生態大會干貨速覽

    百度智能攜手烏鎮共建AI數據產業基地

    近日,百度智能與桐鄉市烏鎮大數據高新技術產業園區簽署合作協議,雙方將發揮各自優勢,人工智能標注產業為基礎,共建
    的頭像 發表于 04-01 16:12 ?671次閱讀

    百度智能正式發布了《百度智能水業大模型白皮書》

    3月28日,由E20環境平臺主辦的2024(第二十二屆)水業戰略論壇在北京召開。會上,百度智能正式發布了《百度智能
    的頭像 發表于 03-29 09:20 ?1399次閱讀
    <b class='flag-5'>百度</b><b class='flag-5'>智能</b><b class='flag-5'>云</b>正式發布了《<b class='flag-5'>百度</b><b class='flag-5'>智能</b><b class='flag-5'>云</b>水業大模型白皮書》

    一圖講透百度智能千帆大模型平臺全面升級!

    【一圖講透】百度智能千帆大模型平臺全面升級!
    的頭像 發表于 03-22 10:44 ?527次閱讀
    一圖講透<b class='flag-5'>百度</b><b class='flag-5'>智能</b><b class='flag-5'>云</b>千帆大模型平臺全面升級!

    百度智能推出全新輕量級大模型

    在近日舉辦的百度智能千帆產品發布會上,三款全新的輕量級大模型——ERNIE Speed、ERNIE Lite以及ERNIE Tiny,引起了業界的廣泛關注。相較于傳統的千億級別參數大模型,這些輕量級大模型在參數量上有了顯著減少
    的頭像 發表于 03-22 10:28 ?692次閱讀

    百度智能大模型應用產品發布會定檔

    百度智能官方宣布,備受矚目的“AI Cloud Day:百度智能大模型應用產品發布會”已正式
    的頭像 發表于 03-21 11:37 ?872次閱讀

    百度智能進一步集成Arm虛擬硬件 加速AI開發創新

    繼 Arm 虛擬硬件于 2023 年八月上線百度智能后,近日,雙方基于 Arm 虛擬硬件的合作再度迎來新里程!
    的頭像 發表于 03-11 15:17 ?477次閱讀
    主站蜘蛛池模板: 亚洲国产精品一区二区久久第| 果冻传媒9CM在线观看| 调教椅上的调教SM总裁被调教| 国产精品一区二区在线观看| 彭丹吃奶门| 久久国产露脸老熟女熟69| 国产黄a三级三级三级| 久久精品动漫99精品动漫| 日本在线免费播放| 欧美亚洲曰韩一本道| 亚洲风情无码免费视频| 亚洲大片在线观看| qvod激情图片| 久久亚洲电影www电影网| 久久99影院| 久久中文字幕人妻AV熟女| 少女开女包www| qvod播放电影| 邻居的阿2中文字版电影| 欧美无码专区| 张津瑜的9分58秒7段免费| 囯产精品麻豆巨作久久| 国产小视频免费看| 日日操夜夜操狠狠操| 91精品国产色综合久久不| 99久久免费国产精精品| 播色屋97超碰在人人| 国产精品VIDEOS麻豆TUBE| 女生扒开下面| 日本理论片和搜子同居的日子2| 羽月希被黑人吃奶dasd585| 国产精品久久久久久人妻香蕉| 九九黄色大片| 亚洲国产女人aaa毛片在线| 国产精品久久久久久久久久久| 青柠在线视频| 亚洲欧美强伦一区二区另类| 国产69TV精品久久久久99| 日本九九热在线观看官网| bbw美女与zooxx| 欧美区一区二|