波音噴氣發動機每運行 30 分鐘,就會產生 10 TB 的數據。那是 1 萬億字節,或相當于美國國會圖書館整個印刷館藏的數字化等價物。將其乘以每天在美國上空推動超過 87,000 次航班的噴氣發動機數量,您就會獲得大量數據。
盡管一些人猜測大數據不會轉化為分析療法,但它仍然與物聯網 (IoT) 密不可分。如果思科等公司的預測是正確的,那么到 2020 年,我們將有大約 500 億個支持互聯網的“事物”不斷地啁啾,雖然它們可能不會都在噴氣發動機剪輯上生成數據,但這絕對構成了數據海嘯。
那么,我們將如何處理所有這些數據?收獲的信息必須在某種程度上具有價值,否則它一開始就不會被收獲。另一方面,并??非所有數據都是平等的。收集到的絕大多數數據可能會被存檔和遺忘,直到偶爾報告需要它,訪問一次或兩次,然后再次被遺忘。根據 Enterprise Strategy Group 的研究,這種“不經常訪問”的信息(也稱為第 3 層或“冷”數據)占記錄數據的 80%。而且,盡管這些年來內存的平均成本急劇下降,但在大數據規模上,每 GB 幾美分的成本可以很快加起來。
這種信息過載的明顯答案是冷數據存儲替代方案,它們比用于定期訪問的數據更便宜且容量更大。因此,公司通常選擇以下兩種解決方案之一:歷史悠久的磁帶庫,或者最近的云。
磁帶庫已經使用了幾十年,非常適合以極低的成本存儲大量數據。它們也可以被認為是“綠色的”,因為磁帶驅動器僅在使用時旋轉(這可以節省電力),并且位于內部可以相對快速地訪問冷數據。然而,磁帶庫也有一些缺點,包括大中型存儲系統的前期費用高昂、遠程訪問困難、磁帶退化的可能性以及在單個現場位置維護檔案的漏洞。而不是“數據海嘯”想想“數據”和“海嘯”)。
公司探索云存儲的可能性,通過提供無限的存儲空間、低成本以及防止盜竊、自然災害等的遠程容量,彌補了磁帶庫的一些疑慮。然而,云解決方案的主要特點是檢索數據通常非常耗時,并且可能會變得昂貴,具體取決于檢索的數據量。例如,Amazon Glacier 之類的服務至少需要 3-5 小時來檢索數據集(可在 24 小時內下載),如果在給定的數據中檢索到超過 5% 的數據,則按千兆字節收費月。
兩者的交叉點似乎會有所改進,并包含優化訪問的硬件和軟件元素,同時確保每 GB 存儲的成本盡可能低。
冷藏:冰上的大數據
軟件定義存儲 (SDS) 是一個新術語,但從技術角度來看,它類似于軟件定義網絡 (SDN),因為硬件邏輯被抽象為管理存儲基礎設施的軟件層。從本質上講,這意味著可以虛擬化存儲功能或服務(如重復數據刪除、復制、快照和精簡配置),從而實現在商用硬件上運行的融合存儲架構。因此,可以實施具有成本效益的存儲策略,將磁帶庫的可訪問性和效率與云的可擴展性和遠程功能相結合。
例如,由 Storiant 提供支持的 RGS Cold Storage 是針對第 3 層數據的本地存儲解決方案,它基于 Avnet, Inc. 的業務部門 RGS 的現成硬件。機柜級設備與 60 個提供 PB 級容量的 HDD 托架完全集成,并利用基于 OpenZFS 的 Storiant 軟件(以前稱為 SageCloud)與私有云接口。Storiant 數據管理軟件還提高了訪問性能,將處于停滯狀態的數據的檢索時間縮短至 30 秒,同時允許 HDD 在不使用時減速以顯著降低功耗。可擴展的 RGS 冷存儲架構每月每 GB 存儲 0.01 美元,針對大多數大數據部署進行了成本優化。
雖然 SDS 等存儲管理技術有助于為有價值的業務分析奠定基礎,但它們還確保財務和計算資源可用于定期執行的“第 1 層”數據。在一個過多的信息實際上會變成一件壞事的環境中,將其中的一些信息保持在深度凍結狀態是很重要的。
審核編輯:郭婷
-
發動機
+關注
關注
33文章
2484瀏覽量
69437 -
物聯網
+關注
關注
2910文章
44754瀏覽量
374605 -
SDS
+關注
關注
0文章
48瀏覽量
15768
發布評論請先 登錄
相關推薦
評論