2023年2月,openGemini正式申請加入openEuler DB SIG,現已完成對openEuler的各項兼容性測試,并計劃加入openEuler 23.03版本。openGemini可在物聯網、嵌入式、邊緣計算、運維監控(AIOps)等領域與openEuler社區展開合作,充分利用自身技術競爭優勢,增強openEuler社區的影響力和競爭力的同時,不斷挖掘新的機遇和技術創新點,進一步提升openGemini的技術實力和社區品牌知名度。
項目地址
https://github.com/openGemini
https://gitee.com/src-openeuler/openGemini
項目官網
http://opengemini.org
openGemini簡介
openGemini是由華為云數據庫創新實驗室自行設計、研發并面向全球開源的一款云原生分布式時序數據庫。主要面向物聯網和運維監控等場景,提供海量時序數據庫處理和分析的開源解決方案,以進一步降低企業運營和運維成本,提升產品質量和生產效率。
openGemini發展歷程
如圖所示,openGemini經歷了最初由InfluxDB改造的技術探索,到云服務商用、自研內核增強和開源等多個階段的發展,經受住了華為云內外部100余家用戶不同業務場景的打磨和檢驗,現已開放全部核心源碼,全面擁抱開源,打造共享、共治、共建的開發社區,構建全球技術生態和影響力。
openGemini的架構
openGemini采用MPP大規模并行處理分層架構,由ts-sql、ts-store、ts-meta組成。
ts-sql:統一處理客戶端請求
數據按照時間線一致性Hash方式打散存儲在不同的ts-store中,在查詢語句執行期間,從ts-store獲取數據并匯總,并返回客戶端
ts-meta:統一元數據管理
數據庫集群元數據和數據庫元數據管理,如節點信息、數據保留時間、數據分區信息、表信息等
ts-store:統一數據管理
將原始數據按時序優化的數據格式進行統一組織和存儲,查詢時,按指定時間范圍和時間線ID查詢數據,并根據過濾條件,返回目標數據
openGemini的核心競爭力
openGemini開源后持續版本迭代,現已發布v1.0.0版本,在高性能、高安全、企業級特性、可擴展性、功能、應用開發等六個方面已全面具備生產環境可使用的完整能力。
● 高性能
openGemini針對物聯網、運維監控等領域海量數據管理和分析訴求,對計算引擎和存儲引擎做了大量的優化設計,取得了明顯效果。
支持億級指標管理
每秒千萬級指標數據并發寫入
查詢萬級指標數據毫秒級響應
在30萬指標,259億條指標測試數據的場景下,采用TSBS(https://github.com/timescale/tsbs)性能測試工具,相比開源的單機版InfluxDB v1.7,openGemini單機版寫入性能提升5倍,簡單查詢提升2-5倍,復雜查詢響應時間縮短60倍以上。
● 高安全
openGemini支持數據傳輸加密和用戶密碼鑒權,支持用戶弱密碼校驗和審計日志。此外,openGemini集群的各組件之間通信可配置HTTPS雙向認證(Mutual TLS),確保每一個鏈接都是可信的。
●企業級特性
openGemini具備豐富的企業級特性,部分關鍵特性如下:
l 高效數據壓縮
采用列式數據存儲,不同數據類型對應不同的數據壓縮算法,可支持PB級指標數據的長期數據存儲。存儲成本是傳統關系型數據庫 1/20,是NoSQL的 1/10
l 支持數據保留策略
數據過期后自動刪除
l 支持寫前日志(WAL)
設備掉電后,緩存數據不丟失
l 流計算
當數據量較大時,傳統降采樣工作方式對磁盤I/O消耗過大,I/O放大也很嚴重。可通過流式計算,寫入數據的同時實現數據降采樣,該方法具有高性能、網絡開銷小的優點
l 數據分級存儲
結合時序數據特點,數據按熱、溫、冷多級存儲,進一步提升查詢性能
l 內核運行狀態可觀測
提供了開源監控工具ts-monitor,可采集260余種內核和服務器關鍵監控指標,更好的觀察系統的運行狀況,快速排查、定位和解決問題
l多級降采樣
可針對不同時間范圍的歷史數據進行不同方式的降采樣,保留歷史數據的特征,原地刪除其余歷史數據,節約存儲空間50%,計算資源節約90%
l 向量化
充分利用架構的并行處理優勢,每次迭代批量返回數據,大數據量下查詢性能更好
l 異常檢測和預測
內置基于AI的時序異常檢測和預測分析框架,具備流批一體、嚴重程度分級等多項能力,支持每秒萬級實時指標數據并發檢測,內含13種異常檢測器,可覆蓋常見的離群點、數值變化、閾值、持續上升下降等常見時序異常場景
● 可擴展性
openGemini集群由ts-sql、ts-store、ts-meta組成,支持單一組件獨立橫向擴展,可支持100+節點的集群規模。
● 功能
openGemini提供豐富的聚合算子(如COUNT、SUM、MAX等)、統計分析算子(如PERCENTILE分位數、DIFFERENCE等)、算術分析算子(如ABS、LN等)、Full Join、近似統計算子以及字符串算子(如SUBSTR、STR等)共60+個。此外,還支持秒、毫秒、納秒等多種時間精度以及TAG(分組查詢)和嵌套查詢。
●應用開發(技術生態)
如圖所示,在時序大數據處理方面,openGemini已初步完成對數據接入、數據存儲、數據可視化、數據分析、數據遷移等各環節關鍵能力構建和技術生態對接。
在云原生方面,openGemini已支持K8s、KubeEdge容器化部署,正在積極和KubeEdge社區進行聯合創新。
在底層操作系統方面,openGemini支持主流的Linux系統和x86、arm64等架構。
在應用開發方面,支持C/C++、Java、JavaScript、Ruby、GO、Python、PHP等主流的開發語言。
總結
openGemini具備卓越的讀寫性能和高效的數據分析能力,支持單機和集群,部署形式多樣,可邊緣、可云、可物理機部署,支持主流開發語言,二進制運行,無第三方組件依賴,帶有260+項系統運行指標監控,運維簡單。
獨木難成林,百川聚江海。openGemini與openEuler共同攜手,雙方將在IoT、AIOps、嵌入式、邊緣計算等領域深化技術解決方案集成,開展線上開源協作和線下社區互動等方面合作,努力為全球開發者提供一流的行業解決方案。
-
嵌入式
+關注
關注
5082文章
19107瀏覽量
304833 -
物聯網
+關注
關注
2909文章
44567瀏覽量
372810 -
邊緣計算
+關注
關注
22文章
3084瀏覽量
48894 -
openEuler
+關注
關注
2文章
312瀏覽量
5863
原文標題:openGemini正式加入openEuler SIG-DB ,攜手開展全方面技術創新
文章出處:【微信號:openEulercommunity,微信公眾號:openEuler】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論