今天,華為云GaussDB(for Cassandra)攜__Lucene引擎全新解決方案__來啦!
當前,互聯網、大數據飛速發展,數據量呈爆發式增長,在高并發、高可用、高擴展性的業務需求推動下,NoSQL數據庫成為了越來越多場景的剛需。但在查詢方面,傳統的NoSQL卻有一定的局限性,嚴格來說,像開源MongoDB、Cassandra、Hbase等都不具備海量數據的多維查詢、文本檢索、統計分析等能力。多數企業仍然在尋求一套更完美的NoSQL解決方案。
華為云原生多模數據庫GaussDB NoSQL擁有強大的生態體系,支持鍵值、寬表、文檔、時序四種引擎接口。其中,寬表引擎接口GaussDB(for Cassandra)現已發布Lucene二級索引功能,既具備NoSQL的優勢,又能支持多種復雜查詢場景,全面提升用戶在海量數據場景下的查詢體驗,憑實力寵粉!相信大家一定有很多疑問,GaussDB(for Cassandra)是什么?二級索引如何使用?Lucene二級索引又有哪些區別?別著急,接下來讓我們一一解讀。
什么是GaussDB(for Cassandra)?
GaussDB(for Cassandra)是一款基于華為自研、采用計算存儲分離架構的分布式云數據庫,在高性能、高可用、高可靠、高安全、可彈性伸縮的基礎上,提供了一鍵部署、備份恢復、監控報警等服務能力;并高度兼容開源Cassandra接口,提供高讀寫性能。當前已經廣泛應用于IoT、氣象、互聯網、游戲等諸多領域。
什么是二級索引?
我們先來了解下索引的概念。索引是為了加快數據檢索速度而創建的一種存儲結構,是一種以空間換時間的設計思想。作用可以理解為書的目錄,通過目錄可快速定位到所需要的內容。
在Cassandra中,Primary Key就是索引(也被稱為一級索引),在查詢的時候,根據Primary Key可以直接檢索到對應的記錄。而二級索引又稱輔助索引,是為了幫助定位到一級索引,然后再根據一級索引找到對應記錄。我們平時使用CREATE INDEX語句建立的就是二級索引。
當前Cassandra二級索引的痛點有哪些?
原生Cassandra中二級索引的實現其實是創建了一張隱式的表,該表的Primary Key是創建索引的列,值為對應的Primary Key,實現相對簡單,因此不可避免地帶來了一些約束條件:
1.第一主鍵只能用“=”查詢;
2.第二主鍵可以使用“=、>、<、>=、<=”;
3.索引列只支持“=”查詢;
4.刪除、更新太過頻繁的列不適合建立索引;
5.High-cardinality列不適合做索引;
基于以上約束,Cassandra二級索引能提供的查詢功能非常有限。
Why Lucene?
Lucene是當下最火的開源全文檢索引擎工具,具有以下特點:
1.穩定、索引性能高;
2.是高效、準確、高性能的搜索算法;
3.具備豐富的查詢類型:支持短語查詢、通配符查詢、近似查詢、范圍查詢等;
4.有強大的開源社區支持,可維護性好;
因此,用集成Lucene引擎來補充Cassandra查詢能力的弱點是最佳選擇,畢竟誰又會拒絕一款性能穩定、持續成長、又更新迭代的搜索引擎呢?
Lucene引擎強大的倒排索引和列式存儲能力,賦予了GaussDB(for Cassandra)高效的多維查詢、文本檢索、統計分析等能力,在使用體驗上和原生二級索引相似,但同時擁有了更為豐富的語法支持。
使用Lucene二級索引后,我的查詢發生了哪些變化?
更加靈活的查詢、過濾方式:
所有查詢均可不帶PK或者帶部分PK,并且索引列支持 “>、<、in”等操作符,用戶不需要再局限于只使用“=”。
強大的文本檢索能力:
文本檢索能力正是Lucene最擅長的,使用起來十分方便,只需要通過關鍵詞like即可實現。
你可以這樣:
SELECT \\* FROM example WHERE field LIKE 'test%'; // 前綴查詢
也可以這樣:
SELECT \\* FROM example WHERE field LIKE 'start\\*end'; // 正則匹配
還可以這樣:
SELECT \\* FROM example WHERE field LIKE '%\\+lucene \\+index%'; // 全文搜索功能,性能高效,穩定
支持超萬億規格的大數據量統計:
SELECT count\\(\\*\\) FROM example WHERE field1>\\-1 AND EXPR\\(field2, 'count'\\);
多種刪除方式:
支持single單行刪除、partition分區刪除、range范圍刪除,全方位覆蓋各種刪除場景。
DELETE FROM example WHERE pk1='a' AND field=1; // single單行刪除
DELETE FROM example WHERE pk1='a' AND pk2=5000; // partition分區刪除
DELETE FROM example WHERE pk1='a' AND pk2=3000 AND ck1=2 AND ck2>'a' AND ck2<'c'; // range范圍刪除
支持擴展json查詢接口,輕松應對各種復雜查詢場景:
擴展的json查詢接口提供了豐富的查詢語法,用法更多樣化。以下是關鍵字列表:
filter
在查詢語句中json查詢的關鍵字
term
查詢時判斷某個document是否包含某個具體的值,不會對被查詢的值進行分詞查詢
match
將被詢值進行分詞,進行全文檢索
range
查詢指定某個字段在某個特定的范圍(范圍查詢子關鍵字:"eq"/"gte"/"gt"/"lte"/"lt")
bool
必須和 "must"、"should"、"must not" 一起組合出復雜的查詢
must
bool類型的子查詢,類型為list,封裝"term"、"match"、"range" 查詢
should
bool類型的子查詢,類型為list,封裝"term"、"match"、"range" 查詢
must not
bool類型的子查詢,類型為list,封裝"term"、"match"、"range" 查詢
舉個栗子:
SELECT \\* FROM example WHERE EXPR\\(index\\_field, '\\{"filter": \\{"bool": \\{"should": \\[\\{"bool": \\{"should": \\[\\{"bool": \\{"must": \\[\\{"bool": \\{"should": \\[\\{"range": \\{"ck1": \\{"lt": 2\\}, "ck1": \\{"gte": 4\\}\\}\\}\\]\\}\\}, \\{"bool": \\{"should": \\[\\{"range": \\{"field1": \\{"lt": 2\\}, "field1": \\{"gt": 3\\}\\}\\}\\]\\}\\}\\]\\}\\}, \\{"bool": \\{"should": \\[\\{"term": \\{"pk1": "a", "pk1": "b", "pk1": "c"\\}\\}\\]\\}\\}\\]\\}\\}, \\{"bool": \\{"must": \\[\\{"range": \\{"field2": \\{"gte":5, "lte": 15\\}, "pk2": \\{"gt": 2000\\}\\}\\}\\]\\}\\}\\]\\}\\}\\}'\\)
通過條件組合加嵌套,您可以DIY符合自身業務的sql語句,并且最高支持200層json嵌套,再復雜的場景也能處理!
華為云GaussDB(for Cassandra)搭載Lucene引擎,通過Lucene二級索引將搜索能力下沉至底層,從根本上解放了應用層查詢,兼具多維查詢、文本檢索、統計分析等多種能力,可以完美地彌補NoSql弱查詢功能的短板,讓企業從容應對海量數據的復雜查詢場景。還等什么,速來體驗吧!
審核編輯:湯梓紅
-
開源
+關注
關注
3文章
3366瀏覽量
42561 -
Lucene
+關注
關注
0文章
6瀏覽量
7639 -
華為云
+關注
關注
3文章
2567瀏覽量
17472
發布評論請先 登錄
相關推薦
評論