Spark環境結合MDBF的星型連接算法
大小：0.75 MB 人氣：0 2017-12-23 需要積分：1
為了適應聯機分析處理（ OLAP）系統中實時數據高性能分析需求不斷提高的需求，提出一種能夠適合Spark環境并結合多維Bloom Filter（ MDBF）的星型連接算法SMDBFSJ。首先，根據多個維表構建MDBF，利用其占用空間小的特點，廣播到所有節點；然后，在本地節點完成事實表過濾操作，事實表不需要在節點間移動數據；最后，過濾后的事實表與維表采用重劃分方式進行連接，進而得到最終結果。SMDBFSJ算法避免了事實表數據移動，通過MDBF減小了需要廣播的數據量，充分結合了廣播連接和重劃分連接的優勢。實驗結果表明了該算法的有效性，在單機和集群環境下，該算法相比重劃分連接均獲得了3倍左右的性能提升。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
Spark環境結合MDBF的星型連接算法下載
相關電子資料下載
- 天數智芯主導的DeepSpark開源社區發布百大應用開放平臺24.06版本 436
- spark運行的基本流程 91
- Spark基于DPU的Native引擎算子卸載方案 180
- 百度前高管景鯤與朱凱華創立AI搜索公司，Genspark產品驚艷上線 458
- 關于Spark的從0實現30s內實時監控指標計算 111
- “Spark+Hive”在DPU環境下的性能測評 | OLAP數據庫引擎選型白皮書（24版）DPU部分 212
- 芯科科技和Arduino合作創建SparkFun Thing Plus Matter板 234
- Sparkle撼與科技發布TBX-750FA-V2顯卡塢，支持3.5槽厚顯 243
- 如何注冊星閃Sparklink設備媒體接入層標識、地址碼? 246
- 如何利用DPU加速Spark大數據處理？ | 總結篇 661