EC改進(jìn)方案選型
接上篇,介紹一下整個(gè)容災(zāi)方案在性能和可靠性方面如何做驗(yàn)證。
3個(gè)機(jī)柜,每個(gè)機(jī)柜15臺(tái)機(jī)器,總共45臺(tái),需要在RBD場(chǎng)景下,找到成本、性能、數(shù)據(jù)可靠性的三者平衡點(diǎn)。
跨機(jī)柜容災(zāi)方案1
支持2個(gè)機(jī)柜級(jí)別的容災(zāi),跨3個(gè)機(jī)柜單個(gè)分組共9個(gè)節(jié)點(diǎn),共5個(gè)分組,對(duì)應(yīng)的理論收益情況如下
名稱(chēng) | K | M | D | 3副本得盤(pán)率 | EC得盤(pán)率 | 硬件成本節(jié)約比率 | 磁盤(pán)數(shù)據(jù)遷移量(ISA) | 磁盤(pán)數(shù)據(jù)遷移量(CLAY) | 數(shù)據(jù)恢復(fù)負(fù)載降低比率 |
---|---|---|---|---|---|---|---|---|---|
3+2 | 3 | 2 | 4 | 33.33333333 | 60 | 180 | 3 | 2 | 33.33333333 |
對(duì)應(yīng)的crush rule如下
單機(jī)柜容災(zāi)方案2
支持1個(gè)機(jī)柜級(jí)別的容災(zāi),單個(gè)分組共5個(gè)節(jié)點(diǎn),共9個(gè)分組,對(duì)應(yīng)的理論收益情況如下
名稱(chēng) | K | M | D | 3副本得盤(pán)率 | EC得盤(pán)率 | 硬件成本節(jié)約比率 | 磁盤(pán)數(shù)據(jù)遷移量(ISA) | 磁盤(pán)數(shù)據(jù)遷移量(CLAY) | 數(shù)據(jù)恢復(fù)負(fù)載降低比率 |
---|---|---|---|---|---|---|---|---|---|
4+3 | 4 | 3 | 6 | 33.33333333 | 57.14285714 | 171.4285714 | 4 | 2 | 50 |
5+3 | 5 | 3 | 7 | 33.33333333 | 62.5 | 187.5 | 5 | 2.333333333 | 53.33333333 |
6+3 | 6 | 3 | 8 | 33.33333333 | 66.66666667 | 200 | 6 | 2.666666667 | 55.55555556 |
從性能最優(yōu)原則,K+M總和最小則對(duì)應(yīng)的理論性能最優(yōu),所以單機(jī)柜容災(zāi)模型下,4+3成為最優(yōu)方案。
對(duì)應(yīng)的ec配置如下
對(duì)應(yīng)的crush rule如下
crush rule的生成與rule的驗(yàn)證模擬
容災(zāi)能力測(cè)試場(chǎng)景
性能測(cè)試
RBD場(chǎng)景,模擬大、小文件,順序/隨機(jī)讀寫(xiě),獲取對(duì)應(yīng)的fio性能基準(zhǔn)數(shù)據(jù),對(duì)比3副本與EC的性能差距。
3副本 vs CLAY_3+2 vs CLAY_4+3
場(chǎng)景名稱(chēng) | iops | 帶寬 | 90th延時(shí) | 99th延時(shí) | 備注 |
---|---|---|---|---|---|
3副本-4M順序讀 | |||||
3+2-4M順序讀 | |||||
4+3-4M順序讀 | |||||
3副本-4M順序?qū)?/td> | |||||
3+2-4M順序?qū)?/td> | |||||
4+3-4M順序?qū)?/td> | |||||
3副本-4k隨機(jī)寫(xiě) | |||||
3+2-4k隨機(jī)寫(xiě) | |||||
4+3-4k隨機(jī)寫(xiě) | |||||
3副本-4k隨機(jī)讀 | |||||
3+2-4k隨機(jī)讀 | |||||
4+3-4k隨機(jī)讀 |
故障恢復(fù)效率
前置條件:集群提前寫(xiě)入容量60%,模擬已有數(shù)據(jù)場(chǎng)景
目標(biāo):對(duì)比ISA和CLAY在K+M相同的情況下,RBD場(chǎng)景下持續(xù)讀寫(xiě)數(shù)據(jù),模擬單塊OSD、單個(gè)OSD節(jié)點(diǎn)故障、多個(gè)OSD節(jié)點(diǎn)故障(可選),數(shù)據(jù)遷移所需的時(shí)長(zhǎng),同時(shí)記錄對(duì)應(yīng)的CPU、內(nèi)存、網(wǎng)卡負(fù)載消耗情況,以及性能波動(dòng)情況。
容災(zāi)能力
前置條件:集群提前寫(xiě)入容量60%,模擬已有數(shù)據(jù)場(chǎng)景
目標(biāo):RBD場(chǎng)景下持續(xù)讀寫(xiě)數(shù)據(jù),模擬最小故障域、單機(jī)柜、雙機(jī)柜故障,記錄對(duì)應(yīng)的性能波動(dòng)情況,考察在極端情況下整個(gè)集群的服務(wù)可用性和數(shù)據(jù)可靠性。
跨機(jī)柜容災(zāi)方案1
單機(jī)柜容災(zāi)方案2
責(zé)任編輯:xj
原文標(biāo)題:Ceph最新的EC-CLAY插件調(diào)研-下
文章出處:【微信公眾號(hào):Ceph對(duì)象存儲(chǔ)方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
機(jī)柜
+關(guān)注
關(guān)注
0文章
45瀏覽量
10335 -
容災(zāi)實(shí)現(xiàn)
+關(guān)注
關(guān)注
0文章
2瀏覽量
6730 -
Ceph
+關(guān)注
關(guān)注
1文章
22瀏覽量
9401
原文標(biāo)題:Ceph最新的EC-CLAY插件調(diào)研-下
文章出處:【微信號(hào):cephbook,微信公眾號(hào):Ceph對(duì)象存儲(chǔ)方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論