CLAY 簡介

Clay Codes ( Clay Codes: Moulding MDS Codes to Yield an MSR Code ) 是FAST18 上提出的一種編碼方法，文章地址，Clay 碼能夠將一般的MDS 碼（最優容錯）轉化為具有最優修復的編碼方法，具有以下性質：

Minimum Storage （最小存儲開銷，同經典RS碼和最小存儲再生碼，MSR）
Maximum Failure Tolerance（最大容錯，即 (n,k)-Clay 碼可以容任意n-k 失效）
Optimal Repair Bandwidth （最優修復開銷，能夠達到理論最優值）
All-Node Optimal Repair （最小開銷修復所有節點的數據，包括原始數據和校驗數據）
Disk Read Optimal （最優磁盤讀）
Low Sub-packetization （低分包數，即碼字長度短）

參考資料1//blog.foool.net/2018/05/clay-codes-%E4%BB%8E%E7%94%9F%E6%88%90%E7%9F%A9%E9%98%B5%E7%9A%84%E8%A7%92%E5%BA%A6%E6%9D%A5%E7%9C%8B/

參考資料2//blog.acolyer.org/2018/03/01/clay-codes-moulding-mds-codes-to-yield-an-msr-code/

從ceph官方的介紹,可以確認以下幾點：

• 向下兼容:CLAY插件與jerasure、ISA、SHEC插件兼容,這里可以理解為Clay是在這幾個插件的基礎上做的一層更高層面的數據組成抽象，能夠更加細致的控制數據的分布粒度，從而實現對原有的幾個插件在數據恢復場景下的性能優化。這也就是是上面提到的“Clay 碼能夠將一般的MDS 碼（最優容錯）轉化為具有最優修復的編碼方法”。

• 修復性能優化"在底層已有的jerasure、ISA、SHEC幾個的插件基礎上，做了編碼優化，能夠在異常發生，需要進行數據恢復的情況下顯著的降低磁盤&網絡帶寬的消耗。這個也是CLAY EC插件的最大價值所在。

• 從Ceph 14版本開始提供，理論上這個特性可以向下backport到低版本。

從clay插件的初始化配置部分的函數實現，也能看到一些與其他插件在兼容適配上的限制

#src/erasure-code/clay/ErasureCodeClay.cc

intErasureCodeClay::parse(ErasureCodeProfile&profile,
ostream*ss)
{
interr=0;
err=ErasureCode::parse(profile,ss);
err|=to_int("k",profile,&k,DEFAULT_K,ss);
err|=to_int("m",profile,&m,DEFAULT_M,ss);

err|=sanity_check_k_m(k,m,ss);

err|=to_int("d",profile,&d,std::to_string(k+m-1),ss);

//checkforscalar_mdsinprofileinput
//默認采用jerasure插件進行編碼
if(profile.find("scalar_mds")==profile.end()||
profile.find("scalar_mds")->second.empty()){
mds.profile["plugin"]="jerasure";
pft.profile["plugin"]="jerasure";
}else{
std::stringp=profile.find("scalar_mds")->second;
//底層只支持jerasure、isa、shec三種插件
if((p=="jerasure")||(p=="isa")||(p=="shec")){
mds.profile["plugin"]=p;
pft.profile["plugin"]=p;
}else{
*ss<"scalar_mds"<"plugin"]<<
???????????????"isnotcurrentlysupported,useoneof'jerasure',"<<
???????????????"'isa','shec'"<std::endl;
err=-EINVAL;
returnerr;
}
}



if(profile.find("technique")==profile.end()||
profile.find("technique")->second.empty()){
if((mds.profile["plugin"]=="jerasure")||(mds.profile["plugin"]=="isa")){
mds.profile["technique"]="reed_sol_van";
pft.profile["technique"]="reed_sol_van";
}else{
mds.profile["technique"]="single";
pft.profile["technique"]="single";
}
}else{
std::stringp=profile.find("technique")->second;
//Supportedtechniquesare‘reed_sol_van’,‘reed_sol_r6_op’,‘cauchy_orig’,‘cauchy_good’,‘liber8tion’forjerasure,
if(mds.profile["plugin"]=="jerasure"){
if((p=="reed_sol_van")||(p=="reed_sol_r6_op")||(p=="cauchy_orig")
||(p=="cauchy_good")||(p=="liber8tion")){
mds.profile["technique"]=p;
pft.profile["technique"]=p;
}else{
*ss<"technique"<"isnotcurrentlysupported,useoneof"
<"reed_sol_van','reed_sol_r6_op','cauchy_orig',"
<"'cauchy_good','liber8tion'"<std::endl;
err=-EINVAL;
returnerr;
}
//‘reed_sol_van’,‘cauchy’forisa
}elseif(mds.profile["plugin"]=="isa"){
if((p=="reed_sol_van")||(p=="cauchy")){
mds.profile["technique"]=p;
pft.profile["technique"]=p;
}else{
*ss<"technique"<"isnotcurrentlysupported,useoneof"
<"'reed_sol_van','cauchy'"<std::endl;
err=-EINVAL;
returnerr;
}
}else{
//‘single’,‘multiple’forshec.
if((p=="single")||(p=="multiple")){
mds.profile["technique"]=p;
pft.profile["technique"]=p;
}else{
*ss<"technique"<"isnotcurrentlysupported,useoneof"<<
???????????????"'single','multiple'"<std::endl;
err=-EINVAL;
returnerr;
}
}
}
if((dk+m-1)){
*ss<"valueofd"<"mustbewithin["<","<-1<"]"<std::endl;
err=-EINVAL;
returnerr;
}

q=d-k+1;
if((k+m)%q){
nu=q-(k+m)%q;
}else{
nu=0;
}
//注意分塊規則限定k+m+nu總和不能超過254
if(k+m+nu>254){
err=-EINVAL;
returnerr;
}

if(mds.profile["plugin"]=="shec"){
mds.profile["c"]='2';
pft.profile["c"]='2';
}
mds.profile["k"]=std::to_string(k+nu);
mds.profile["m"]=std::to_string(m);
mds.profile["w"]='8';

pft.profile["k"]='2';
pft.profile["m"]='2';
pft.profile["w"]='8';

t=(k+m+nu)/q;
sub_chunk_no=pow_int(q,t);

dout(10)<"(q,t,nu)=("<","<","<")"<returnerr;
}

故障恢復時的帶寬&磁盤消耗對比

以EC場景下，假設 d = 發生故障時，需要參與數據恢復的OSD數量
在jerasure配置 k=8 m=4的情況下，發生一塊磁盤故障，需要讀取d=8磁盤才能完成數據的恢復。如果需要恢復的數據的容量為1G，那么需要總共讀取 8 x 1 GB = 8GB的數據容量（這也意味著需要同時通過網絡傳輸8GB的數據)。
在clay的插件配置中，d的設置需要滿足 k+1 <= d <= k+m-1 的限制，為了滿足使d最大化節省磁盤和網絡帶寬消耗，clay選取d=k+m-1作為默認配置。在k=8，m=4的場景下，根據公式推導可以得到d=8+4-1=11。其中磁盤需要恢復的數據量計算公式如下。其中K為故障時刻需要恢復的數據總量。

當一個osd故障時，d=11，以需要恢復的數據總量為1GB為例，此時需要恢復下載的磁盤數據總量為

jerasure/isa=8*1GB=8GB
caly=(11*1GB)/(11-8+1)=11/4=2.75GB

對比看到caly能夠顯著的減少磁盤讀取數據和網絡傳輸帶寬的消耗，caly只用到了isa一類插件的的2.75/8≈34%的資源消耗。

同樣的場景下，以k=4，m=2為例，此時d=4+2-1=5，caly只用到了isa一類插件的的2.5/4≈62.5%的資源消耗。

jerasure/isa=4*1GB=4GB
caly=(5*1GB)/(5-4+1)=5/2=2.5GB

依次類推，匯總表格如下: