冗余计谋：双副本与纠删码该若何选择？

2天86%！BNT领衔DeFi反弹风暴，BTC破2万美元成下一个助推因素

当市场进入一个明显的牛市周期时，随着借贷和交易量的增加，对DeFi服务的需求将进一步增加。

Filecoin主网的上线后，存储的数据呈爆炸式增进，现在全网有用算力已经到达了1.40 EiB，海量数据的平安存储给矿工带来了伟大的挑战。

关注Filecoin的小伙伴们近两天可能看到过这两个账户的图片，这两个账户都是之前排名靠前的节点，可是现在账户显示可用余额为负几万FIL-十几万FIL，质押币被罚没，出块奖励被罚没，损失折合人民币数千万元，泛起这样的状态异常惋惜。

扇区生命周期是180-540天，在这期间内我们要不断地举行时空证实，来验证数据存储的平安无误，若是提交的数据有误或者没有在时间内提交就会报错，若是14天内还没有提交上来准确的数据，就会触发异常严重的罚没机制！

以是存储方案对于Filecoin挖矿异常重要！

通俗的硬盘存储是很危险的。硬盘在存储实际使用历程中年故障率一样平常在2%上下，这意味着100块硬盘中，平均每年会故障2块，硬盘故障率是异常高的，我们可以看下图的浴缸曲线，硬盘在刚上线时故障风险更大，更远高于平均故障率。

这说明我们存储打包的数据是很容易因硬盘损坏而丢失，仅仅靠硬盘存储很难保证可以在扇区生命周期内存储数据的平安。

图：浴缸曲线

以是冗余珍爱计谋就变得异常需要。

多副本和纠删码是现在分布式存储系统中常用的两种数据冗余珍爱计谋，也就是珍爱我们数据平安的两项手艺。

注：分布式存储系统中的CAP原则，Consistency（一致性）、 Availability（可用性）、PartiTIon tolerance（分区容错性），对于可用性来说常见的两种手艺是多副本和纠删码。

多副本与纠删码划分是什么

多副本就是把数据复制成多份并划分存储到差别地方以实现冗余备份。以双副本为例，双副本顾名思义就是数据存储为两个副本，当某个副本丢失时，可以通过另一个副本复制恢复数据。

纠删码（erasure coding，EC）主要是通过纠删码算法将原始的数据举行编码获得冗余，它将数据支解成片断，把冗余数据块扩展、编码，并将其存储在差别的位置，并将数据和冗余一并存储起来，以到达容错的目的。

纠删码最早是在通讯行业解决部门数据在传输中消耗的问题，它的基本原理是把传输的信号分段，加入一定的校验再让各段间发生一定的联系，纵然在传输历程中丢失掉部门信号，吸收端仍然能通过算法把完整的信息盘算出来。纠删码手艺自己更多是用于传输，而并不是存储。

多副本与纠删码手艺若何选择

多副本与纠删码手艺在差别的应用场景下有各自的优势。

（多副本以下以双副本为例对照，纠删码以数据/效验4/1为例对照）

1.存储利用率

多副本是复制多份划分存储到差别地方以实现冗余备份，好比双副本磁盘利用率只有50%，冗余度很高，这带来了伟大的分外存储空间消耗，无形中提高了很大的成本，但它更平安、读写更快。

纠删码手艺不需要完整写入真实数据的副本，它主要是通过纠删码算法将原始的数据举行编码获得冗余，并将数据和冗余一并存储起来，以到达容错的目的。其基本思想是将n块原始的数据元素通过一定的盘算，获得m块冗余元素（校验块）。对于这n+m块的元素，当其中随便的少于m块元素失足（包罗原始数据和冗余数据）时，均可以通过对应的重构算法恢复出原来的n块数据。天生校验的历程被称为编码（encoding），恢复丢失数据块的历程被称为解码（decoding）。磁盘利用率为n/(n+m)。与双副本方式相比具有磁盘利用率高等优点。

附：容量空间对比

2.容错性

双副本很好明白就是存一份，备份一份，容错性对照好。双副本在部门数据丢失后可以从另一个副本复制出来损失的数据，恢复正常使用。

纠删码手艺本质就是盘算，若是泛起数据丢失，纠删码手艺做的是把丢失的数据盘算出来，而盘算是需要一些已知的量再举行运算的，当数据丢失多的话，是无法盘算的。容错性比起副本有一定差距，

放到实际情况来讲，当纠删码设置 4/1 情况下，节点或者数据块故障，数据恢复需要读取3个数据块和1个校验，也就是说这5项（4＋1=5）损坏了随便2项的数据块，数据就无法盘算找回，就造成信息丢失、无法找回的严重后果。

3.可靠性对比

双副本有两份数据，可以允许随便一个数据块损坏。

纠删码设置一个数据块配备一个校验位时才气提供和双副本近似的可靠性。

4.数据恢复对性能影响及恢复效率

双副本下，一个节点或者数据块故障，数据恢复直接从另一个副本读取、写入，一次举行恢复副本，影响一个节点的读取性能。恢复效率较高。

纠删码设置 4/1 情况下，一个节点或者数据块故障，数据恢复需要读取三个数据块和一个校验，通过运算后写入一次举行数据恢复，影响四个节点的读取性能。恢复效率较低。

5.写责罚

双副本下，某个节点的一次数据写入，实际需要两个节点介入（写入两次），写责罚为 2。

纠删码设置 4/1 情况下，一次数据写入，实际需要至少两个节点介入，其中读取两次（读取数据，读取校验），写入两次（写入数据，写入校验），写责罚为4。

6.CPU开销

双副本是基于数据完整复制，几乎没有盘算的开销，对 CPU 开销较低。

纠删码由于读写都需要盘算校验值，有较高的盘算开销，需要分外的 CPU 资源开销。

7.这两项手艺若何选择

副本手艺可以更好的保证数据的平安性，提升读写效率。一样平常适用于要害营业，对性能要求对照高，网络对数据失足容忍度极低的营业，如数据库等。

纠删码则可以提高存储系统利用率，降低成本。一样平常适用于其他非要害性营业，如视频监控等，部门数据块的损坏不会影响信息的通报。

结语

Filecoin挖矿中最为焦点的就是存储，在存储上省钱，若是有一天出了问题，赔了夫人又折兵。在当前副本计谋在平安性上无疑是更优的，只管成本很高，但对我们挖矿中的数据的平安是一个重要保障，备份冗余并不是虚耗，而是异常需要的。

当前Filecoin挖矿热度依然很高，市场鱼龙混杂，充斥着林林总总的Filecoin挖矿产物。好比市场上相同价钱可能有80%利用率的产物，也有双副本50%利用率的产物，要若何选择呢？投资Filecoin挖矿产物绝对不能只看售卖价钱，作为投资人一定要有一个投资尺度，许多手艺问题可能很难去明白和剖析，但我们可以化繁为简对照每万元收益，新云站：http://www.XinYunZhan.com/ 究竟拿到手里的收益才是最着实的。