分布式存储
什么是Erasure Code?
纠删码(Erasure Code,EC)是一种编码容错技术,最早是在通信行业解决部分数据在传输中的损耗问题。其基本原理就是把传输的信号分段,加入一定的校验再让各段间发生相互关联,即使在传输过程中丢失部分信号,接收端仍然能通过算法将完整的信息计算出来。在数据存储中,纠删码将数据分割成片段,把冗余数据块扩展和编码,并将其存储在不同的位置,例如磁盘、存储节点或者其他地理位置。
从纠删码基本的形态看,它是k个数据块+m个校验块的结构,其中k和m值可以按照一定的规则设定,可以用公式:n=k+m来表示。变量k代表原始数据或符号的值。变量m代表故障后添加的提供保护的额外或冗余符号的值。变量n代表纠删码过程后创建的符号的总值。当小于或等于m个存储块(数据块或校验块)损坏的情况下,整体数据块可以通过计算剩余存储块上的数据得到,整体数据不会丢失。
关于Erasure Code的更多信息请参见:https://www.hikunpeng.com/document/detail/zh/kunpengsdss/twp/kunpengsdss_19_0021.html
glz和压缩算法是什么关系?
鲲鹏BoostKit分布式存储压缩算法是华为自研无损压缩算法。相对于开源压缩算法,压缩算法压缩率更高,性能更好。与主流开源压缩算法相比,压缩率可提升25%,带宽性能提升10%。
压缩算法软件包命名中带有glz,例如BoostKit-glz_1.0.2.zip,因此也被称为glz。压缩算法曾用名为KPS Zip。
Global Cache如何调优?
鲲鹏BoostKit分布式存储全局缓存(Global Cache)特性部署后,可以通过优化内存插法、调整BIOS配置、OS参数配置、网卡参数配置、Ceph参数配置、均衡型场景和全闪存场景Global Cache参数配置等进行性能调优。具体请参见《全局缓存 调优指南》。
存储加速算法库对openEuler版本有何要求?
KSAL存储加速算法库支持openEuler 20.03和openEuler 22.03。
针对Ceph 14.2.8,智能写Cache支持openEuler 20.03和openEuler22.03。