介绍

简要介绍

5G与AI等新兴技术的发展，加速了数据的产生和流动。根据华为全球产业展望GIV（Global Industry Vision）报告的数据，到2025年全球数据量可达到180ZB。多样性业务正带来数据前所未有的增长，数据也变得越来越重要。随着数据量增多，应用对于存储系统的性能要求不断提高。面对新兴应用越来越高的性能诉求，如何不断提高存储系统性能以满足业务需求，成为一大挑战。

KSAL（Kunpeng Storage Acceleration Library）是华为自研的存储算法加速库，当前包括 EC （Erasure Code）算法、CRC16 T10DIF（Cyclic Redundancy Check 16 T10 Data Integrity Field）算法和CRC32C（Cyclic Redundancy Check 32 Castagnoli）算法。

EC算法基于华为自研向量化EC编解码方案，通过同构映射将EC编码过程中所需的高阶有限域GF(2^w)乘法操作替换为二元矩阵乘法，进而将查表实现的复杂有限域乘法操作替代为XOR（Exclusive OR）操作，同时采用编码编排算法在校验块计算过程中对中间结果进行复用，减少XOR操作数，配合鲲鹏向量化指令实现编码加速。相比开源EC算法，KSAL EC算法性能更好。与主流开源EC算法相比，编码性能提升1倍以上。

CRC16 T10DIF算法和CRC32C算法，通过大数求余算法和配合鲲鹏向量化指令实现编码加速，相比开源算法，CRC16 T10DIF算法4K性能提升30%，CRC32C算法4K性能提升130%。

本文主要介绍了KSAL软件的获取、安装、部署、验证、使用以及在Ceph上的使能KSAL EC算法的方法。