简介
存储算法加速库(简称KSAL)是华为自研的存储算法加速库,当前包括EC算法、CRC16 T10DIF算法、CRC32C算法、memcpy优化算法和DAS智能预取算法。本文用于指导用户安装并使能KSAL算法加速库。
简要介绍
5G与AI等新兴技术的发展,加速了数据的产生和流动。根据华为全球产业展望GIV(Global Industry Vision)报告的数据,到2025年全球数据量可达到180ZB。多样性业务正带来数据前所未有的增长,数据也变得越来越重要。随着数据量增多,应用对于存储系统的性能要求不断提高。面对新兴应用越来越高的性能诉求,如何不断提高存储系统性能以满足业务需求,成为一大挑战。
KSAL(Kunpeng Storage Acceleration Library)是华为自研的存储算法加速库,当前包括
- EC算法基于华为自研向量化EC编解码方案,通过同构映射将EC编码过程中所需的高阶有限域GF(2^w)乘法操作替换为二元矩阵乘法,进而将查表实现的复杂有限域乘法操作替代为XOR(Exclusive OR)操作,同时采用编码编排算法在校验块计算过程中对中间结果进行复用,减少XOR操作数,配合鲲鹏向量化指令实现编码加速。相比开源EC算法,KSAL EC算法性能更好。与主流开源EC算法相比,编码性能提升1倍以上。
- CRC16 T10DIF算法和CRC32C算法,通过大数求余算法和配合鲲鹏向量化指令实现编码加速,相比开源算法,CRC16 T10DIF算法4K性能提升130%,CRC32C算法4K性能提升30%。
- memcpy算法,通过CPU预取和鲲鹏向量化指令加速,相比于glibc内置的memcpy算法,4K性能提升30%。
- DAS智能预取算法分析IO信息,提前预取数据至读缓存中,4K顺序流读性能提升100%。