中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
鲲鹏小智

简介

存储算法加速库(简称KSAL)是华为自研的存储算法加速库,当前包括EC算法、CRC16 T10DIF算法、CRC32C算法、memcpy优化算法和DAS智能预取算法。本文用于指导用户安装并使能KSAL算法加速库。

简要介绍

5G与AI等新兴技术的发展,加速了数据的产生和流动。根据华为全球产业展望GIV(Global Industry Vision)报告的数据,到2025年全球数据量可达到180ZB。多样性业务正带来数据前所未有的增长,数据也变得越来越重要。随着数据量增多,应用对于存储系统的性能要求不断提高。面对新兴应用越来越高的性能诉求,如何不断提高存储系统性能以满足业务需求,成为一大挑战。

KSAL(Kunpeng Storage Acceleration Library)是华为自研的存储算法加速库,当前包括 EC (Erasure Code)算法、CRC16 T10DIF(Cyclic Redundancy Check 16 T10 Data Integrity Field)算法、CRC32C(Cyclic Redundancy Check 32 Castagnoli)算法、memcpy优化算法和DAS智能预取算法。本文主要介绍了KSAL软件的获取、安装、部署、验证、使用以及在Ceph上使能KSAL EC算法的方法。

  • EC算法基于华为自研向量化EC编解码方案,通过同构映射将EC编码过程中所需的高阶有限域GF(2^w)乘法操作替换为二元矩阵乘法,进而将查表实现的复杂有限域乘法操作替代为XOR(Exclusive OR)操作,同时采用编码编排算法在校验块计算过程中对中间结果进行复用,减少XOR操作数,配合鲲鹏向量化指令实现编码加速。相比开源EC算法,KSAL EC算法性能更好。与主流开源EC算法相比,编码性能提升1倍以上。
  • CRC16 T10DIF算法和CRC32C算法,通过大数求余算法和配合鲲鹏向量化指令实现编码加速,相比开源算法,CRC16 T10DIF算法4K性能提升130%,CRC32C算法4K性能提升30%。
  • memcpy算法,通过CPU预取和鲲鹏向量化指令加速,相比于glibc内置的memcpy算法,4K性能提升30%。
  • DAS智能预取算法分析IO信息,提前预取数据至读缓存中,4K顺序流读性能提升100%。
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词