KAE MD5摘要算法调优
- 目的
优化RGW在写对象时的MD5计算过程,最大化CPU处理RGW进程的能力,发挥硬件最大性能。
- 方法
MD5计算过程交由KAE硬件加速引擎处理。
加速引擎安装
- 开发者指南为加速引擎所有模块的安装指导流程与使用说明,依据开发者指南选择合适的安装方式进行安装。
- 针对操作系统为CentOS 7.6,OpenSSL为原生1.0.2k的场景,需下载相应版本的libkae引擎软件包,安装方式同开发者指南。
请按照开发者指南安装加速引擎。
修改加速器默认队列数
硬件加速器默认队列数为256,当业务运行中加速器剩余队列为0或较低时(采用“步骤4”观测),为了保证加速器完全发挥性能,可修改队列数为512或1024。
Ceph适配加速器
- 获取源码。
源码下载链接:https://download.ceph.com/tarballs/
下载完成后将源码包放入服务器“/home”目录下。
- 获取适配补丁。针对Ceph 14.2.8的OpenSSL外部引擎使能补丁可从如下地址获取,下载完成后将补丁放入“/home”目录下。
https://mirrors.huaweicloud.com/kunpeng/archive/kunpeng_solution/storage/Patch/
- 进入“/home”目录,解压源码包并进入解压后的目录。
1
cd /home && tar -zxvf ceph-14.2.8.tar.gz && cd ceph-14.2.8/
- 在源码的根目录,应用补丁。
1
patch -p1 < ../ceph-14.2.8-common-rgw-add-openssl-engine-support.patch
- 修改完源码后需要编译Ceph。
编译步骤请参考《Ceph 14.2.8 编译指南(CentOS 7.6&openEuler 20.03&openEuler 22.03)》。
- 完成Ceph的软件安装。
- 修改systemd权限。Ceph中,RGW进程服务由systemd管理,为使其具有硬件加速设备的访问权限, 需在每台RGW部署节点修改配置如下:
- 打开配置文件。
1
vi /usr/lib/systemd/system/ceph-radosgw@.service
并修改“PrivateDevices=yes”为“PrivateDevices=no”
- 使修改生效。
1
systemctl daemon-reload
- 打开配置文件。
- 使用KAE加速RGW摘要计算。在RGW部署节点的ceph.conf配置文件的“global”域增加OpenSSL引擎选项如下:
1
openssl_engine_opts = "engine_id=kae,dynamic_path=/usr/local/lib/engines-1.1/libkae.so,KAE_CMD_ENABLE_ASYNC=0,default_algorithms=DIGESTS,init=1"
其中"dynamic_path"为libkae引擎软件包中libkae.so的默认安装路径;"default_algorithms=DIGESTS"指对包括MD5在内的摘要算法使用此引擎。配置完成后,需要同步到所有RGW部署节点。
- 重启RGW,使配置生效。在所有RGW部署节点执行:
1
systemctl restart ceph-radosgw.target
父主题: 高性能配置调优