KAE zlib压缩调优
- 目的
优化zlib压缩,最大化CPU处理OSD进程的能力,发挥硬件最大性能。
- 方法
zlib压缩过程交由KAE硬件加速引擎处理。
环境准备
下载加速引擎安装包与开发者指南。
加速引擎安装
- 按照开发指南安装加速引擎。
- 安装zlib库。
- 替换zlib软算动态库。
1 2 3 4
cd /usr/local/kaezip/lib cp libz.so.1.2.11 /lib64/ mv /lib64/libz.so.1 /lib64/libz.so.1-bak ln -s /lib64/libz.so.1.2.11 /lib64/libz.so.1
命令cd /usr/local/zlib中“/usr/local/zlib”指zlib安装路径,请根据实际情况进行替换。
若替换动态库之前Ceph集群已经在运行,需要在完成动态库替换后重启OSD进程使其生效,在所有存储节点上执行:
1
|
systemctl restart ceph-osd.target |
修改加速器默认队列数
硬件加速器默认队列数为256,为了保证加速器完全发挥性能,可修改队列数为512或1024。
- 卸载hisi_zip。
1
rmmod hisi_zip
- 修改默认加速器队列参数“pf_q_num=512”。
1
vim /etc/modprobe.d/hisi_zip.conf
1
options hisi_zip uacce_mode=2 pf_q_num=512
- 加载hisi_zip。
1
modprobe hisi_zip
- 检查硬件加速器队列。
1
cat /sys/class/uacce/hisi_zip-*/attrs/available_instances
显示如下则代表修改成功:
- 检查动态库链接,包含libwd.so.1字样代表成功。
1
ldd /lib64/libz.so.1
Ceph适配加速器
- 获取源码。
源码下载链接:https://download.ceph.com/tarballs/
下载完成后将源码包放入服务器“/home”目录下。
- 获取补丁,放入“/home”目录下。
https://gitee.com/kunpengcompute/ceph/releases/download/v14.2.11/ceph-14.2.11-glz.patch
- 进入“/home”目录,解压源码包并进入解压后的目录。
1
cd /home && tar -zxvf ceph-14.2.11.tar.gz && cd ceph-14.2.11/
- 在源码目录下,应用补丁。
1 2
cd /home/ceph-14.2.11 patch -p1 < ceph-14.2.11-glz.patch
- 修改完源码后需要编译Ceph。
编译步骤请参考《Ceph 14.2.8 编译指南(CentOS 7.6&openEuler 20.03&openEuler 22.03)》。
- 完成Ceph的软件安装。
- 修改ceph.conf,配置zlib压缩模式。
1
vim /etc/ceph/ceph.conf
compressor_zlib_winsize=15
- 重启Ceph集群,确认配置生效。
1
ceph daemon osd.0 config show|grep compressor_zlib_winsize
父主题: 均衡型配置调优