KAE zlib压缩调优

环境准备

安装加速引擎前需申请安装License。

申请指导

安装指导

下载加速引擎安装包与开发者指南。

加速引擎安装

开发指南为加速引擎所有模块的安装指导流程与使用说明，依据开发指南选择合适的安装方式进行安装。

详情请参考《通过源码方式安装加速引擎软件》。

  1. 按照开发指南安装加速引擎。
  2. 安装zlib库。

    1. 下载KAEzip，下载后解压目录为KAEzip-master。
    2. 从zlib官网下载zlib-1.2.11.tar.gz，并拷贝到“KAEzip-master/open_source”。
    3. 下载KAE-kae1.zip到“/home”目录下，执行解压操作并进入kae_driver目录。
      1
2
      unzip KAE-kae1.zip
cd KAE-kae1/kae_driver
    4. 制作libwd压缩包，并拷贝到“KAEzip-master/open_source”。
      1
2
      tar -czvf libwd-1.0.0.tar.gz warpdrive
cp libwd-1.0.0.tar.gz KAEzip-master/open_source
    5. 编译安装。
      1
2
      cd KAEzip-master
sh setup.sh install

      zlib加速库安装在“/usr/local/kaezip”。

  3. 替换zlib软算动态库。

    1
2
3
4
    cd /usr/local/kaezip/lib
cp libz.so.1.2.11 /lib64/
mv /lib64/libz.so.1  /lib64/libz.so.1-bak
ln -s /lib64/libz.so.1.2.11 /lib64/libz.so.1

    命令cd /usr/local/kaezip/lib中“/usr/local/kaezip/lib”指zlib安装路径，请根据实际情况进行替换。

若替换动态库之前Ceph集群已经在运行，需要在完成动态库替换后重启OSD进程使其生效，在所有存储节点上执行：

1
systemctl restart ceph-osd.target

修改加速器默认队列数

硬件加速器队列是硬件驱动虚拟出来的“资源”， 如hisi_zip驱动安装后， 默认虚拟出来的这种资源数默认是256，每一个要发给加速硬件的压缩任务必须提前申请到这么一个资源。如果客户并发数量超过256，则需要增大加速器队列数量以适配业务场景。如调整为512或1024。

  1. 卸载hisi_zip。

    1
    rmmod hisi_zip

  2. 修改默认加速器队列参数“pf_q_num=512”。

    1
    vim /etc/modprobe.d/hisi_zip.conf

    1
    options hisi_zip uacce_mode=2 pf_q_num=512

  3. 加载hisi_zip。

    1
    modprobe hisi_zip

  4. 检查硬件加速器队列。

    1
    cat /sys/class/uacce/hisi_zip-*/attrs/available_instances

    显示如下则代表修改成功：

  5. 检查动态库链接，包含libwd.so.1字样代表成功。

    1
    ldd /lib64/libz.so.1

Ceph适配加速器

当前，Ceph主线版本已支持通过配置文件对zlib压缩模式进行配置，已发布的Ceph release版本（统计至v15.2.3），采用的zlib压缩是不带数据头尾的方式，而当前硬件加速库版本仅支持带数据头尾的方式。因此，需要修改Ceph源码以适配Kunpeng硬件加速库。修改方式参考已合入主线的最新补丁：

Github

下文以Ceph 14.2.8为例，介绍Ceph适配zlib压缩引擎的方法。

  1. 获取源码。

    下载完成后将源码包放入服务器“/home”目录下。

  2. 获取补丁，放入“/home”目录下。

  3. 进入“/home”目录，解压源码包并进入解压后的目录。

    1
    cd /home && tar -zxvf ceph-14.2.8.tar.gz && cd ceph-14.2.8/

  4. 在源码目录下，应用补丁。

    1
    patch -p1 < ../ceph-14.2.8-zlib-compress.patch

  5. 修改完源码后需要编译Ceph。

    编译步骤请参考《Ceph 14.2.8 编译指南（CentOS 7.6&openEuler 20.03&openEuler 22.03）》。

  6. 完成Ceph的软件安装。
  7. 修改ceph.conf，配置zlib压缩模式。

    1
    vi /etc/ceph/ceph.conf

    compressor_zlib_winsize=15

  8. 修改systemd权限。Ceph中，RGW进程服务由systemd管理，为使其具有硬件加速设备的访问权限， 需在每台RGW部署节点修改配置如下：

    1. 打开配置文件。
      1
      vi /usr/lib/systemd/system/ceph-radosgw@.service

      并修改“PrivateDevices=yes”为“PrivateDevices=no”

    2. 使修改生效。
      1
      systemctl daemon-reload

  9. 重启Ceph集群，确认配置生效。

    1
    ceph daemon osd.0 config show|grep compressor_zlib_winsize

父主题： 均衡型配置调优