特性清单
-
x86服务器与鲲鹏服务器混合部署Ceph:
-
块/对象/文件存储服务业务下,x86服务器与鲲鹏服务器共存储池混合部署。
块/对象/文件存储服务业务下,在x86服务器集群中,使用鲲鹏服务器进行扩容。
约束:使用相同的Ceph软件版本和相同的OS软件版本。
是否支持在虚拟机使用:否 -
鲲鹏BoostKit分布式存储压缩算法是华为自研无损压缩算法。相对于开源压缩算法,压缩算法压缩率更高,性能更好。约束:对图片、视频等不可压缩的数据源无效。
是否支持在虚拟机使用:否 -
OBS 2.0支持
-
-
鲲鹏BoostKit分布式存储压缩算法相对于开源LZ4压缩方案压缩率高25%,每TB有效容量成本低25%。
均衡型配置下,鲲鹏BoostKit分布式存储压缩算法相对于开源LZ4压缩方案带宽性能高10%。
-
-
OBS 2.0支持
-
-
鲲鹏BoostKit分布式存储压缩算法相对于开源LZ4压缩方案压缩率高25%,每TB有效容量成本低25%。
均衡型配置下,鲲鹏BoostKit分布式存储压缩算法相对于开源LZ4压缩方案带宽性能高10%。
-
-
鲲鹏BoostKit分布式存储EC Turbo特性是针对开源Ceph的EC流程进行优化,降低了数据读写流程中,IO放大比例,整体性能更高。EC Turbo特性性能相对于Ceph开源EC,提升30%以上。
约束:1、使用块存储或对象存储服务。
2、混合读写(7:3)。
3、使用Ceph 14.2.8。
4、不支持Bcache特性。
是否支持在虚拟机使用:否 -
智能写Cache(Smart Write Cache)包含Bcache内核补丁以及相关配套的工具两部分。智能写Cache通过IO直通、Bcache QoS策略控制、Writeback策略控制以及GC策略控制来提升Bcache性能,最终达到提升Ceph集群性能的目的。
约束:1、CentOS 7.6,4.14内核版本。
2、openEuler 20.03 LTS SP1,4.19内核版本。
3、在CentOS上不能与IO智能预取同时使用,openEuler无此限制。
4、存储引擎:BlueStore。
是否支持在虚拟机使用:否 -
鲲鹏BoostKit分布式存储算法加速库是华为自研的存储算法加速库,采用鲲鹏优化的算法代替主流开源算法,提升存储性能。约束:当前EC算法仅支持K+1、K+2、K+3、K+4(2≤K≤25)和28+3配比,其他配比暂不支持。
是否支持在虚拟机使用:否 -
OBS 2.0支持
-
- 采用向量化EC编解码方案,以低阶二元XOR操作替代传统标量编码的高阶有限域乘法,配合编码调度,复用中间计算结果减少操作数。
- 采用向量化EC编解码方案,以低阶二元XOR操作替代传统标量编码的高阶有限域乘法,配合编码调度,复用中间计算结果减少操作数。
-
-
OBS 2.0支持
-
-
采用大数求余算法原理优化以及鲲鹏亲和优化的CRC16库替代系统标准CRC16校验算法,提升系统性能。
对比主流开源CRC16算法,4K校验性能提升100%。
-
-
OBS 2.0支持
-
- 采用鲲鹏优化的CRC32库替代系统标准CRC32校验算法,提升系统性能。 单个IO消耗CPU的算力减少50%以上,整体收益预计3%。在4KB、8KB、64KB、256KB和1MB块大小情况下,相比ceph_crc32c_sctp性能提升100%,相比ceph_crc32_sctp提升20%。
-
-
鲲鹏BoostKit元数据加速特性是华为自主研发,在RocksDB基础上优化后的存储引擎性能加速特性。RocksDB:
RocksDB起源于Facebook,是一款高性能、持久化的嵌入式kv(key value)存储引擎,广泛应用于各种大规模数据存储和处理场景,如互联网服务、分布式系统和数据分析等。元数据加速特性在RocksDB项目的基础上,结合华为自研算法进行了性能加速优化,在使能鲲鹏加速特性时可以获取更佳的性能。主要优化内容包括:深度融合鲲鹏架构优化读写热点、结合业务负载调整后台任务(flush,compaction)、结合数据热点优化缓存逻辑等。
-
鲲鹏BoostKit Ucache智能读缓通过IO智能预取精准识别热点请求,并针对顺序、间隔等IO流进行IO预取,将IO提前载入读缓存。通过LRU算法淘汰冷数据,Ucache读缓存能够提高缓存的IO命中率,提升读性能。约束:
- cache初始化传入容量大小,当前最大256TiB,不支持动态修改。
- cache_line_size支持8k/16k/32k/64k,推荐使用8KiB。
- ocf会创建io_worker_num个队列,一个io_worker对应一个ocf队列对submission_queue/completion_queue。
- region_id全局唯一,一个slot对应一个core,最多支持511个core,一个core逻辑空间最大4096TiB,最多承载128K个32GiB region。Slot下所有region放在slot对应core。设备空间下,region_id重映射一个remap_id,region在core上对应的区间为remap_id*32GiB~(remap_id+1)*32GiB。
- 同一个slot调用的ocf_get/ocf_put/ocf_invalid/ocf_lookup要求在一个线程中。
-
鲲鹏BoostKit分布式存储数据压紧算法部署在开源分布式存储集群Ceph上,通过消除补零对齐操作带来的数据浪费问题,结合压紧封装、空间计数分配、粒度分流、聚合提交、批量回调等手段提升数据缩减率并提升系统整体IOPS,实现成本性能双收益。
的。
约束:1、使用Ceph 14.2.8。
2、使用块存储或对象存储服务。
是否支持在虚拟机使用:否 -
鲲鹏BoostKit分布式存储全局缓存,是一个集群自管理的分布式缓存系统,部署在开源分布式存储集群Ceph之上,用于IO操作加速。在硬件成本不增加的前提下,实现分布式存储系统IOPS性能提高,访问时延降低的效果。约束:
1、使用Ceph 14.2.8。
2、使用块存储服务。
是否支持在虚拟机使用:否 -
鲲鹏BoostKit存储维护工具库提供HDD/SSD故障预测&慢盘检测算法库,对存储系统介质异常进行提前预测,提高存储系统稳定性。HDD/SSD故障预测:
HDD/SSD故障预测主要基于机器学习算法,通过收集SMART数据训练模型,预测与识别存储集群潜在故障盘。在盘故障问题影响到业务之前进行预测,便于客户及时进行处理,避免盘故障影响业务功能而造成损失。
HDD/SSD慢检盘检测:HDD/SSD慢盘检测同样基于机器学习算法,通过采集系统磁盘的w_await完成慢盘检测,提前检出慢盘,能够显著降低集群的长尾时延和集群性能的稳定性。
-
BoostIO利用计算侧的内存和磁盘资源构建分布式多级缓存,写缓存提升业务写性能,提高数据可靠性;读缓存提高读缓存命中率,从而提升业务读性能。
1.BoostIO仅支持在华为鲲鹏计算平台运行,支持配置2~256个计算节点的集群规模。
2.BoostIO后端存储系统规格为支持Ceph和HDFS这两种后端存储系统。3.BoostO的缓存介质规格为内存加Nvme SSD磁盘,即单个计算节点必须配置内存和Nvme SSD磁盘给BoostIO作为数据缓存介质空间。 -
通过在Ceph网络框架AsyncMessage中新增插件支持UCX网络框架,实现Ceph全闪存场景支持网络全RDMA化。
-
约束与限制
RDMA网络加速特性为UCX+Ceph 17.2.7形式,暂不支持UCX+其他分布式存储形式。
可获得性
- 版本:支持Ceph 17.2.7,UCX 1.14.1。
- License:无License。
支持CentOS 7.6/RHEL 7.5
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持openEuler 20.03
支持openEuler 20.03
支持openEuler 20.03
支持openEuler 20.03
支持openEuler 20.03
支持openEuler 20.03
支持openEuler 20.03