特性清单
-
优化KAE zlib压缩,最大化CPU处理OSD进程的能力,发挥硬件最大性能。数据在OSD引擎中进行压缩/解压。压缩解压的过程使用鲲鹏920处理器zlib硬件压缩引擎进行加速。
约束:1、可通过源码编译方式在其他OS上使用。 2、数据压缩硬件引擎不支持zlib的deflate模式,需要修改为带zlib头的数据压缩模式。
是否支持在虚拟机使用:否 -
OBS 2.0支持
-
OBS 2.0支持
-
x86服务器与TaiShan服务器混合部署Ceph:
-
块/对象/文件存储服务业务下,x86服务器与TaiShan服务器共存储池混合部署。
块/对象/文件存储服务业务下,在x86服务器集群中,使用TaiShan服务器进行扩容。
约束:使用相同的Ceph软件版本和相同的OS软件版本。
是否支持在虚拟机使用:否 -
对象存储服务业务下,使用鲲鹏920处理器MD5加速引擎,计算MD5校验,提升对象存储服务写带宽性能。
约束: 1、可通过源码编译方式在其他OS上使用。 2、当前支持通过OpenSSL 1.0.2k版本接口进行使用。
是否支持在虚拟机使用:否 -
- 完成TaiShan 200服务器(型号2280)基于Ubuntu商业版本Ceph认证。
- 完成TaiShan 200服务器(型号5280)基于Ubuntu商业版本Ceph认证。
-
鲲鹏BoostKit分布式存储压缩算法是华为自研无损压缩算法。相对于开源压缩算法,压缩算法压缩率更高,性能更好。约束:对图片、视频等不可压缩的数据源无效。
是否支持在虚拟机使用:否 -
OBS 2.0支持
-
-
鲲鹏BoostKit分布式存储压缩算法相对于开源LZ4压缩方案压缩率高25%,每TB有效容量成本低25%。
均衡型配置下,鲲鹏BoostKit分布式存储压缩算法相对于开源LZ4压缩方案带宽性能高10%。
-
-
OBS 2.0支持
-
-
鲲鹏BoostKit分布式存储压缩算法相对于开源LZ4压缩方案压缩率高25%,每TB有效容量成本低25%。
均衡型配置下,鲲鹏BoostKit分布式存储压缩算法相对于开源LZ4压缩方案带宽性能高10%。
-
-
根据业务Workload特征,提前将数据预读到Cache中,提高读Cache命中率,进而提高读场景IOPS性能。顺序读场景,512K以下IO,IOPS性能提升20%。
约束: 1、使用4.14内核版本的Bcache。 2、使用块存储服务。 3、业务Workload为顺序读场景。
是否支持在虚拟机使用:否 -
鲲鹏BoostKit分布式存储EC Turbo特性是针对开源Ceph的EC流程进行优化,降低了数据读写流程中,IO放大比例,整体性能更高。EC Turbo特性性能相对于Ceph开源EC,提升30%以上。
约束:1、使用块存储或对象存储服务。
2、混合读写(7:3)。
3、使用Ceph 14.2.8。
4、不支持Bcache特性。
是否支持在虚拟机使用:否 -
智能写Cache(Smart Write Cache)包含Bcache内核补丁以及相关配套的工具两部分。智能写Cache通过IO直通、Bcache QoS策略控制、Writeback策略控制以及GC策略控制来提升Bcache性能,最终达到提升Ceph集群性能的目的。
约束:1、CentOS 7.6,4.14内核版本。
2、openEuler 20.03 LTS SP1,4.19内核版本。
3、在CentOS上不能与IO智能预取同时使用,openEuler无此限制。
4、存储引擎:BlueStore。
是否支持在虚拟机使用:否 -
鲲鹏BoostKit分布式存储加速算法库是华为自研的存储算法加速库,采用鲲鹏优化的算法代替主流开源算法,提升存储性能。约束:当前EC算法仅支持2+2、4+2、6+2、12+3和20+3配比,其他配比暂不支持。
是否支持在虚拟机使用:否 -
OBS 2.0支持
-
- 采用向量化EC编解码方案,以低阶二元XOR操作替代传统标量编码的高阶有限域乘法,配合编码调度,复用中间计算结果减少操作数。
- 采用向量化EC编解码方案,以低阶二元XOR操作替代传统标量编码的高阶有限域乘法,配合编码调度,复用中间计算结果减少操作数。
-
-
OBS 2.0支持
-
-
采用大数求余算法原理优化以及鲲鹏亲和优化的CRC16库替代系统标准CRC16校验算法,提升系统性能。
对比主流开源CRC16算法,4K校验性能提升100%。
-
-
OBS 2.0支持
-
- 采用鲲鹏优化的CRC32库替代系统标准CRC32校验算法,提升系统性能。 单个IO消耗CPU的算力减少50%以上,整体收益预计3%。在4KB、8KB、64KB、256KB和1MB块大小情况下,相比ceph_crc32c_sctp性能提升100%,相比ceph_crc32_sctp提升20%。
-
-
鲲鹏BoostKit元数据加速特性是华为自主研发,在RocksDB基础上优化后的存储引擎性能加速特性。RocksDB:
RocksDB起源于Facebook,是一款高性能、持久化的嵌入式kv(key value)存储引擎,广泛应用于各种大规模数据存储和处理场景,如互联网服务、分布式系统和数据分析等。元数据加速特性在RocksDB项目的基础上,结合华为自研算法进行了性能加速优化,在使能鲲鹏加速特性时可以获取更佳的性能。主要优化内容包括:深度融合鲲鹏架构优化读写热点、结合业务负载调整后台任务(flush,compaction)、结合数据热点优化缓存逻辑等。
-
鲲鹏BoostKit Ucache智能读缓通过IO智能预取精准识别热点请求,并针对顺序、间隔等IO流进行IO预取,将IO提前载入读缓存。通过LRU算法淘汰冷数据,Ucache读缓存能够提高缓存的IO命中率,提升读性能。约束:
- cache初始化传入容量大小,当前最大256TiB,不支持动态修改。
- cache_line_size支持8k/16k/32k/64k,推荐使用8KiB。
- ocf会创建io_worker_num个队列,一个io_worker对应一个ocf队列对submission_queue/completion_queue。
- region_id全局唯一,一个slot对应一个core,最多支持511个core,一个core逻辑空间最大4096TiB,最多承载128K个32GiB region。Slot下所有region放在slot对应core。设备空间下,region_id重映射一个remap_id,region在core上对应的区间为remap_id*32GiB~(remap_id+1)*32GiB。
- 同一个slot调用的ocf_get/ocf_put/ocf_invalid/ocf_lookup要求在一个线程中。
-
鲲鹏BoostKit分布式存储数据压紧算法部署在开源分布式存储集群Ceph上,通过消除补零对齐操作带来的数据浪费问题,结合压紧封装、空间计数分配、粒度分流、聚合提交、批量回调等手段提升数据缩减率并提升系统整体IOPS,实现成本性能双收益。
的。
约束:1、使用Ceph 14.2.8。
2、使用块存储或对象存储服务。
是否支持在虚拟机使用:否 -
鲲鹏BoostKit分布式存储全局缓存,是一个集群自管理的分布式缓存系统,部署在开源分布式存储集群Ceph之上,用于IO操作加速。在硬件成本不增加的前提下,实现分布式存储系统IOPS性能提高,访问时延降低的效果。约束:
1、使用Ceph 14.2.8。
2、使用块存储服务。
是否支持在虚拟机使用:否
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/RHEL 7.5
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
OBS 2.0支持
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持CentOS 7.6/openEuler 20.03
支持openEuler 20.03
支持openEuler 20.03